Masjid Al Muhajirin Bukit Siput bermula sebuah surau yang didirikan secara bergotong royong oleh penduduk awal yang berpindah ke projek perumahan awam rakyat fasa satu dalam tahun 1985.
Pada tahun tersebut hanya 3 buah taman perumahan yang didiami oleh penduduk islam iaitu:
Rumah rakyat fasa satu: 150 pintu (100% Penduduk Bumiputra)
Taman Indah: Dalam 20 orang penduduk islam
Taman Cempaka: Anggaran 10 orang penduduk islam
Pada tahun 1994 Majlis Agama Islam Negeri Johor bersetuju Menaikkan taraf surau rumah rakyat bukit siput menjadi sebuah masjid. Mulai bulan julai 1994 penduduk telah menunaikan solat jumaat di masjid bukit siput. mingguan dan program derma online untuk menyokong masjid.
Pada tahun 1996 kerajaan negeri telah memperuntukkan sebanyak RM150 ribu untuk mendirikan sebuah masjid dan siap dibina pada tahun 1998. Walau bagaimanapun ahli jemaah turut memberi sumbangan sebanyak RM15 ribu untuk membeli mimbar dan lampu pada masa itu.
Masjid Al Muhajirin mengambil nama sempena penduduk dan ahli kariah semuanya terdiri daripada mereka yang berhijrah. Bilangan penduduk islam ketika itu berjumlah 21500 orang yang terdiri daripada 500 keluarga.