Masjid pertama yang dibangun di Jepang adalah Masjid Kobe. Didirikan pada tahun 1935 oleh penduduk Turki dan India di negara tersebut. Berbicara tentang sejarah Islam di Jepang, maka Masjid Kobe lah yang menjadi tonggak awal mulanya.
Untuk membangun masjid ini, ada banyak kesulitan yang dialami oleh umat Islam di Jepang saat itu. Bermula di tahun 1928 ketika pedagang India mengumpulkan dana untuk membangun masjid. Hal itu dilakukan sebab adanya peningkatan populasi Muslim di Kobe setelah perang dunia pertama. Kobe yang notabene berada di kawasan pinggir laut, menjadi lokasi strategis pedagang di zaman itu.

Dana pembangunan Masjid Kobe diambil dari kantong pribadi salah satu saudagar India. Kemudian ditambah dengan uang dari pegadang muslim lain yang berjuang menghemat biaya hidup selama di Jepang demi menyisihkan uang untuk dana pembangunan masjid. Disusul sumbangan dari pedagang Suriah dan banyak lagi pedagang lainnya.

Upacara peletakan batu pertama Masjid Kobe diselenggarakan pada bulan November 1934. Dihadiri oleh banyak orang termasuk kementerian Afghanistan di Jepang, pejabat konsuler Mesir di Kobe, pejabat wakil konsul Inggris di Kobe, dan seorang sarjana Jepang di Turki. Pada tahun 1935, izin pendirian masjid diberikan dan ketua panitia masjid menyatakan adanya pembukaan masjid Islam pertama di negeri matahari terbit. Pendirian Masjid Kobe menjadi bukti adanya toleransi masyarakat Jepang terhadap Islam.

Ada kebesaran Allah yang menyertai dalam proses pendirian Masjid Kobe. Jalannya tak selalu mulus. Tahun 1943 terdapat peristiwa besar. Sempat ada tragedi penyitaan oleh angkatan laut Kekaisaran Jepang, namun hal tersebut gagal dieksekusi. Yang lebih mencengangkan, saat bom pada perang dunia kedua menghantam berbagai wilayah Jepang, Masjid Kobe menjadi satu-satunya bangunan yang selamat. Sementara bangunan lain di wilayah Kobe hancur lebur.

Cobaan untuk Masjid Kobe belum berhenti. Tahun 1995 gempa Hanshin menerjang wilayah Kobe. Atas kuasa Allah, masjid tersebut tidak mengalami kerusakan yang berarti akibat gempa. Justru, Masjid Kobe menjadi tempat evakuasi untuk menampung pengungsi Jepang dari bencana.

Masjid Kobe menjadi simbol pertama kehadiran Islam di Jepang. Kini dari tahun ke tahun peminat Islam di Jepang semakin meningkat. Keberadaan masjid tidak hanya dibuka untuk umat Islam tetapi untuk semua orang yang ingin tahu tentang Islam. Imam masjid tak lelah memberikan diskusi secara berkala untuk menyebarkan pengetahuan tentang Islam. Dampaknya, hubungan antara muslim dan masyarakat Jepang semakin terjalin dengan baik. Masyarakat Jepang yang ingin tahu tentang Islam pun memiliki fasilitas untuk memuaskan rasa ingin tahunya.

Menurut penelitian Mr. Hirofumi Tanada, hanya ada tiga masjid di Jepang pada akhir 1980-an. Seiring berjalannya waktu, di awal tahun 1990-an, banyak orang dari negara-negara mayoritas muslim (Iran, Pakistan, Bangladesh) datang ke Jepang sebagai buruh. Selanjutnya peserta magang dan pekerja dari Indonesia, hingga tahun 2000-an datang dan semakin membawa dampak meningkatnya jumlah masjid di Jepang. Pada 2014 semakin bertambah menjadi 80 masjid dan melonjak menjadi 105 masjid pada akhir 2018. Masjid yang dibangun telah tersebar di seluruh kepulauan Jepang, mulai dari prefektur (propinsi) Okinawa hingga prefektur Hokkaido.

Kawasan wilayah industri seperti Prefektur Aichi menjadi tempat pesatnya pertumbuhan masjid. Kini bertambah untuk kawasan universitas, di mana terjadi peningkatan jumlah pelajar muslim yang ingin menuntut ilmu di negeri sakura. Tak hanya itu, jumlah warga Jepang yang menjadi mualaf karena menikah dengan pasangan muslim pun turut menambah semakin pesatnya perkembangan masjid di Jepang.