1917 Bolşevik İhtilali üzerine çok sayıda Kazan Tatarı, kendilerinden pasaport istemeyen ve ucuza vize veren Japonya’ya göçtü. Tokyo ve Kobe şehirlerinde bir cemaat meydana getirdi. Kurban Ali adında bir hoca efendinin önayak olmasıyla 1922’de Mahalle-i İslamiyye (şimdi Tokyo Türk Derneği) adında bir cemiyet kuruldu. Türkiye, vatansız olan Kazan Tatarlarından isteyenlere vatandaşlık vermişti. 1928’de hükümetin izni ile bir Mekteb-i İslamiye kuruldu. Bu binanın bir kısmı mescid olarak kullanıldı. Bilahare Şibuya semtinde satın alınan bir arsa üzerinde 1935 yılında mektep, yanına da 1938’de Tokyo Camii inşa edildi. Zaman içinde zelzele ve sair sebeplerle hasar gören cami 1986’da yıkıldı. Cami ve mektebin arazisi cami yapılması şartı ile Türkiye hükümetine hibe edildi. 1996 senesinde başlanan inşaat 2000 senesinde tamamlandı ve Osmanlı mimarisi üslubundaki Tokyo Camii ibadete merasimle açıldı. Uzun zamandır Türkiye ile ticari münasebetler yürütmesiyle tanınan işadamı Torajiro Yamada’nın 1931 senesinde Türkiye’ye gelip Gazi ile görüşerek Tokyo’da cami yapılması için maddi destek talep ettiğini Kemalist bir gazeteci/tarihçi iddia etmişse de, aslı yoktur.