Pada tahun 30 Hijri atau 651 Masehi, hanya berselang sekitar 20 tahun dari wafatnya Rasulullah SAW, Khalifah Utsman ibn Affan RA mengirim delegasi ke Cina untuk memperkenalkan Daulah Islam yang belum lama berdiri. Dalam perjalanan yang memakan waktu empat tahun ini, para utusan Utsman ternyata sempat singgah di Kepulauan Nusantara. Beberapa tahun kemudian, tepatnya tahun 674 M, Dinasti Umayyah telah mendirikan pangkalan dagang di pantai barat Sumatera. Inilah perkenalan pertama penduduk Indonesia dengan Islam. Sejak itu para pelaut dan pedagang Muslim terus berdatangan, abad demi abad. Mereka membeli hasil bumi dari negeri nan hijau ini sambil berdakwah.
Lambat laun penduduk pribumi mulai memeluk Islam meskipun belum secara besar-besaran. Aceh, daerah paling barat dari Kepulauan Nusantara, adalah yang pertama sekali menerima agama Islam. Bahkan di Acehlah kerajaan Islam pertama di Indonesia berdiri, yakni Pasai. Berita dari Marcopolo menyebutkan bahwa pada saat persinggahannya di Pasai tahun 692 H / 1292 M, telah banyak orang Arab yang menyebarkan Islam. Begitu pula berita dari Ibnu Battuthah, pengembara Muslim dari Maghribi., yang ketika singgah di Aceh tahun 746 H / 1345 M menuliskan bahwa di Aceh telah tersebar mazhab Syafi'i. Adapun peninggalan tertua dari kaum Muslimin yang ditemukan di Indonesia terdapat di Gresik, Jawa Timur. Berupa komplek makam Islam, yang salah satu diantaranya adalah makam seorang Muslimah bernama Fathimah binti Maimun. Pada makamnya tertulis angka tahun 475 H / 1082 M, yaitu pada jaman Kerajaan Singasari.
Diperkirakan makam-makam ini bukan dari penduduk asli, melainkan makam para pedagang Arab.
Sampai dengan abad ke-8 H / 14 M, belum ada pengislaman penduduk pribumi Nusantara secara besar-besaran. Baru pada abad ke-9 H / 14 M, penduduk pribumi memeluk Islam secara massal. Para pakar sejarah berpendapat bahwa masuk Islamnya penduduk Nusantara secara besar-besaran pada abad tersebut disebabkan saat itu kaum Muslimin sudah memiliki kekuatan politik yang berarti. Yaitu ditandai dengan berdirinya beberapa kerajaan bercorak Islam seperti Kerajaan Aceh Darussalam, Malaka, Demak, Cirebon, serta Ternate. Para penguasa kerajaan-kerajaan ini berdarah campuran, keturunan raja-raja pribumi pra Islam dan para pendatang Arab. Pesatnya Islamisasi pada abad ke-14 dan 15 M antara lain juga disebabkan oleh surutnya kekuatan dan pengaruh kerajaan-kerajaan Hindu / Budha di Nusantara seperti Majapahit, Sriwijaya dan Sunda. Thomas Arnold dalam The Preaching of Islam mengatakan bahwa kedatangan Islam bukanlah sebagai penakluk seperti halnya bangsa Portugis dan Spanyol. Islam datang ke Asia Tenggara dengan jalan damai, tidak dengan pedang, tidak dengan merebut kekuasaan politik. Islam masuk ke Nusantara dengan cara yang benar-benar menunjukkannya sebagai rahmatan lil'alamin.
Dengan masuk Islamnya penduduk pribumi Nusantara dan terbentuknya pemerintahan-pemerintahan Islam di berbagai daerah kepulauan ini, perdagangan dengan kaum Muslimin dari pusat dunia Islam menjadi semakin erat. Orang Arab yang bermigrasi ke Nusantara juga semakin banyak. Yang terbesar diantaranya adalah berasal dari Hadramaut, Yaman. Dalam Tarikh Hadramaut, migrasi ini bahkan dikatakan sebagai yang terbesar
sepanjang sejarah Hadramaut. Namun setelah bangsa-bangsa Eropa Nasrani berdatangan dan dengan rakusnya menguasai daerah-demi daerah di Nusantara, hubungan dengan pusat dunia Islam seakan terputus. Terutama di abad ke 17 dan 18 Masehi. Penyebabnya, selain karena kaum Muslimin Nusantara disibukkan oleh perlawanan menentang penjajahan, juga karena berbagai peraturan yang diciptakan oleh kaum kolonialis. Setiap kali para penjajah - terutama Belanda - menundukkan kerajaan Islam di Nusantara, mereka pasti menyodorkan perjanjian yang isinya melarang kerajaan tersebut berhubungan dagang dengan dunia luar kecuali melalui mereka. Maka terputuslah hubungan ummat Islam Nusantara dengan ummat Islam dari bangsa-bangsa lain yang telah terjalin beratus-ratus tahun. Keinginan kaum kolonialis untuk menjauhkan ummat Islam Nusantara dengan akarnya, juga terlihat dari kebijakan mereka yang mempersulit pembauran antara orang Arab dengan pribumi.
Semenjak awal datangnya bangsa Eropa pada akhir abad ke-15 Masehi ke kepulauan subur makmur ini, memang sudah terlihat sifat rakus mereka untuk menguasai. Apalagi mereka mendapati kenyataan bahwa penduduk kepulauan ini telah memeluk Islam, agama seteru mereka, sehingga semangat Perang Salib pun selalu dibawa-bawa setiap kali mereka menundukkan suatu daerah. Dalam memerangi Islam mereka bekerja sama dengan kerajaan-kerajaan pribumi yang masih menganut Hindu / Budha. Satu contoh, untuk memutuskan jalur pelayaran kaum Muslimin, maka setelah menguasai Malaka pada tahun 1511, Portugis menjalin kerjasama dengan Kerajaan Sunda Pajajaran untuk membangun sebuah pangkalan di Sunda Kelapa. Namun maksud Portugis ini gagal total setelah pasukan gabungan Islam dari sepanjang pesisir utara Pulau Jawa bahu membahu menggempur mereka pada tahun 1527 M. Pertempuran besar yang bersejarah ini dipimpin oleh seorang putra Aceh berdarah Arab Gujarat, yaitu Fadhilah Khan Al-Pasai, yang lebih terkenal dengan gelarnya, Fathahillah. Sebelum menjadi orang penting di tiga kerajaan Islam Jawa, yakni Demak, Cirebon dan Banten, Fathahillah sempat berguru di Makkah. Bahkan ikut mempertahankan Makkah dari serbuan Turki Utsmani.
Kedatangan kaum kolonialis di satu sisi telah membangkitkan semangat jihad kaum muslimin Nusantara, namun di sisi lain membuat pendalaman akidah Islam tidak merata. Hanya kalangan pesantren (madrasah) saja yang mendalami keislaman, itupun biasanya terbatas pada mazhab Syafi'i. Sedangkan pada kaum Muslimin kebanyakan, terjadi percampuran akidah dengan tradisi pra Islam. Kalangan priyayi yang dekat dengan Belanda malah sudah terjangkiti gaya hidup Eropa. Kondisi seperti ini setidaknya masih terjadi hingga sekarang. Terlepas dari hal ini, ulama-ulama Nusantara adalah orang-orang yang gigih menentang penjajahan. Meskipun banyak diantara mereka yang berasal dari kalangan tarekat, namun justru kalangan tarekat inilah yang sering bangkit melawan penjajah. Dan meski pada akhirnya setiap perlawanan ini berhasil ditumpas dengan taktik licik, namun sejarah telah mencatat jutaan syuhada Nusantara yang gugur pada berbagai pertempuran melawan Belanda. Sejak perlawanan kerajaan-kerajaan Islam di abad 16 dan 17 seperti Malaka (Malaysia), Sulu (Filipina), Pasai, Banten, Sunda Kelapa, Makassar, Ternate, hingga perlawanan para ulama di abad 18 seperti Perang Cirebon (Bagus rangin), Perang Jawa (Diponegoro), Perang Padri (Imam Bonjol), dan Perang Aceh (Teuku Umar).