Islam masuk ke Rembang melalui beberapa ulama yang berasal dari beberapa kota basis penyebaran Islam seperti Demak, Belitung, hingga Tuban. Salah satu yang paling terkenal adalah Sayyid Abdurrahman bin Hasyim Basyaiban (Mbah Sambu) yang menurunkan ulama besar seperti KH. Muhammad Shiddiq dan KH. Abdul Hamid.
Karena lokasi dan cara dakwah yang strategis, Islam tumbuh dan berkembang dengan sangat pesat di pantai utara Rembang. Banyak pondok pesantren yang berdiri di pelosok desa dan kota di sana.
Di Desa Sarang, KH. Ghazali mendirikan Madrasah Ghazaliyyah Syafi’iyyah. Dalam perkembangannya, madrasah tersebut berkembang dan terpecah menjadi beberapa bagian seperti Ma’had al-‘Ulum asy-Syar’iyyah (MUS), Ma’had al-’Ilmi asy-Syar’i (MIS), hingga Pesantren al-Anwar yang diasuh oleh cicitnya, KH. Maimun Zubair.
Di Desa Lateh, KH. Bisri Mustofa mendirikan Pesantren Raudhatut Thalibin. Pesantren ini mulai besar karena putranya, KH. Ahmad Mustofa Bisri, terkenal sebagai seniman yang pandai dalam menyusun puisi.
Di Desa Narukan, KH. Bahauddin Nursalim mendirikan Pesantren Tahfizhul Qur’an LP3AI. Walaupun pesantren tersebut bernuansa al-Quran, pengasuh pesantren tersebut terkenal akan kecerdasannya dalam menyampaikan nasihat, sehingga menjadi rujukan umat muslim dalam menyelesaikan permasalahan hidup.
Di Desa Lasem, berdiri beberapa pesantren yang berasimilasi dan berakulturasi dengan budaya Cina yang sudah mengakar lama di sana. Maka, tak heran apabila ornamen dan kehidupan sosial di sana sangat kental dengan nuansa Cina.
