Habib Muhammad Anis bin Alwi bin Ali bin Muhammad al-Habsyi lahir di Garut pada tanggal 5 Mei 1928. Ia merupakan cucu dari Habib Ali bin Muhammad al-Habsyi, pencipta Maulid Simthu-ad-Durar. Ayahnya, Habib Alwi, pindah ke Indonesia dan menikahi Syarifah Khadijah as-Segaf yang kelak menjadi ibu Habib Anis.
Pada 1937, keluarga Habib Anis pindah ke Solo dan menempati rumah di Gurawan. Habib Alwi mendirikan Masjid Riyadh di samping rumahnya yang hingga saat ini kokoh berdiri dan ramai dikunjungi umat. Selain itu, Haul Solo juga mulai diadakan untuk memperingati Habib Ali.
Sejak kecil, Habib Anis menerima pendidikan tinggi dari kedua orangtuanya. Ia bersekolah di Madrasah ar-Ribathah. Hingga akhirnya, ia tumbuh menjadi pria yang berilmu dan bertata krama luhur.