Pada 1919, al-Habib Abdul Qadir merantau ke Surabaya. Namun, sebelum merantau, ia menyempatkan diri untuk berdakwah di beberapa negara yang disinggahinya.
Setelah tiba di Surabaya, al-Habib Abdul Qadir menjadi Direktur Madrasah al-Khairiah. Ia juga selalu menyempatkan diri untuk mengunjungi para habaib di sekitar Surabaya, terutama asy-Syaikh al-Wali al-Quthb al-Habib Abu Bakar bin Muhammad as-Segaf di Gresik.
Pada 1931, al-Habib Abdul Qadir sempat pindah ke Solo dan bersama para habaib di sana mendirikan Madrasah ar-Rabithah yang merupakan sekolah dari al-Habib Anis bin Alwi bin Ali al-Habsyi. Namun, tak lama kemudian, ia pulang ke Surabaya.
Di Surabaya, al-Habib Abdul Qadir menikah dengan al-Hubabah asy-Syarifah Ummu Hani binti Abdullah bin Aqil. Pernikahan tersebut menghasilkan beberapa anak. Namun, yang terkenal adalah al-Habib Abdullah yang kelak akan meneruskan perjuangannya.
Tepat menjelang kemerdekaan Indonesia, al-Habib Abdul Qadir menetap di Malang dan mendirikan Pesantren Dar al-Hadits al-Faqihiyyah. Pada 1951, ia didaulat menjadi Imam Besar Masjid Jami’ Malang dan mengepalai sejumlah madrasah di Malang.
