Diketahui Fisabilillah adalah keturunan keluarga kerajaan Riau.
Juga merupakan keturunan dari prajurit Bugis yang datang ke daerah tersebut pada abad ke-18.
Sementara sang ibu, Encik Hamidah binti Malik adalah saudara sepupu dari ayahnya dan juga dari keturunan suku Bugis.
Raji Ali Haji dibesarkan dan menerima pendidikan di Pulau Penyengat, Kesultanan Lingga.
Sekarang pulau Penyengat adalah bagian dari Provinsi Kepulauan Riau, Indonesia.***