Dia dinilai terlalu berani meletakkan perempuan untuk sholat berjamaah di shaf depan
Di tahun 2017, Panji Gumilang sempat bermasalah dengan guru-guru di Ponpes Al Zaytun yang diduga telah melakukan penghinaan dan pelecehan terhadap guru-guru.
Akibatnya, sebanyak 117 guru tidak bisa mengajar di Ponpes Al Zaytun karena belum mengajukan surat seperti yang diminta oleh Panji Gumilang.
Kontroversi berlanjut pada tahun 2021, saat Panji Gumilang dilaporkan oleh mantan pegawai Ponpes Al Zaytun atas dugaan pencabulan terhadap pegawai berinisial K, sampai saat ini kasus dugaan pencabulan yang telah di laporkan ke kepolisian tersebut belum juga menemui titik terang.***