Antusiasme umat Muslim Indonesia untuk pergi haji memberikan peluang bagi agen travel swasta, namun sayangnya sering dimanfaatkan oleh agen travel yang tidak bertanggung jawab. Banyak kasus penipuan yang dilakukan oleh agen travel tersebut, mulai dari penelantaran hingga pekerjaan paksa. Salah satu contoh kasus yang terjadi adalah pada abad ke-19 oleh Al-Segaf, seorang pengusaha travel haji. Al-Segaf memanfaatkan kesulitan para jemaah haji asal Indonesia yang terlantar di Makkah tanpa uang untuk kembali ke Tanah Air. Dia menawarkan pinjaman uang dengan syarat mengganti dengan bekerja di perkebunan karet miliknya di Johor. Para jemaah yang tergiur menerima tawaran tersebut namun akhirnya terperangkap dalam lingkaran hutang yang membuat mereka terpaksa bekerja dalam kondisi yang tidak manusiawi.
Kondisi tersebut akhirnya menarik perhatian pemerintah kolonial. Masyarakat kolonial Hindia Belanda di Batavia sampai ke pemerintah Belanda di Den Haag hingga pemerintah Inggris di Singapura. Pemerintah terpaksa turun tangan atas kasus ini dan mengambil langkah-langkah untuk menghentikan praktik licik Al-Segaf. Gubernur Jenderal Hindia Belanda mengusulkan agar kapal jemaah haji tidak singgah di Singapura dan mendorong pemerintah Inggris untuk memberlakukan aturan ketat terhadap operasional Firma Al-Segaf. Setelah melalui proses lobi dan kerja sama antar pemerintah, praktik buruk ini akhirnya dapat dihentikan dan para jemaah haji asal Indonesia berhasil dipulangkan ke Tanah Air. Sekaligus, Sayid Muhammad bin Ahmad al-Segaf berhenti menjadi pengusaha travel haji.
