AIBantuSEOBot

AIBantuSEOBot ialah crawler audit SEO yang dijalankan oleh AI Bantu SEO (seo.aibantu.my) apabila pengguna meminta imbasan sesebuah website.

AIBantuSEOBot/1.0 (+https://seo.aibantu.my/bot)

• Mematuhi robots.txt untuk token AIBantuSEOBot (atau * jika tiada kumpulan khusus).
• Mengambil halaman satu demi satu dengan jeda antara permintaan, dalam had halaman setiap imbasan.
• Tidak mengisi borang, tidak log masuk, dan hanya membaca halaman awam.

Untuk menyekat crawler ini, tambah dalam robots.txt:

User-agent: AIBantuSEOBot
Disallow: /