Generator robots.txt
Pilih apa yang boleh dan tidak boleh dirayapi, lalu unduh robots.txt.
Blokir crawler AI tertentu
Diabaikan oleh Googlebot.
Cara menggunakan Generator robots.txt
- Pilih aturan dasar.
- Tambahkan folder yang diblokir dan URL sitemap.
- Unduh file dan letakkan di root domain.
Semua perhitungan berjalan di browser Anda. Data yang Anda ketik atau pilih tidak dikirim ke server Kumandang.