Kurallarınızı seçin; geçerli bir robots.txt dosyasını anında oluşturun ve indirin.
Robots.txt oluşturucu, arama motoru botlarına sitenizin hangi bölümlerini tarayabileceklerini söyleyen dosyayı hazırlar. Yönetim paneli, arama sonuç sayfaları ve kopya içerik üreten parametreli URL'leri engellemek için kullanılır; sitemap konumunuzu da ekler.
robots.txt bir erişim kontrolü değildir; engellediğiniz sayfalar arama sonuçlarında bağlantı olarak görünebilir ve kötü niyetli botlar kurala uymaz. Gizli kalması gereken içeriği parolayla koruyun. Dosyayı sitenizin kök dizinine (site.com/robots.txt) yükleyin.
Aracı kullanmak için JavaScript gerekli — bu sayfa yüklenirken otomatik açılır.
Arama motoru botlarına hangi sayfaların taranabileceğini söyler. /admin/ gibi bölümleri dizinden uzak tutmanın ilk adımıdır.
Hayır; yalnızca kural koyar, erişimi engellemez. Gizli sayfaları şifreyle korumalısınız.
Tüm işlemler tarayıcınızda gerçekleşir; dosyalarınız hiçbir sunucuya yüklenmez.