Robots txt
Bir site için olmazsa olmaz robots txt ve site haritasıdır. Robots dosyası; sitenizi ziyaret eden arama motoru botlarının hangi klasör ve kademeleri indeks edeceğini belirlememizi sağlar. Standart bir web sitesi Robots dosyasında olması gerekenler.
User-agent: *
Disallow: /
Özel klasörlerinizi Disallow: /~joe/ ya da Disallow: /admin/ gibi özel kodlar ile indekslenmesini engelleyebilirsiniz. Google 2019 da aldığı karar ile Image klasörlerini ne kadar engellense de indekslemektedir. Google kullanım şartlarını kabul eden her site yöneticisi görsel klasörlerinin indekslenmesine izin vermiş sayılmaktadır. Özel klasörler için Robots.txt kısıtlama örnekleri alttaki gibidir.
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /admin/
Disallow: /~joe/
Bu kısıtlama ve izinler web sitesinin şartlarına göre belirlenebilir, istenildiğinde ilave kısıtlama ve izin kodları ile geliştirilebilir.
