Tüm siteler gibi Wordpress siteleri için de robots txt kullanımı çok büyük önem taşımaktadır. Bir sitenin arama motoru robotları için sitelere giriş kapısı hatta davet mektubu olarak kabul edilir. Wordpress sitelerde Robots.txt kullanımında yapılandırma ile izinler doğru biçimde verilmelidir. Bu şekilde bir ya da birden fazla arama motoru robotunu sitenizdeki verileri indekslemesini engelleyebilirsiniz. Bu kodlarla verilmiş izinleri aşağıda paylaşacağız. Ancak önce robots.txt kullanımını daha detaylı tanımlamak gerekir.
Bir Wordpress sitenin robots.txt dosyası ve bununla birlikte site haritası olmazsa olmazıdır. Site haritası yapılandırmasını daha önce de anlatmıştık. Fakat site haritasında bulunan tüm linkler robots.txt içindeki izinler sayesinde oluşur. Eğer sitenizde bir ya da birden fazla klasöre indeks izinlerini kapatırsanız, arama motorlarındaki sonuçlarda çıkma potansiyeliniz bundan etkilenir. Arama motorlarındaki sonuçlarda çıkmamak için elinizden geleni yapmış olursunuz.
