Robots txt Kullanımı

Tüm siteler gibi WordPress siteleri için de robots txt kullanımı çok büyük önem taşımaktadır. Bir sitenin arama motoru robotları için sitelere giriş kapısı hatta davet mektubu olarak kabul edilir. WordPress sitelerde Robots.txt kullanımında yapılandırma ile izinler doğru biçimde verilmelidir. Bu şekilde bir ya da birden fazla arama motoru robotunu sitenizdeki verileri indekslemesini engelleyebilirsiniz. Bu kodlarla verilmiş izinleri aşağıda paylaşacağız. Ancak önce robots.txt kullanımını daha detaylı tanımlamak gerekir.

Bir WordPress sitenin robots.txt dosyası ve bununla birlikte site haritası olmazsa olmazıdır. Site haritası yapılandırmasını daha önce de anlatmıştık. Fakat site haritasında bulunan tüm linkler robots.txt içindeki izinler sayesinde oluşur. Eğer sitenizde bir ya da birden fazla klasöre indeks izinlerini kapatırsanız, arama motorlarındaki sonuçlarda çıkma potansiyeliniz bundan etkilenir. Arama motorlarındaki sonuçlarda çıkmamak için elinizden geleni yapmış olursunuz.

Bilinen ve uygulanan yanlışlardan birisi de Uploads klasöründe bulunan görsellerin robots.txt içinde kısıtlanmasıdır. Gerçi son yıllarda aldığı karar ile Google, sitelerdeki tüm görsellerin indeksleneceğini bildirmişti.

Robots txt Kullanımı Nasıl Olmalıdır?

Robots.txt yani örümcek dosyanızı doğru kullanın ki, Google Search Console da hata almayın!

WordPress Robots.txt dosyası arama motoru sıralamasında büyük rol oynar. Arama motoru botlarını engellemeye ya da blogumuzun önemli bölümlerini indeks almasına, taramaya yardımcı olur. Bazen yanlış yapılandırılmış bir Robots.txt dosyası, varlığınızın arama motorlarından tamamen uzaklaşmasına neden olabilir.

Robots txt kullanımı ile SEO da etki

SEO yüzlerce elementten oluşur ve SEO‘nun en önemli bölümlerinden biri Robots.txt’dir. Web sitenizin kökeninde duran bu küçük metin dosyası web sitenizin ciddi optimizasyonuna yardımcı olabilir.

Webmasterların çoğu Robots.txt dosyasını düzenlemekten kaçınır. Ancak bir yılanı öldürmek kadar zor değildir. Temel bilgileri olan herkes bir Robots.txt dosyası oluşturabilir ve düzenleyebilir. Bu konuda acemiyseniz, bu yazımız ihtiyaçlarınızı karşılayacaktır.

Web sitenizde bir Robots.txt dosyası yoksa, nasıl yapılacağını öğrenebilirsiniz. WordPress web sitenizde bir Robots.txt dosyası varsa ancak optimize edilmemişse, bu konuyu takip edebilir ve Robots.txt dosyanızı optimize edebilirsiniz.

Robots txt dosyası nedir?

Belki daha önce hiç duymadığınız bir şey söylemek istiyorum. Bir arama motorunun botları sitenize ilk geldiğinde önce iki dosyaya bakar. Bunlar sitemap.xml (site haritası) ve robots.txt dosyalarıdır. Arama motoru botları robots.txt dosyasında taranacak ve taranmayacak olan dizinleri görür ve siteyi buna göre incelemeye başlar. Bir diğeri ise sitenizde gezinmek için öncelikle site haritasına bakar.

Blogunuza arama motoru botları geldiğinde, sitenizi taramak için sınırlı kaynakları vardır. Web sitenizdeki tüm sayfaları ayrılmış kaynaklarla tarayamazlarsa, taramayı durduracaklar ve bu da indekslemenizi engelleyecektir.

Örneğin; wp-admin klasörünüz, admin panonuz ya da arama motorları için kullanışlı olmayan diğer sayfalarınız taranmamalıdır. Robots.txt i kullanarak, web sitenizin bu alanlarını taranmaması için arama motoru botlarını engelleyebilir ya da yönlendirirsiniz. Bu sadece blogunuzun taranmasını hızlandırmakla kalmayacak, aynı zamanda iç sayfalarınızın derinlemesine taranmasına yardımcı olacaktır.

Robots txt Dosyası Nasıl Oluşturulur?

Bir sitede Robots txt Kullanımı nasıl olmalıdır?

Disallow: / cgi-bin

Bu satırlar Robots.txt dosyasına yazılırsa, Google botunun sitenizin her sayfasını dizine eklemesini sağlar. Ancak cgi-bin ile kök dizini klasörü indekslemeye izin vermiyor. Bu, Google botun cgi-bin klasör indekslemeyeceği anlamına gelir.

Disallow kullanarak arama motorlarının herhangi bir sayfanızı taramasını engelleyebilirsiniz.

Tıpkı vereceğim şu örnekte olduğu yaparsanız yararlı olacaktır.

Disallow: /wp-content/js/
Disallow: /wp-admin/

Buradaki ilk satırda wp-content klasörü içerisindeki js klasörünün taranmasını engellemiş oluyoruz.

Diğer satırda ise wp-admin klasörünü ve içerisinde ne varsa hepsinin taranmasını engellemiş oluyoruz.

Dilerseniz bunu düzenli yapalım.

User-agent: *
Disallow: /wp-content/js
Disallow: /wp-admin/

Siz bu şekilde engelleme ve izinleri devam ettirebilirsiniz. Bir önemli detay ise mutlaka dosyanızın sonuna site haritası yolunu ekleyin.

Örnek ekleme şu şekilde olmalıdır.

Sitemap: https://oxopage.com/sitemap_index.xml
Sitemap: https://oxopage.com/sitemap.xml

Örnek bir Robots.txt dosyası

User-agent:  *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /archives/
Disallow: /wp-content/js/
Disallow: *?replytocom
Disallow: /comments/feed/
User-agent: Mediapartners-Google*

Allow: /
User-agent: Googlebot-Image
Allow: /wp-content/uploads/
User-agent: Adsbot-Google

Allow: /
User-agent: Googlebot-Mobile

Allow: /
Sitemap: https://oxopage.com/sitemap_index.xml
Sitemap: https://oxopage.com/sitemap.xml

Robots.txt dosyanızı yapılandırdıktan sonra mutlaka Google Search Console da site haritası kontrollerini yapmaya dikkat edin. Site haritalarını gerekirse kaldırın ve yeniden ekleyin.