Robots TXT Kullanımı

İnternet dünyasında bir web sitesi sahibiyseniz, robots txt kullanımı hakkında bilgi sahibi sayılırsınız. Bu küçük ama kritik dosya, web sitenizin arama motorları ve diğer web tarayıcıları tarafından nasıl taranacağını kontrol etmenize olanak sağlar. İşte “robots.txt” dosyasının nedir ve neden bu kadar önemli olduğuna dair bir göz atalım.

Robots TXT Nedir?

Robots.txt, bir web sitesinin kök dizininde bulunan bir metin dosyasıdır. Bu dosya, arama motoru robotlarının (web tarayıcıları) hangi sayfaları indeksleyebileceğini ve hangi sayfalara erişebileceğini belirler. Yani, bu dosya sayesinde web sitenizin içeriğini arama motorlarına nasıl sunacağınızı kontrol edebilirsiniz.

İşte web sitelerinde Robots.txt kullanımının önemi:

1. Arama Motorlarıyla İletişim: Robots.txt dosyası, web sitenizin arama motorlarına hangi alanları taramasına izin verdiğinizi belirterek iletişim kurar. Bu, arama motorlarına web sitenizin içeriğini daha etkili bir şekilde indeksleme ve sıralama imkanı tanır.
2. Özel Alanları Koruma: Özellikle yönetici panelleri, giriş formları veya diğer özel alanlarınız varsa, robots.txt dosyası arama motorlarını bu alanlardan uzak tutarak güvenliği artırır.
3. Kullanıcı Deneyimini İyileştirme: İnternette dolaşan robotlar, web sitenizi tarayarak kaynaklarınızı tüketebilir. Robots.txt dosyası, bu robotlara hangi alanlara erişim izni verildiğini kontrol ederek, sitenizin performansını ve kullanıcı deneyimini artırabilir.
4. Tarama Hızını Yönetme: Web sitenizin büyüklüğüne bağlı olarak, arama motoru robotlarının tarama süresini ve sıklığını kontrol etmek, sunucu kaynaklarınızı daha etkili kullanmanıza yardımcı olabilir.

Robots TXT kullanımı nasıl olmalıdır?

Robots.txt dosyası, temel bir metin düzenine sahiptir ve özel yönergeler içerir. Örneğin, tüm robotlara bir bölümü engellemek için şu komut kullanılabilir:

Bir WordPress sitenin robots.txt dosyası ve bununla birlikte site haritası olmazsa olmazıdır. Site haritası yapılandırmasını daha önce de anlatmıştık. Fakat site haritasında bulunan tüm linkler robots.txt içindeki izinler sayesinde oluşur. Eğer sitenizde bir ya da birden fazla klasöre indeks izinlerini kapatırsanız, arama motorlarındaki sonuçlarda çıkma potansiyeliniz bundan etkilenir. Arama motorlarındaki sonuçlarda çıkmamak için elinizden geleni yapmış olursunuz.

Robots.txt dosyasını kullanırken dikkatli olunmalı ve yanlış konfigürasyonlar sonucu web sitenizin indeksleme performansını olumsuz etkilememesi için özen gösterilmelidir.

Bir web sitendeki robots txt dosyasının doğru çalışabilmesi için ise htaccess dosyasına da ihtiyaç vardır. H

Robots TXT ile birlikte htaccess nasıl düzenlenir?

Robots txt dosyası ve htaccess dosyası, web sitenizin davranışını kontrol etmek için kullanılan iki farklı dosyadır. Robots.txt dosyası genellikle arama motoru robotlarını yönlendirmek ve sayfalarınızın indekslenmesini kontrol etmek için kullanılırken, .htaccess dosyası, web sunucunuzun yapılandırmasını yönetmek için kullanılır. İki dosyayı da düzenlerken dikkatli olunmalı ve syntax (sözdizimi) kurallarına uyulmalıdır.

WordPress Robots.txt dosyası arama motoru sıralamasında büyük rol oynar. Arama motoru botlarını engellemeye ya da blogumuzun önemli bölümlerini indeks almasına, taramaya yardımcı olur. Bazen yanlış yapılandırılmış bir Robots.txt dosyası, varlığınızın arama motorlarından tamamen uzaklaşmasına neden olabilir.

Robots.txt Düzenleme: Robots.txt dosyasını, web sitenizin kök dizininde bir metin düzenleyici ile açabilir veya oluşturabilirsiniz. Bu yapılandırmanın daha geniş biçimini yazımızın alt paragraflarında bulabilirsiniz.

.htaccess Düzenleme: .htaccess dosyası, Apache web sunucusu kullanılıyorsa, web sitenizin kök dizininde bulunur. Bu dosya, web sunucunuzun yapılandırmasını yönetmek için kullanılır. Örneğin, belirli IP adreslerini engellemek veya yönlendirmeleri yönetmek için kullanılabilir.

# Örnek .htaccess Dosyası
Options -Indexes

# Belirli bir IP adresinden gelen erişimleri engelleme
<Files "ornek-dosya.txt">
    Order Deny,Allow
    Deny from 192.168.1.1
</Files>

# www.yoursite.com'dan www.yournewsite.com'a yönlendirme
Redirect 301 / http://www.yournewsite.com/

Bu, dizin indekslemesini engeller, belirli bir IP adresinden gelen erişimleri kısıtlar ve bir URL’yi başka bir URL’ye yönlendirir.

Düzenleme yaparken, dosyaların doğru sözdizimine ve güvenlik konularına dikkat etmek önemlidir. Yanlış bir yapılandırma, web sitenizin çalışmasını etkileyebilir. Eğer karmaşık değişiklikler yapmanız gerekiyorsa, bu işlemleri yapmadan önce yedek almanız ve gerektiğinde profesyonel yardım almanız önerilir.

Robots txt kullanımı ile SEO da etki

SEO yüzlerce elementten oluşur ve SEO‘nun en önemli bölümlerinden biri Robots.txt’dir. Web sitenizin kökeninde duran bu küçük metin dosyası web sitenizin ciddi optimizasyonuna yardımcı olabilir.

Webmasterların çoğu Robots.txt dosyasını düzenlemekten kaçınır. Ancak bir yılanı öldürmek kadar zor değildir. Temel bilgileri olan herkes bir Robots.txt dosyası oluşturabilir ve düzenleyebilir. Bu konuda acemiyseniz, bu yazımız ihtiyaçlarınızı karşılayacaktır.

Web sitenizde bir Robots.txt dosyası yoksa, nasıl yapılacağını öğrenebilirsiniz. WordPress web sitenizde bir Robots.txt dosyası varsa ancak optimize edilmemişse, bu konuyu takip edebilir ve Robots.txt dosyanızı optimize edebilirsiniz.

Robots txt dosyası nedir?

Belki daha önce hiç duymadığınız bir şey söylemek istiyorum. Bir arama motorunun botları sitenize ilk geldiğinde önce iki dosyaya bakar. Bunlar sitemap.xml (site haritası) ve robots.txt dosyalarıdır. Arama motoru botları robots.txt dosyasında taranacak ve taranmayacak olan dizinleri görür ve siteyi buna göre incelemeye başlar. Bir diğeri ise sitenizde gezinmek için öncelikle site haritasına bakar.

Blogunuza arama motoru botları geldiğinde, sitenizi taramak için sınırlı kaynakları vardır. Web sitenizdeki tüm sayfaları ayrılmış kaynaklarla tarayamazlarsa, taramayı durduracaklar ve bu da indekslemenizi engelleyecektir.

Örneğin; wp-admin klasörünüz, admin panonuz ya da arama motorları için kullanışlı olmayan diğer sayfalarınız taranmamalıdır. Robots.txt i kullanarak, web sitenizin bu alanlarını taranmaması için arama motoru botlarını engelleyebilir ya da yönlendirirsiniz. Bu sadece blogunuzun taranmasını hızlandırmakla kalmayacak, aynı zamanda iç sayfalarınızın derinlemesine taranmasına yardımcı olacaktır.

Robots txt Dosyası Nasıl Oluşturulur?

Bir sitede Robots txt Kullanımı nasıl olmalıdır?

Disallow: / cgi-bin

Bu satırlar Robots.txt dosyasına yazılırsa, Google botunun sitenizin her sayfasını dizine eklemesini sağlar. Ancak cgi-bin ile kök dizini klasörü indekslemeye izin vermiyor. Bu, Google botun cgi-bin klasör indekslemeyeceği anlamına gelir.

Disallow kullanarak arama motorlarının herhangi bir sayfanızı taramasını engelleyebilirsiniz.

Tıpkı vereceğim şu örnekte olduğu yaparsanız yararlı olacaktır.

Disallow: /wp-content/js/
Disallow: /wp-admin/

Buradaki ilk satırda wp-content klasörü içerisindeki js klasörünün taranmasını engellemiş oluyoruz.

Diğer satırda ise wp-admin klasörünü ve içerisinde ne varsa hepsinin taranmasını engellemiş oluyoruz.

Dilerseniz bunu düzenli yapalım.

User-agent: *
Disallow: /wp-content/js
Disallow: /wp-admin/

Siz bu şekilde engelleme ve izinleri devam ettirebilirsiniz. Bir önemli detay ise mutlaka dosyanızın sonuna site haritası yolunu ekleyin.

Örnek ekleme şu şekilde olmalıdır.

Sitemap: https://oxopage.com/sitemap_index.xml
Sitemap: https://oxopage.com/sitemap.xml

Örnek bir Robots.txt dosyası

User-agent:  *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /archives/
Disallow: /wp-content/js/
Disallow: *?replytocom
Disallow: /comments/feed/
User-agent: Mediapartners-Google*

Allow: /
User-agent: Googlebot-Image
Allow: /wp-content/uploads/
User-agent: Adsbot-Google

Allow: /
User-agent: Googlebot-Mobile

Allow: /
Sitemap: https://oxopage.com/sitemap_index.xml
Sitemap: https://oxopage.com/sitemap.xml

Robots.txt dosyanızı yapılandırdıktan sonra mutlaka Google Search Console da site haritası kontrollerini yapmaya dikkat edin. Site haritalarını gerekirse kaldırın ve yeniden ekleyin.