SEO İçin Her Şeyi Bilmeniz Gereken Robots.txt Nedir?

Robota.txt Dosyası Nedir?

Robots.txt dosyası, web sitesi botlarına (arama motoru botları gibi) hangi sayfaların veya bölümlerin taranabileceği veya taranamayacağı hakkında talimatlar veren bir metin dosyasıdır. Bu nedenle, web sitenizdeki en önemli dosyalardan biridir çünkü bu dosya, sunucularınızın botların web sitesini taramasıyla aşırı yüklenmesini engeller. Ancak, yaygın bir yanlış anlama, robots.txt dosyasının bir sayfanın arama motorları tarafından dizine eklenmesini engellediği yönündedir, ancak bu doğru değildir. Şimdi robots.txt dosyasının ne yaptığını detaylı bir şekilde inceleyelim.

Başlık 1

Burada başlık 1 içeriği yer alacak...

Başlık 2

Burada başlık 2 içeriği yer alacak...

Başlık 3

Burada başlık 3 içeriği yer alacak...

Başlık 4

Burada başlık 4 içeriği yer alacak...

Başlık 5

Burada başlık 5 içeriği yer alacak...

Başlık 6

Burada başlık 6 içeriği yer alacak...

Başlık 7

Burada başlık 7 içeriği yer alacak...

Başlık 8

Burada başlık 8 içeriği yer alacak...

Başlık 9

Burada başlık 9 içeriği yer alacak...

Başlık 10

Burada başlık 10 içeriği yer alacak...

Robotlar.txt Dosyası Nasıl Oluşturulur?

Robotlar.txt dosyası üç şeyi içermelidir: direktifler, kullanıcı ajanları ve gruplar. Dosya adı "robots.txt" olmalı ve alan adının kök dizininde bulunmalıdır. UTF-8 kodlamasıyla olmalıdır ve yalnızca aynı protokol ve alan için geçerli olacaktır. Her satırda yalnızca bir yönerge kullanılmalıdır ve yönergelerde büyük-küçük harfe duyarlıdır. Yorumlar "#" işaretiyle başlar ve botlar tarafından dikkate alınmaz. Bunların yanı sıra, gruplar genellikle yukarıdan aşağıya doğru işlenir ve genel olarak botlar yalnızca bir grup izler, bu nedenle bir kullanıcı ajanını birden fazla hedeflemekten veya yönergeleri karıştırılmaktan kaçınmanız gerekir. Google bot ve Bing bot daha az kısıtlayıcı oldukları için en spesifik kuralları varsayarsa ve gruplar arasında uyumsuzluk varsa genellikle daha az kısıtlayıcı olanı kullanır. Google bot, web'deki en önemli bot olup bazen diğer botlardan farklı davranır. Şimdi, robotlar.txt dosyasının yorumlamanın bazı senaryolara nasıl etkilediğini özetleyelim:

Senaryo 1

Google bot, geçersiz satırları, yorumları, izinsiz sınırlamaları dikkate almadan yok sayar.

Senaryo 2

Robotlar.txt 429 dışında bir HTTP durum kodu döndürdüğünde, Google, bu site için taranma sınırlamalarının olmadığını varsayar.

Senaryo 3

Dosya 30 gün boyunca hala erişilemezse, Google sitenizde herhangi bir kısıtlama olmadığını kabul eder.

Google bot, robotlar.txt dosyasındaki kullanıcı ajanı, izin verme ve site haritası yönergelerini destekler. Diğer kullanıcı ajanları genellikle Google'ın desteklediği yönergeleri desteklemez.

Direktifler

1. Sitemap (Bu, site haritasının URL'sini gösterir)
2. Disallow (Taranmasını istemediğiniz URL'leri veya site bölümlerini belirtir)
3. Allow (Taranmasına veya eşleşen URL'leri başlatmasına izin verir. Disallow yönergesini geçersiz kılmak için kullanılır)
4. Crawl Delay (Taranmak istediğiniz URL'leri, botların sunucuları aşırı yüklenmesini önlemek için ne sıklıkta ziyaret edebileceğini sınırlar)
5. No Index (Robots.txt dosyasındaki no index direktifi, URL'lerin dizine alınmasını engeller)
6. No Follow (No follow direktifi, botların URL'deki bağlantıları takip etmesini engeller)

Googlebot'un desteklediği direktifler ise şunlardır: user agent, disallow, allow ve sitemap.

Yazının devamı ve daha fazlası için linke tıklayabilirsiniz.

Kaynaklar:

• Örnek kaynak 1
• Örnek kaynak 2