Robots.txt Nedir? Açıklanmış
İçindekiler:
- Giriş
- Robots.txt Nedir?
- Robots.txt Nasıl Çalışır?
- WordPress Websitesinde Robots.txt Dosyası Nasıl Oluşturulur?
- Önemli Robots.txt Kuralları
- User Agent
- Allow ve Disallow Direktifleri
- Robots.txt Dosyasında Harf Büyüklüğü Önemi
- Robots.txt Dosyasını Oluşturma Yöntemleri
- Yoast SEO Eklentisi ile Robots.txt Dosyası Oluşturma
- All in One SEO Eklentisi ile Robots.txt Dosyası Oluşturma
- HPanel ve FTP İstemcisi ile Robots.txt Dosyası Oluşturma
- Manuel Olarak Robots.txt Dosyası Oluşturma
- Robots.txt Dosyasının Test Edilmesi
- Özet
- Kaynaklar
🤖 Robots.txt Dosyası Nedir ve Nasıl Oluşturulur?
İnternet dünyasında web sitelerinin arama motoru botlarının istenilen sayfaları ziyaret etmesini sağlamak için kullanılan bir dosya olan "robots.txt" hakkında konuşacağız. Bu makalede robots.txt dosyasının ne olduğunu, nasıl çalıştığını ve bir WordPress web sitesinde nasıl oluşturulabileceğini detaylı bir şekilde ele alacağız.
1. Giriş
Web sitenizin en önemli sayfalarının arama motoru botları tarafından taranabilmesi için web sitesini daha iyi optimize etmeniz gerekmektedir. Bu sürece yardımcı olmak için "robots.txt" adında bir dosya bulunmaktadır. Robots.txt dosyası, arama motoru botlarını, dizine eklemek istediğiniz web sayfalarını yönlendirmeye yardımcı olur.
2. Robots.txt Nedir?
Robots.txt, arama motoru robotlarına, web sayfalarını, yüklenen dosyaları veya URL parametrelerini tarayıp tarayamayacaklarını söyleyen talimatlar içeren bir dosyadır. Basit bir ifadeyle, robots.txt dosyası, botlara "Bu web sitesinin bu bölümüne bakabilirsiniz, ancak buraya gitmeyin" şeklinde talimat verir.
Örneğin, Google'ın botu olan Googlebot için aşağıdaki gibi bir kural oluşturabilirsiniz:
User-agent: Googlebot
Disallow: /wp-admin/
Disallow: /wp-includes/
Bu robots.txt dosyası, tüm botlara web sitenizin "wp-admin" ve "wp-includes" dizinlerini taramamaları gerektiğini söyler. Bu dizinler, kamuoyuna açık olmaması gereken hassas dosyaları içerir.
3. Robots.txt Nasıl Çalışır?
Arama motoru tarayıcıları, yeni bir web sitesi oluşturulduğunda, tarayıcılarını web sitenizi keşfetmek ve dizine eklemek için gönderir. Tarayıcı, anahtar kelimeler ve güncel içerik gibi bilgileri bulduğunda, web sayfasını arama dizinine ekler. Kullanıcılar bir arama yaptığında, arama motoru dizine eklenen web sitelerinden ilgili bilgileri getirir.
Ancak, robots.txt dosyası olmadan, botlar halka açık olmayan sayfaları dizine ekleyebilir veya en önemli sayfalarınızı ziyaret etmeyebilir. Ayrıca, modern web siteleri sadece web sayfalarından daha fazla öğe içerir. Örneğin, WordPress kullanıyorsanız, eklentileri indirmeniz gerekebilir. Bu durumda, arama motoru sonuçlarında ilgili olmayan eklentilerin görünmesi mümkündür.
Dahası, robots.txt dosyası olmadan çok fazla bot web sitenizi tarayabilir ve performansını olumsuz etkileyebilir. Bu nedenle, web sitenizde bir robots.txt dosyası oluşturmanızı şiddetle öneririm. Dosyayı oluşturmak uzun sürmez ve isterseniz ayrıntılı bir şekilde yapabilirsiniz. Teknik bilgiye sahip olmasanız bile dosyayı korumak kolaydır.
4. WordPress Websitesinde Robots.txt Dosyası Nasıl Oluşturulur?
WordPress web sitesi oluşturduğunuzda, otomatik olarak ana klasörde bulunan sanal bir robots.txt dosyası oluşturulur. Robots.txt dosyanızı site adresinin sonuna "/robots.txt" ekleyerek görebilirsiniz. Merak ettiğiniz bir web sitesinin robots.txt dosyasını görmek için aynı yöntemi kullanabilirsiniz. Bir örneğe benzer bir dosya göreceksiniz:
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Bu örnekteki temel robots.txt sözdizimi, üç kural satırından oluşur. Siteye uygulanacak olan kurallar için "user agent" ifadesinden sonra bir yıldız (*) kullanılır, bu da kuralların tüm botların geçerli olduğu anlamına gelir. Belirli bir arama motoru için kural oluşturmak isterseniz, yıldız yerine botun adını kullanabilirsiniz.
"Disallow" ifadesinden sonra gelen her satır, bir web sitesinin dizinlerini temsil eder. Bu örnekte, "wp-admin" ve "wp-includes" dizinlerinin taranmaması gerektiğini tüm botlara söylüyoruz. Bu dizinler, izleyici tarafından görülmemesi gereken hassas dosyaları içerir. Ayrıca, dosyanıza istediğiniz kadar kural ekleyebilirsiniz.
Amazon'un robots.txt dosyası gibi birden çok sayfayı taranmasına izin veren kurallar ekleyebilirsiniz:
User-agent: *
Allow: /product/
Allow: /category/
Disallow: /private/
Bu örnekteki robots.txt dosyası, tüm botların birkaç sayfayı taramasına izin verirken, "private" dizinini taramamalarını söyler.
Önceden oluşturulmuş bir robots.txt dosyasına sahip değilseniz, kendi dosyanızı oluşturabilir ve root klasöre yükleyebilirsiniz.
5. Önemli Robots.txt Kuralları
User Agent
User Agent, kuralların aşağıdaki Bots için geçerli olduğunu belirten ifadedir. Aşağıdaki örnekte yıldız işareti (*) tüm Bots için geçerli olduğunu gösterir:
User-agent: *
Eğer belirli bir bot için kural oluşturmak isterseniz, yıldız işaretinin yerine botun adını kullanabilirsiniz. Örneğin:
User-agent: Googlebot
Bu kural sadece Googlebot için geçerli olacaktır.
Allow ve Disallow Direktifleri
Robots.txt dosyasında "Allow" ve "Disallow" direktiflerini kullanarak hangi dizinlerin taranabileceğini veya taranamayacağını belirtebilirsiniz.
Allow: /product/
Disallow: /private/
Bu örnekte, "/product/" dizini taranabilirken, "/private/" dizini taranamaz.
Robots.txt Dosyasında Harf Büyüklüğü Önemi
Robots.txt dosyasında "user agent", "allow" ve "disallow" ifadeleri küçük harfle başlatılmalıdır. Ancak, dizin değerleri büyük/küçük harf duyarlıdır. Örneğin:
Disallow: /wp-admin/
Bu kural, "wp-admin" dizinini taramanın yasak olduğunu belirtir. Ancak, "WP-Admin" veya "WP-admin" dizinlerini kapsamaz.
6. Robots.txt Dosyasını Oluşturma Yöntemleri
Robots.txt dosyası oluşturmanın dört farklı yöntemi vardır. Bu yöntemler, Yoast SEO ve All in One SEO eklentileri ile, hPanel ve FTP istemcisi ile, veya manuel olarak dosya oluşturarak ve yükleyerek gerçekleştirilebilir.
Yoast SEO Eklentisi ile Robots.txt Dosyası Oluşturma
Yoast SEO eklentisini zaten yüklediyseniz, doğrudan araçlar menüsüne gidebilirsiniz. Eklentiyi henüz yüklemediyseniz, eklentiyi arama çubuğuna yazarak bulup kurun ve etkinleştirin.
Kurulum sihirbazını tamamladıktan sonra, siteyi optimize etmek için SEO ayarlarını yapabilirsiniz. Eklentiyi tamamen yapılandırdıktan sonra, araçlar menüsüne gidin ve "Dosya Düzenleyici" seçeneğini bulun. Bu seçenek, WordPress panosunda .htaccess dosyasını doğrudan düzenlemenizi sağlar.
Şimdi, "robots.txt dosyası oluştur" seçeneğine tıklayarak bir metin düzenleyici açılacaktır. Burada dosyayı düzenleyebilirsiniz. "User-agent" ifadesinden sonra "allow" veya "disallow" direktifi ve istediğiniz dizinleri ekleyebilirsiniz.
İşlemi tamamladıktan sonra değişiklikleri kaydedin ve "robots.txt" dosyasını görüntülemek için "robots.txt dosyasını aç" düğmesine tıklayın.
All in One SEO Eklentisi ile Robots.txt Dosyası Oluşturma
All in One SEO eklentisi ile robots.txt dosyası oluşturmak da oldukça kolaydır. Öncelikle eklentiyi kurup etkinleştirmeniz ve yapılandırma sihirbazını tamamlamanız gerekmektedir. Ardından, araçlar menüsüne gidin ve "Özel robots.txt Dosyasını Etkinleştir" seçeneğini bulun. Bu seçenek, dosya düzenleyiciyi açmanıza olanak tanır.
All in One SEO, kullanıcı dostu bir arayüze sahiptir ve kurallar oluşturmayı kolaylaştırır. Bir kural eklemek için önce "user agent" ifadesini girin, ardından "allow" veya "disallow" direktifini seçin ve istediğiniz dizini ekleyin. Daha fazla kural eklemek için "kural ekle" düğmesine tıklayabilirsiniz. İşlemi tamamladıktan sonra değişiklikleri kaydedin ve "robots.txt" dosyasını görmek için "robots.txt dosyasını aç" düğmesine tıklayın.
hPanel ve FTP İstemcisi ile Robots.txt Dosyası Oluşturma
Robots.txt dosyası oluşturmanın bir başka yöntemi, hPanel veya FTP istemcisi kullanarak dosyayı manuel olarak oluşturmak ve yüklemektir. İlk olarak, bir metin düzenleyici yazılımı kullanarak robots.txt dosyanızı oluşturmanız gerekmektedir.
Örneğin, Notepad veya TextEdit gibi bir metin düzenleyici kullanarak dosyanızı oluşturun. Yukarıda bahsedilen sözdizimini takip ederek istediğiniz kural veya kuralları ekleyebilirsiniz. Örneğin:
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Her satırda bir kural ekledikten sonra dosyayı "robots.txt" olarak kaydedin. Dosya adının tamamen küçük harflerle yazıldığından emin olun.
Şimdi, hPanel kontrol panelinize gidin ve "Dosya Yöneticisi"ni açın. Ardından, "public_html" dizinine gidin ve yerel bilgisayarınızdan robots.txt dosyasını sürükleyip bırakarak yükleyin. Dosya yükleme süreci sadece birkaç saniye sürecektir.
Alternatif olarak, bir FTP istemcisi kullanarak da robots.txt dosyasını yükleyebilirsiniz. Öncelikle, FileZilla gibi bir FTP istemcisi kullanarak web sitenize bağlanmanız gerekmektedir. Bağlantı kurduktan sonra, hedef dizin olarak "public_html" dizinine gidin. Son olarak, yerel bilgisayarınızdaki robots.txt dosyasını web sunucusuna sürükleyip bırakarak yükleyin. Dosyanın yüklenmesi sadece birkaç saniye sürecektir.
Manuel Olarak Robots.txt Dosyası Oluşturma
Manuel olarak bir robots.txt dosyası oluşturmak ve yüklemek de oldukça kolaydır. İlk adım olarak, önceki bölümlerde bahsedilen yöntemlerle bir metin düzenleyici kullanarak dosyanızı oluşturmanız gerekmektedir.
Dosyanızı oluşturduktan sonra, kaydedin ve dosyayı "robots.txt" olarak adlandırın. Dosya adının tamamen küçük harflerle yazıldığından emin olun.
Sonraki adımda, hPanel kontrol panelinize gidin ve "Dosya Yöneticisi"ni açın. Ardından, "public_html" dizinine gidin ve yerel bilgisayarınızdaki robots.txt dosyasını sürükleyip bırakarak yükleyin. Dosya yükleme işlemi birkaç saniye sürecektir.
Alternatif olarak, bir FTP istemcisi kullanarak da robots.txt dosyasını yükleyebilirsiniz. Bunun için, FileZilla gibi bir FTP istemcisi kullanarak web sitenize bağlanmanız gerekmektedir. Bağlantı kurduktan sonra, hedef dizin olarak "public_html" dizinine gidin. Son olarak, yerel bilgisayarınızdaki robots.txt dosyasını web sunucusuna sürükleyip bırakarak yükleyin. Dosyanın yüklenmesi sadece birkaç saniye sürecektir.
7. Robots.txt Dosyasının Test Edilmesi
Robots.txt dosyanızı her değiştirdiğinizde, içeriğini kontrol etmek için dosyayı test etmeniz önemlidir. Google Arama Konsolu bu konuda oldukça iyidir, çünkü robot.txt kontrol etme özelliğine sahiptir. Dosyanın yanlışlıkla yanlış bir içeriğe sahip olması, web sitenizin SEO'sunu etkileyebilir. Bu nedenle, her değişiklik yaptıktan sonra dosyayı test etmek önemlidir.
8. Özet
Bu makalede, robots.txt dosyasının ne olduğunu, nasıl çalıştığını ve bir WordPress web sitesinde nasıl oluşturulabileceğini öğrendik. Robots.txt dosyası, web sitelerinin arama motoru botlarının doğru sayfaları tarayabilmesi için kullanılır. İyi optimize edilmiş bir web sitesinde robots.txt dosyası bulunması önemlidir. Dosya, arama motoru botlarına hangi sayfaların taranabileceği ve hangilerinin taranamayacağı konusunda talimat verir.
9. Kaynaklar
AI SEO Assistant
WHY YOU SHOULD CHOOSE Proseoai
