SEO

Robots.txt Nedir ve Robots.txt Dosyası Nasıl Oluşturulur?

Robots.txt dosyası, arama motoru botlarına sitenizin hangi dizinlerine erişmesine izin verip vermediğinizi gösteren kural bildirici bir dosyadır. Bu dosya içerisinden komut ile izin vermediğiniz dizinlere arama motoru botları erişemez ve ilgili dizinlerde yer alan sayfaları indexleyemez. Peki Robots.txt dosyası nasıl oluşturulur, nelere dikkat etmek gerekmektedir? Hazırladığım bu içerikte Robots.txt dosyasına dair tüm detayları öğrenebileceksiniz…

Adı değişmeyen ve sitenin kök dizininde yer alması gereken özel bir komut dosyası olan Robots.txt sayesinde, arama motoru botlarının erişmesini istemediğiniz sayfaları botlara bildirebilecek ve böylece arama sonuçlarında görünmesini/indekslenmesini istemediğiniz dizinleri ve sayfaları botlara kapatabileceksiniz. Google botları, ilk olarak sitenize geldiğinde bu dosyaya gelecek ve içerisindeki kural kodlarını okuyacaktır. Bu kodları okuyan bir Google botu, erişemeyeceği dizinleri anlayacak ve sitenizde buna göre hareket ederek indexleme yapacaktır.

robots-txt-n-olusturma-nasil-yapilir

Robots.Txt Dosyasında Kullanılan Komutlar

User-agent: Dosyamızda hangi arama motoru botuna hitap etmek istiyorsak o botun adını yazmamız gereken alandır. Eğer Google botuna yönelik bir engelleme yapacaksak, “User-agent: Googlebot” şeklinde bir kullanım yapmamız gerekecektir. Eğer ki tüm arama motoru botlarını kapsamasını istiyorsanız buraya * (yıldız) işareti koymanız yeterli olacaktır. Örneğin;

User-agent: *

Ancak sadece bir Google botunu ya da farklı bir botu hedefleyecekseniz ilgili botun adını yazmanız gerekecektir. En çok kullanılan botlar şunlardır;

  • Googlebot – Yalnızca Google botu (User-agent: Googlebot)
  • Googlebot-Image – Yalnızca Google Görseller botu (User-agent: Googlebot-Image)
  • Googlebot-News – Yalnızca Google Haberler botu (User-agent: Googlebot-News)
  • DeepCrawl – Bir Google botu olan DeepCrawl’ı kapsar (User-agent: DeepCrawl)
  • Bingbot – Yalnızca Bing botu (User-agent: Bingbot)

Disallow: Disallow komutu, Google botlarının erişmesine izin vermediğiniz alanları gösteren bir komuttur. Yanına yazacağınız dizin, Google botları tarafından indexlenemez. Örneğin;

User-agent: *

Disallow: /

Yukarıdaki komut, sitenin tüm dizinlerini tüm botlara kapatmaktadır. Bu komutu içinde bulunduran bir dosya oluşturduğunuz takdirde hiçbir sayfanız botlar tarafından erişilmeyecek ve indexlenmeyecektir. Herhangi bir dizini veya sayfayı botların erişimine kapatmak için ise yalnızca bu dizini Disallow komutunun yanına yazmanız gerekmektedir. Örneğin;

User-agent: *

Disallow: /wp-content/

Disallow: /dizin/klasor/

Disallow: /seo/site-haritasi-nedir-site-haritasi-nasil-olusturulur/

Allow: Allow komutu ise, botların erişimine kapattığınız bir dizinde bulunan bir dosyaya/dizine botların erişmesini sağlamak amacıyla kullanılmaktadır. Örneğin yukarıdaki örnekte olduğu gibi “/dizin/klasor/” dizinini Google botlarına kapattık, ancak “klasor” dizinin içinde bulunan bir sayfayı Google botlarının erişimine açmak istiyoruz. Bunu Allow komutuyla gerçekleştiriyoruz. Örneğin;

User-agent: *

Disallow: /wp-content/

Disallow: /dizin/klasor/

Allow: /dizin/klasor/dosya.html

Yukarıda görüldüğü gibi, “/dizin/klasor/” yolunu erişime kapattık ancak “klasor” dizininin içinde bulunan “dosya.html” adlı dosyayı Allow komutuyla botların erişimine açtık. Böylece Google botları “/dizin/klasor/” yolunu indexlemeyecek ancak izin verdiğimiz “/dizin/klasor/dosya.html” yoluna erişebilecek ve indexleyecektir.

Google, 2 Temmuz 2019 tarihinde yaptığı duyuruda, Robots.txt dosyasından “noindex” ile yapılan bir engellemenin işlev görmeyeceğini belirtti.

Robots.txt Dosyası Nasıl Oluşturulur?

Robots.txt dosyanızı oluşturmak için birden fazla yöntem ve yol kullanabilirsiniz. Örneğin bu işlem için hizmet veren internet siteleri (Robots.txt Generator) bulunmaktadır ve bu siteler sayesinde dosyanızı istediğiniz kurallara göre kolayca oluşturabilirsiniz. Ayrıca eğer WordPress gibi hazır bir altyapı kullanıyorsanız da, eklenti kütüphanesindeki eklentiler sayesinde dosyanızı oluşturabilir ve düzenleyebilirsiniz. Bu iki yöntemden hariç olarak, manuel olarak da doğrudan sitenizin kök dizininde Robots.txt dosyanızı oluşturabilir ve dilediğiniz gibi düzenleyebilirsiniz.

Manuel Olarak Robots.txt Dosyası Oluşturma

  1. Robots.txt dosyasını manuel olarak oluşturmak için ilk olarak bilgisayarda yeni bir metin belgesi açarak adını “robots.txt” yapın.
  2. Daha sonrasında dosyanın içine tarama kurallarına dair komutlarını yazın.
  3. Son olarak da hazırlamış olduğunuz dosyayı sitenizin kök dizinine atmanız gerekmektedir. Dosyanızın adı değişmemeli ve her zaman kök dizinde olmalıdır. Dosyanız, “site.com/robots.txt” dizininde bulunmalı. Eğer dosyayı “site.com/klasor/robots.txt” dizinine koyarsanız Google botları bu dosyaya erişemeyecek ve izin vermediğiniz dizinleri görmediği için indexleyecektir.

Hazır Araçlar İle Robots.txt Dosyası Oluşturma

  1. Hazır bir araç ile Robots.txt dosyanızı oluşturmak için örnek olarak “http://tools.seobook.com/robots-txt/generator/” adresini açın.
  2. Karşınıza gelen ekranda “Additional rules” bölümünden eklemek istediğiniz kuralları oluşturun.
  3. Sonrasında isteğe bağlı olarak site haritanızın URL’ini ekleyin.
  4. Son olarak da “Your Robots.txt File” alanındaki kodları kopyalayarak sitenizin kök dizininde açacağınız Robots.txt dosyasının içine yapıştırın.

WordPress’te Eklentiler İle Robots.txt Dosyası Oluşturma

  1. WordPress tabanlı bir internet siteniz bulunuyorsa, kullandığınız Yoast SEO ya da All in One SEO Pack gibi eklentiler ile dosyanızı oluşturabilirsiniz.
  2. Ayrıca yönetim panelinde Eklentiler sekmesinin altındaki Yeni Ekle alanından bir eklenti yükleyebilir ve dosyanızı oluşturabilirsiniz.
  3. Kullanacağınız yardımcı eklentiler ile dosyanızı istediğiniz kurallara göre oluşturabilir veya düzenleyebilirsiniz.

Robots.txt Dosyasını Google’a Bildirme

Hazırladığınız ve sitenizin kök dizininde yer alan Robots.txt dosyanızı Google’a bildirmek için kullanmamız gereken araç Google Search Console’da yer alan “Robots.txt Test Aracı”dır. İlk olarak aşağıdaki bağlantıya tıklayıp doğrudan Robots.txt Test Aracı’na ulaşın ve site mülkünüzü seçtikten sonra işlem yapmaya başlayın.

Robots.txt Test Aracı için lütfen bu butona tıklayınız

İkinci aşamada karşınıza gelen ekrana, dosyanızın içine yazdığınız komutları tamamen kopyalayın ve buraya eksiksiz bir şekilde yapıştırın. Ardından “Gönder” butonuna tıklayın. Butona tıkladıktan sonra bir pop-up pencere açılacaktır. Burada dosyanızı Google’a göndermeden önce yapmanız gereken 3 aşama anlatılmaktadır. Bu aşamalar;

  1. Güncellenen kodu indirin: Düzenleyiciden, güncellenen Robots.txt dosyasını indirin.
  2. Yüklenen sürümü kontrol edin: Güncellenen dosyayı alanınızın kök dizinine yükleyin. Sonra, yüklediğiniz dosyayı kontrol ederek bu dosyanın, Google’ın kullanmasını istediğiniz güncel sürüm olduğundan emin olun.
  3. Google’dan güncelleme yapmasını isteyin: Google’ın dosyanızın güncellendiğini öğrenmesi için bir istek gönderin.

şeklindedir. Sırasıyla “İndir” butonuyla hazırlamış olduğunuz dosyanızı indirin. İkinci aşamada da bu dosyayı sitenizin kök dizinine ekleyin ve sonrasında “Yüklenen sürümü kontrol edin” butonuna basarak yüklediğiniz dosya içeriğinin doğruluğunu kontrol edin. (Yeni bir pencere açılacak ve bu pencere sitenizdeki dosyanın yolunu otomatik olarak açacaktır.)

Son aşamada ise Gönder butonuyla hazırlamış olduğunuz dosyanızı Google’a gönderin. Google, kısa süre içinde göndermiş olduğunuz dosyayı inceleyip güncelleyecektir. Dosyanız güncellendiğinde içeriği Robots.txt Test Aracı sayfasında da karşınıza çıkacaktır.

Öte yandan, sayfanın altında bulunan test aracı ile birlikte de bir dizinin dosyanız tarafından engellenip engellenmediğini görüntüleyebilirsiniz. Yer alan boşluğa dizini yazarak sağ kısımdan test etmek istediğiniz botu (Googlebot, Googlebot-News, Googlebot-Image, Googlebot-Video, Googlebot-Mobile, Mediapartners-Google ve Adsbot-Google) seçebilirsiniz.

Eğer sorguladığınız dizin, dosyanız tarafından engelleniyorsa “Engellendi” şeklinde, eğer sorguladığınız dizin, dosyanız tarafından engellenmiyorsa da “İzin Verildi” şeklinde bir uyarı alacaksınız.

SEO hakkında merak ettikleriniz, sorularınızın cevapları ve en güncel SEO yazılarını okumaya devam etmek için https://www.anilzengin.com.tr/seo/ sayfasını hemen ziyaret edin!

Anıl Zengin

6 yıldır dijital pazarlama sektöründe birbirinden farklı projelerde yer aldım. Eğitim hayatımı İstanbul Kültür Üniversitesi'nden mezun olarak tamamladım. Sırasıyla Haberturk.com, Peakment Digital ve 360 Ajans'ta SEO Uzmanı olarak görev aldım. Şu anda da boosmart - Pazarlama Zekası ve Performans Pazarlaması Ajansı'nda SEO Uzmanı olarak görev alıyorum.

İlgili Makaleler

Bir cevap yazın

E-posta hesabınız yayımlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir

Yorum göndererek Kullanım Koşulları'nı kabul etmiş sayılırsınız.
Yukarıdaki yorum kutucuğu; ad - soyad, e-posta adresi ve internet site bilgilerini toplar. Toplanan bu veriler sitemizin dijital reklam çalışmalarında kullanılmaktadır. Yorumunuzu gönderdiğiniz takdirde, bilgilerinizin dijital reklam çalışmalarında kullanılmasına izin vermiş sayılırsınız.

Başa dön tuşu