Robots.txt , Nasıl Oluşturulur?

obots.txt, arama motorlarına bir sitenin nasıl taranacağı hakkında açıklama yapan, botlara bir yol haritası çizen metin dosyalarıdır. Aynı zamanda REP yani robot dışlama protokolünün de bir parçası olan robots.txt dosyası genellikle site sahipleri tarafından göz ardı edilen ya da nasıl oluşturulduğuna dair bilgilerin eksik olduğu bir durumdur.

Robots.txt dosyası SEO açısından da oldukça önemlidir. SEO çalışmalarınızdan daha yüksek bir verim almak için bu sağladığı birçok avantaj vardır. Bu yazımızda robots.txt dosyasının ne olduğunu, nasıl oluşturulduğunu ve SEO açısından enden önemli olduğunu sizlerle paylaşacağız.

Robots.txt Nedir?

Robots.txt, arama motorları örümceklerinin bir web sitesini nasıl tarayacağını gösteren metin dosyasıdır. Örümceklerin siteyi nasıl taraması gerektiğini, içeriklere nasıl ulaşacağını ve içerikleri nasıl dizine ekleyeceğini gösterir. Aynı zamanda bağlantılar karşısında örümceklerin ne yapması gerektiğini konusunda ilgili sayfalar, alt dizinler ve sitenin geneliyle ilgili talimatlar verir. Örneğin bu talimatlar; bir bağlantı karşısında örümceklere “bu bağlantıyı takip et” ya da “bu bağlantıyı takip etme” şeklinde olabilir.

Daha basit ve genel anlamda bu dosyanın ne olduğunu anlatmak gerekirse arama motorlarına ait botlara adeta bir yol haritası görevi görür. Botların nereden nasıl ilerleyeceğini gösterir. Eğer doğru bir şekilde bu talimatlar yani komutlar dosya içerisinde oluşturulursa arama motorlarına ait botlar sizin belirleyeceğiniz talimatlara göre sitenizi tarayacaktır. Bu işleme verilen genel ad ise robot engelleme standardı ya da protokolüdür.

Bir web sitesinin bazı yapı taşları vardır. Robots.txt dosyaları da bu yapı taşlarından biridir. Dosya içerisinde yer aşan her şeyin doğru bir şekilde ayarlanması gerekir. Aksi takdirde yanlış hazırlanan bir talimat sonucunda taranmasını istemediğiniz şeyler taranarak dizine eklenir. Bundan dolayı da dosyada yer alan komutların doğru ve dikkatli bir şekilde oluşturulması ilk şarttır.

Robots.txt Nasıl Oluşturulur?

  • Dosyayı oluştururken ilk adımda masaüstünde boş bir txt dosyası oluşturmanız ve adını robot.txt yapmanız gerekir.
  • Oluşturduğunuz dosyayı açıp ilk satıra User-agent:* tanımlamasını ekleyin. Bu tanımla ile birlikte yapacağınız sınırlamalar ve komutların tüm arama motorları için geçerli olduğunu gösterir.
  • İlk tanımlamanın ardından “Disallow:” yazmalısınız. Bunu ekledikten sonra sınırlama getirmek istediğiniz kısımları ekleyin. Eğer bir tanımlama sınırı olmazsa arama motorlarına ait örümcekler tüm web sitenizi tarayarak dizine ekleyecektir.
  • Bir sonraki adımda dosyaya sitemap eklemelisiniz. Bu sayede botlar sitenize daha kolay bir şekilde ulaşacaktır. Örneğin; https://www.siteadı/sitemap_index.xml şeklinde ekleyebilirsiniz.
  • Site haritanızı ekledikten sonra indekslenmesini istemediğiniz sayfalar için tanımlama yapabilirsiniz. Bunun için Disallow: /page/ şeklinde bir tanımlama sapmanız gerekir.

Yukarıda genel anlamda bir robots.txt dosyasının nasıl oluşturulacağını anlattık. Ancak robots.txt dosyasında yukarıdakilere ek olarak karşılaşabileceğiniz bazı terimler vardır.

  • Allow: Googlebot için geçerli bir durumdur. Dosyaya eklediğiniz zaman izin vereceğiniz sayfa ya da alt kalsör dışında Googlebot’a tarama izni verilmez.
  • Crawl-delay: Örümceklere tarama işleminden önce kaç milisaniye beklemesi gerektiğini gösteren komuttur. Ancak Googlebot crawl-delay komutunu onaylamaz. Bunun yerine tarama hızını ayarlayabilmek için Search Console’u kullanmanız gerekir.

Bir cevap yazın

E-posta hesabınız yayımlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir

RSS
Facebook20
Facebook