robots.txt Dosyası Nedir Ne İşe Yarar

robots.txt Dosyası Nedir Ne İşe Yarar

Web sitenizin arama motorlarının indeksleme yapması için arama motorların botları web sitenize ulaştıklarında ilk olarak kök dizinde bulunan dosyasını ararlar. Bu dosya botlara hangi sayfaların indekslenip hangilerinin indekslenmeyeceğini anlatmak için yerleştirilir. Web sitenizin indeks almasını istemediğiniz bölümlerini alt dizinlerden birisine ait url indekslenmesini istemiyorsanız bunlar da kök dizindeki dosyasında bildirmeniz gerekiyor. Ya da alternatif olarak indekslenmesini istemediğiniz sayfalarda Meta Tag kullanabilirsiniz. Çoğu ücretsiz blog servisi kök dizine erişime izin vermediğinden Meta Tag’lardan yararlanmak gerekecetir.

Örnek bir robots.txt adresi şu şekilde olmalıdır;

http://www.DijitalTeknoloji.Net/robots.txt

Aşağıdaki örneklerdeki robots.txt dosyaları ise, bulundukları hatalı pozisyon nedeni ile, robotlar tarafından dikkate alınmayacaklardır;

http://www. DijitalTeknoloji.Net/Teknoljoi-Haberleri/robots.txt

robots.txt dosyası sadece belirli bir şekilde düzenlenmiş metin içeriğine sahip olmalıdır ve asla HTML kodları içermemelidir. Aşağıdaki örnekleri inceleyelim;

Tüm robotların blog’unuzun tamamını indekslemesini engellemek için;

User-agent: *
Disallow: /

Blog’unuzun tamamının robotların birisi tarafından indekslenmesini engellemek için;

User-agent: Googlebot
Disallow: /
User-agent: *
Disallow:

Tüm robotların blog’unuzun tamamını indekslemesi için;

User-agent: *
Disallow:

Not: Boş bir robots.txt dosyası da aynı mesajı verecektir.

Bir dizinin tüm robotlar tarafından indekslenmesini engellemek için;

User-agent: *
Disallow: /dizin-adi/

Bir sayfanın tüm robotlar tarafından indekslenmesini engellemek için;

User-agent: *
Disallow: /dizin-adi/ozel-sayfa.html

Robots.txt dosyasında “/dizin-adi/*” veya “/dizin-adi/*.html” gibi ifadeler kullanamazsınız. Hariç tutulmasını istediğiniz sayfaları ve dizinleri teker teker belirtmek zorundasınız. Tabii ki hariç tuttuğunuz bir dizinin içindeki dosyaları ayrıca belirtmenize gerek yok :)

Örnek bir kod aşağıdaki şekilde olabilir;

# www.DijitalTeknoloji.Net için robots.txt dosyası
User-agent: *
Disallow: /cgi-bin/
Disallow: /images/private/
Disallow: /private.html

Facebook'ta Paylaş
Whatsapp'ta Paylaş
Facebook'ta Paylaş
Whatsapp'ta Paylaş
Yorumlar

Yorumunuzu Yazın

E-posta adresiniz yayınlanmayacaktır.


Son Yorumlar

  • uğur:ben nasıl yapılacağını anlayamadım. bu sorunu hall...
  • fatma aslan:selam hesabımı dondurmuştum fakat şimdi açamıyoıru...
  • Orçun:Bahadır arkadaşımız haklı. El terminalleri okumuyo...
  • Silver:Zaten hayatimizda tonlarca sifre var b.k var gibi ...
  • Anonim:Android mi Sürümü kaç...
  • Osman:Bu bilgiyi arıyordum. 5 blogumu da diğer maile dev...
  • Gözde:Lütfen yardımcı olun gozde.2811@hotmail .com bu ad...
  • Gzde:Bana ulaşabilir misiniz? Lütfen silinen facemi tek...
  • obedeay:instagramda fotoğraf lar üzerine nasıl link ekleni...

Sponsorlarımız

Minecraft Apk indir