Web sitenizin arama motorlarının indeksleme yapması için arama motorların botları web sitenize ulaştıklarında ilk olarak kök dizinde bulunan robots.txt dosyasını ararlar. Bu dosya botlara hangi sayfaların indekslenip hangilerinin indekslenmeyeceğini anlatmak...
