Robots.txt Nedir? Ne işe yarar?

Robots.txt bir metin dosyasıdır Sayfaları arama robotları söylemek tanıtmak sitenizde ana dizinde bulunan dosyasıdır. Robots.txt Her arama motorları için zorunlu anlamına gelir O robots.txt sitenizi taramasını arama motorları engelleyecek bir yol netleştirmek için önemlidir ve bir robots.txt dosyası koymak için gerçeği (yani bir güvenlik duvarı veya şifre koruması ) gibi bir şeydir Bir kilidi kapıya “, girmeyiniz Lütfen” not koyarak – örn geliyor hırsızlar engel olamaz ama iyi adamlar kapı açın ve girmeyecektir.

Robots.txt’nin konumu çok önemlidir. Aksi takdirde kullanıcı arayüzlerinin (arama motorları) bulmak mümkün olmayacaktır çünkü ana dizinde olmalıdır -Sitenizde robots.txt adlı bir dosya olmalıdır adı değişik olmamalıdır. Bunun yerine, botlar ( ana dizinde ilk bakacakları yer siteadı/robots.txt ) ve robots.txt dosyası olmadığını varsayalım ve bu nedenle onlar yol boyunca ana dizinde robots.txt ararlar.

Robots.txt Dosyasının içeriği
Disallow kullanarak index istemediğiniz yeri belirleyebilirsiniz Disallow kullandığınızda arama motoru indexlemiyecek ve arama botlar girmiyecektir.

Örnek ana dizinde bulunan robots.txt dosyası;

User-agent: *
Disallow: / temp /
User-agent: Googlebot
Disallow: / images /
Disallow: / temp /
Disallow: / cgi-bin /

Sitenizi indexlenmeye kapatmak için komut;

User-agent: *
Disallow: /

Sitenizdeki belli bir resmin Google görsel aramalarında yer almasını engellemek için;

User-agent: Googlebot-Image
Disallow: /resimler/profilim.jpg

Sitenizdeki hiç bir resmin Google görsel aramalarında yer almamasını istiyorsanız,işte komutunuz;

User-agent: Googlebot-Image
Disallow: /

Sitenizdeki sadece belli sayfaların gözükmesini engellemek için ise şu eklemeyi kullanabilirsiniz;

User-Agent: *
Disallow: /ozel-dosya

event_note Ekim 1, 2018

account_box byseo

Bir cevap yazın

E-posta hesabınız yayımlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir