Robots.txt dosyasının arkasında yatanlar

Robots.txt adında bir dosya var. Bu dosyaya web sitenizin nerelerinin arama motorları tarafından dizine alınacağını, nerelerin internet aramaları ile bulunamayacağı gibi bilgileri yazıyorsunuz. Önemsiz bir dosya gibi görünüyor ama Arama Motoru Optimizasyonu, Gizlilik ve Güvenlik açılarından önem arzediyor.

WordPress için aşağıdakine benzer bir yapıda robots.txt kullanılabilir.

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Allow: /wp-content/uploads

# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*

# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*

# digg mirror
User-agent: duggmirror
Disallow: /

Sitemap: http://www.example.com/sitemap.xml

Aşağıdaki adreslerden detaylı bilgi alabilirsiniz.

Bir Cevap Yazın

E-posta hesabınız yayımlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir

Doğrulama sorusu *