Blog'a Dön

SEO

robots.txt ve sitemap.xml: ne işe yarar, nelere dikkat edilmeli?

Admin User
robots.txt ve sitemap.xml: ne işe yarar, nelere dikkat edilmeli?

Bu iki dosya SEO'da sürekli yan yana anılır ve sürekli karıştırılır. Biri botlara "buraya girme" der, diğeri "bak, şunlar önemli" der. İkisi de bir garanti vermez.

robots.txt: tarama kontrolü, gizlilik değil

robots.txt, alan adınızın kökünde duran ve tarayıcı botlara hangi yolları taramaması gerektiğini söyleyen düz metin dosyası. Burada herkesin düştüğü tuzak şu: Google'ın dokümanına göre robots.txt bir sayfayı Google'dan gizlemenin yolu değil. Taranması engellenen bir URL'ye başka sitelerden link veriliyorsa, Google içeriği görmeden URL'yi yine de indeksleyebilir. Bir sayfanın sonuçlarda hiç çıkmamasını istiyorsanız noindex kullanın ya da sayfayı parolayla koruyun.

Ters tuzak da var: bir sayfaya noindex koyup aynı sayfayı robots.txt ile engellerseniz Google noindex etiketini hiç göremez. İkisini birlikte kullanmayın.

Tipik bir dosya

User-agent: *
Disallow: /admin/
Disallow: /api/
Sitemap: https://www.ornek.com/sitemap.xml

Sık yapılan hatalar

  • Test ortamından canlıya Disallow: / satırının taşınması. Sitenin tamamı taranamaz hale gelir; yayına almadan önce mutlaka kontrol edin.
  • CSS ve JavaScript dosyalarını engellemek; Google sayfayı doğru render edemez.
  • robots.txt'i güvenlik önlemi sanmak. Dosya herkese açıktır; gizli yolları orada listelemek onları ele verir.

sitemap.xml: keşif için yardımcı liste

Site haritası, sitenizdeki önemli URL'leri Google'a bildiren bir dosya. Google'a göre site haritası her site için zorunlu değil: iyi bağlanmış, yaklaşık 500 sayfaya kadar küçük sitelerde genelde gerek yok. Büyük, yeni ya da sayfaları birbirine az bağlı siteler ile çok medya içeren sitelerde ise keşfi hızlandırmak için yararlı. Ancak bir URL'nin haritada olması indekslenmesini garanti etmez.

  • Sadece indekslenmesini istediğiniz, 200 dönen, canonical olan URL'leri ekleyin. Yönlendirilen, noindex olan ya da hatalı sayfalar haritayı kirletir.
  • Çok dilli sitelerde hreflang alternatiflerini haritaya da ekleyebilirsiniz.
  • Haritayı Search Console > Site Haritaları bölümünden gönderin ve robots.txt'e Sitemap: satırı olarak ekleyin.
  • "Son değişiklik" (lastmod) tarihini yalnızca içerik gerçekten değiştiğinde güncelleyin.

Kontrol listesi

  1. /robots.txt ve /sitemap.xml adreslerini tarayıcıda açın; 200 dönüyor mu?
  2. Search Console'da haritanın "Başarılı" durumda olduğunu ve keşfedilen URL sayısının beklediğinizle uyuştuğunu görün.
  3. Önemli sayfalardan biri indekslenmiyorsa URL Denetleme ile nedeni inceleyin; çözüm çoğu zaman robots.txt değil, içerik ve iç linklerdedir. Bkz. teknik SEO denetimi.

Kaynaklar