Robots.txt Yönetimi

Robots.txt Nedir?

robots.txt dosyası, arama motoru tarayıcılarına (Googlebot, Bingbot vb.) sitenizin hangi bölümlerini taramasını istediğinizi söyler. Bu dosya sitenizin kök dizininde bulunur ve SEO için kritik öneme sahiptir.

Tarayıcı Yönlendirmesi

Robots.txt, arama motorlarına "Bu sayfaları tara, şunları tarama" talimatı verir. Yanlış yapılandırma sitenizin indekslenmesini engelleyebilir!

MarkaClick Robots.txt Yapısı

MarkaClick, optimize edilmiş bir robots.txt dosyası ile gelir:

# MarkaClick CMS - Robots.txt
# Arama motoru tarayıcı kuralları

User-agent: *
Allow: /

# Admin ve API erişimini engelle
Disallow: /admin/
Disallow: /api/
Disallow: /include/
Disallow: /config/

# Geçici ve cache dosyalarını engelle
Disallow: /cache/
Disallow: /logs/
Disallow: /backups/

# Kurulum dosyalarını engelle
Disallow: /install/

# Sitemap konumu
Sitemap: https://example.com/sitemap.xml

Robots.txt Direktifleri

Direktif	Açıklama
`User-agent: *`	Tüm tarayıcılar için geçerli kurallar
`Allow: /`	Belirtilen yolun taranmasına izin ver
`Disallow: /admin/`	Belirtilen yolun taranmasını engelle
`Sitemap: URL`	XML sitemap dosyasının konumu
`Crawl-delay: 10`	İstekler arası bekleme süresi (saniye)

Engellenen Dizinler

Aşağıdaki dizinler güvenlik ve performans için tarama dışı bırakılır:

/admin/

Yönetim paneli - Güvenlik

/api/

API endpoints - Gereksiz

/config/

Yapılandırma - Gizli

/backups/

Yedekler - Hassas veri

XML Sitemap

Sitemap, sitenizin tüm sayfalarının listesini içerir ve arama motorlarının sitenizi daha verimli taramasını sağlar.

Sitemap Özellikleri

Otomatik Oluşturma: Yeni ürün/sayfa eklendiğinde güncellenir
Öncelik (Priority): Sayfaların önem sırası belirtilir
Son Güncelleme: Her sayfanın son değişiklik tarihi
Güncelleme Sıklığı: Ne sıklıkla kontrol edilmeli

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
    <url>
        <loc>https://example.com/</loc>
        <lastmod>2025-12-01</lastmod>
        <changefreq>daily</changefreq>
        <priority>1.0</priority>
    </url>
    <url>
        <loc>https://example.com/products</loc>
        <lastmod>2025-12-01</lastmod>
        <changefreq>daily</changefreq>
        <priority>0.9</priority>
    </url>
    <url>
        <loc>https://example.com/product/ornek-urun</loc>
        <lastmod>2025-11-30</lastmod>
        <changefreq>weekly</changefreq>
        <priority>0.8</priority>
    </url>
</urlset>

Google Search Console

Robots.txt ve sitemap'inizi Google Search Console'a kaydetmeniz önerilir:

Google Search Console'a gidin
Sitenizi ekleyin ve doğrulayın
Dizin oluşturma → Sitemaps bölümüne gidin
Sitemap URL'inizi ekleyin: sitemap.xml
Ayarlar → robots.txt bölümünden test edin

Robots.txt Test Etme

Robots.txt dosyanızın doğru çalıştığını kontrol etmek için:

1 Tarayıcıda Kontrol

Sitenizin URL'ine /robots.txt ekleyerek dosyayı görüntüleyin.

https://siteniz.com/robots.txt

2 Google Test Aracı

Search Console'daki robots.txt test aracını kullanın.

3 URL Denetleme

Belirli bir URL'in engellenip engellenmediğini kontrol edin.

Dikkat

Robots.txt değişikliklerinin arama motorları tarafından algılanması birkaç gün sürebilir. Kritik değişiklikler yapmadan önce test edin.

En İyi Uygulamalar

Öneriler

Hassas dizinleri (admin, config, backups) mutlaka engelleyin
Sitemap URL'ini robots.txt içinde belirtin
Çok fazla Disallow kuralı kullanmaktan kaçının
Önemli sayfaları yanlışlıkla engellemeyin
Değişikliklerden sonra test edin
Google Search Console'u düzenli kontrol edin

İlgili Makaleler