Robots.txt Nedir? SEO İçin Doğru Yapılandırma Rehberi (2026)

Web sitenizin arama motoru botları tarafından nasıl tarandığını kontrol etmek ister misiniz? Robots.txt, arama motoru tarayıcılarına (crawler/bot) sitenizin hangi bölümlerini tarayabileceklerini ve hangilerinden uzak durmaları gerektiğini söyleyen basit bir metin dosyasıdır. Doğru yapılandırılmış bir robots.txt, SEO performansınızı doğrudan etkiler; hatalı bir yapılandırma ise sitenizin tamamını arama sonuçlarından silebilir.

Mars Creative olarak yönettiğimiz projelerde robots.txt yapılandırması, SEO altyapısının temel adımlarından biridir. Bu rehberde robots.txt’nin ne olduğunu, nasıl çalıştığını, doğru yazım kurallarını ve yaygın hataları detaylı olarak anlatıyoruz.

Robots.txt Nedir?

Robots.txt, web sitenizin kök dizininde (örneğin siteadi.com/robots.txt) bulunan düz metin formatında bir dosyadır. Robots Exclusion Protocol (REP) standardına dayanır ve 1994’ten bu yana web’in temel bileşenlerinden biridir. Arama motorları — Google, Bing, Yandex ve diğerleri — sitenizi taramaya başlamadan önce bu dosyayı okur ve talimatlarına uyar.

Önemli bir nokta: robots.txt bir “tavsiye” değil, teknik bir direktiftir. Google ve diğer büyük arama motorları bu direktife uyar. Ancak robots.txt ile engellenen sayfalar dizine alınmaz olmaz — yalnızca taranmaz. Bir sayfanın dizine alınmasını tamamen engellemek için noindex meta etiketi kullanılmalıdır.

Robots.txt Nasıl Çalışır?

Bir arama motoru botu sitenize ilk geldiğinde şu süreci izler:

1. Bot, sitenizin kök dizinindeki /robots.txt dosyasını arar ve okur.

1. Dosyadaki direktifleri kontrol eder — kendi user-agent’ına uygun kuralları bulur.

1. İzin verilen (Allow) ve engellenen (Disallow) yolları belirler.

1. Kurallara uygun şekilde sitenin sayfalarını tarar veya atlar.

1. Sitemap direktifi varsa, belirtilen XML sitemap’i okuyarak taranacak URL’leri keşfeder.

Bu süreç her tarama oturumunda tekrarlanır. Robots.txt dosyanız güncellendiğinde, botlar bir sonraki ziyaretlerinde yeni kuralları uygular.

Robots.txt Söz Dizimi ve Direktifler

Robots.txt dosyası dört temel direktif kullanır. Her direktifin işlevini ve kullanım kurallarını anlamak, doğru yapılandırmanın ön koşuludur:

User-agent satırı her kural bloğunun başında yer alır. Yıldız (*) işareti tüm botları hedefler. Birden fazla bot için ayrı bloklar yazılabilir. Disallow satırı boş bırakılırsa (Disallow: ) tüm sayfaların taranmasına izin verilir.

WordPress Sitelerde Robots.txt Yapılandırması

WordPress, varsayılan olarak sanal (virtual) bir robots.txt dosyası oluşturur. Ancak bu dosya temel düzeydedir ve özelleştirme gerektirir. WordPress siteler için önerilen robots.txt yapısı şu bölümleri içermelidir:

Yönetim paneli (/wp-admin/) taranmamalıdır — bu alan yalnızca site yöneticilerine aittir ve dizine alınması güvenlik riski oluşturur. Ancak /wp-admin/admin-ajax.php dosyası bazı ön yüz işlevleri için gerekli olduğundan Allow ile açılmalıdır. Eklenti ve tema dizinleri (/wp-content/plugins/, /wp-content/themes/) genellikle doğrudan erişime kapatılır. Arama sonuç sayfaları (/search/ veya /?s=) yinelenen içerik riski nedeniyle engellenmelidir. Yazar arşivleri ve etiket sayfaları, küçük sitelerde crawl budget israfını önlemek için engellenebilir.

Rank Math SEO eklentisi, WordPress yönetici panelinden robots.txt dosyasını doğrudan düzenlemenize olanak tanır. Genel Ayarlar → Robots.txt Düzenle bölümünden kurallarınızı yazabilirsiniz.

Robots.txt ve Crawl Budget İlişkisi

Crawl budget (tarama bütçesi), Google’ın sitenizde belirli bir zaman diliminde kaç sayfayı tarayacağını belirleyen sınırdır. Küçük siteler (birkaç yüz sayfa) için crawl budget genellikle sorun olmaz; ancak binlerce sayfaya sahip büyük sitelerde ve e-ticaret sitelerinde kritik bir faktördür.

Robots.txt ile değer taşımayan sayfaları (filtrelenmiş sonuçlar, iç arama sayfaları, parametre URL’leri) engelleyerek crawl budget’ı önemli sayfalarınıza yönlendirebilirsiniz. Bu strateji, Google’ın sitenizin gerçekten önemli sayfalarını daha sık ve daha hızlı taramasını sağlar.

Robots.txt vs. Noindex: Doğru Aracı Seçmek

Robots.txt ve noindex farklı işlevlere sahiptir ve bu farkı anlamak kritik hataları önler:

Kritik kural: Bir sayfayı arama sonuçlarından tamamen kaldırmak istiyorsanız noindex kullanın, robots.txt değil. Robots.txt ile engellenen bir sayfada noindex etiketi varsa bile Google bu etiketi göremez çünkü sayfayı taramaz. Bu durum sayfanın istemeden dizinde kalmasına neden olabilir.

Yaygın Robots.txt Hataları

Robots.txt yapılandırmasında sık karşılaşılan hatalar ve çözümleri şunlardır:

Tüm siteyi engelleme: “Disallow: /” kuralı sitenin tamamını taramaya kapatır. Geliştirme veya staging ortamlarında kullanılır ancak canlı siteye taşındığında kaldırılması unutulursa tüm organik trafik sıfıra düşer. Google Search Console‘daki dizinleme raporunu düzenli kontrol ederek bu hatayı erken tespit edebilirsiniz.

CSS ve JS dosyalarını engelleme: Googlebot’un sayfalarınızı düzgün render edebilmesi için CSS ve JavaScript dosyalarına erişimi olmalıdır. Bu dosyaları engellemek, Google’ın sayfanızı yanlış yorumlamasına ve sıralama kaybına neden olabilir.

Sitemap bildirimini unutma: Robots.txt dosyasının sonuna Sitemap direktifini eklemek, botların XML sitemap’inizi hızlıca bulmasını sağlar. Bu basit adım, yeni sayfaların keşif süresini kısaltır.

Büyük-küçük harf duyarlılığı: Robots.txt yol kuralları büyük-küçük harfe duyarlıdır. /Admin/ ile /admin/ farklı yollardır. URL’lerinizin tam yazımını kontrol edin.

Robots.txt’yi Test Etme

Robots.txt değişikliklerini canlıya almadan önce test etmek, olası sorunları önceden yakalamanızı sağlar. Google Search Console’un eski “robots.txt Tester” aracı artık aktif değildir; ancak alternatif yöntemler mevcuttur. Robots.txt dosyanızı doğrudan tarayıcıda açarak (siteadi.com/robots.txt) söz dizimini kontrol edebilirsiniz. Üçüncü parti araçlar (Screaming Frog, Ahrefs, Sitebulb) robots.txt kurallarının hangi URL’leri etkilediğini simüle edebilir. GSC’deki URL Denetleme aracı, belirli bir URL’nin robots.txt tarafından engellenip engellenmediğini gösterir.

Sıkça Sorulan Sorular

Robots.txt olmadan site çalışır mı?

Evet, robots.txt dosyası zorunlu değildir. Dosya yoksa arama motorları sitenin tamamını taramaya açık kabul eder. Ancak özelleştirilmiş bir robots.txt, crawl budget yönetimi, hassas alanların korunması ve sitemap bildirimi için şiddetle önerilir.

Robots.txt gizli sayfaları korur mu?

Hayır. Robots.txt bir güvenlik mekanizması değildir. Engellenen URL’ler hâlâ doğrudan erişime açıktır ve başka sitelerden link alırsa dizine girebilir. Hassas içerikleri korumak için parola koruması, erişim kontrolü (authentication) veya sunucu düzeyinde engelleme kullanın.

Robots.txt değişiklikleri ne zaman etkili olur?

Google, robots.txt dosyasını yaklaşık 24 saat önbelleğe alır. Değişiklikler genellikle birkaç saat ile bir gün içinde etkili olur. Acil durumlarda Google Search Console’dan yeniden tarama talep ederek süreci hızlandırabilirsiniz.

Her alt alan (subdomain) için ayrı robots.txt gerekir mi?

Evet. Robots.txt dosyası alt alan bazında çalışır. blog.site.com ve shop.site.com için ayrı robots.txt dosyaları oluşturulmalıdır. Her alt alanın kök dizininde kendi robots.txt dosyası bulunmalıdır.

Sonuç

Robots.txt, teknik SEO’nun temel yapı taşlarından biridir. Doğru yapılandırılmış bir robots.txt dosyası, arama motoru botlarının sitenizi verimli taramasını sağlar, crawl budget’ı optimize eder ve istenmeyen sayfaların taranmasını önler. Küçük bir metin dosyası olmasına rağmen yanlış yapılandırma ciddi SEO sorunlarına yol açabilir — bu nedenle profesyonel yönetim önemlidir.

Profesyonel SEO hizmetlerimizi inceleyebilir, Google Search Console rehberimize göz atabilir veya teknik SEO denetimi için bizimle iletişime geçebilirsiniz.