ChatGPT, Gemini ve Perplexity aynı kapıdan girmez. Her birinin okuyucusu, robots.txt'de ayrı bir addır. Birini içeri almak diğerinde kaynak olarak görünmeyi garanti etmez. GEO sayfası bu ayrımı hizmet olarak kurar. Burada yalnız erişim kuralları durur.
ChatGPT
OpenAI'nin crawler belgesi iki işi ayırır. OAI-SearchBot, ChatGPT arama özelliklerinde sitenin sonuçlarda yüzeye çıkması içindir. Belge, bu botu kapatan sitenin arama cevaplarında gösterilmeyeceğini, yine de gezinti bağlantısı olarak kalabileceğini yazar. GPTBot ise üretken modellerin eğitiminde kullanılabilecek tarama içindir. İkisi birbirinin anahtarı değildir.
ChatGPT-User ayrıdır. Kullanıcı bir soru sorduğunda sayfayı ziyaret edebilir. Belge, bunun otomatik tarama olmadığını ve robots.txt kuralının her zaman uygulanmayabileceğini söyler. Arama görünürlüğünü yöneten ad OAI-SearchBot'tur.
OpenAI'nin arama yardım metni de yerleştirmeyi garanti etmez. Sitenin aramaya aday olması için OAI-SearchBot'un erişmesi ve barındırıcının yayımlanmış arama IP aralıklarını engellememesi gerekir. Aday olmak, cevapta anılmak değildir.
Google ve Gemini
Google'ın ortak crawler listesi Googlebot'u, Google Search ve arama özelliklerinin taraması olarak tanımlar. AI Overviews ve AI Mode bu aramanın parçasıdır. Snippet istemeyen sayfa, bu yüzeylerde de bağlantı olarak gösterilmek için uygun olmaz. Ayrı bir "AI Overview botu" şartı yazılmaz.
Google-Extended başka bir iştir. Liste, bu token'ın Gemini uygulamaları ve Vertex AI'da ilerideki modellerin eğitimi ile grounding için kullanıldığını, Google Search'e dahil olmayı veya sıralama sinyalini yönetmediğini yazar. Token'ı kapatmak arama dizinden çıkmak değildir. Token'ı açmak da yanıtta görünmek değildir.
Perplexity
Perplexity'nin crawler belgesi PerplexityBot'u arama sonuçlarında siteyi yüzeye çıkarmak için tanımlar. Eğitim taraması olmadığını yazar. Perplexity-User, kullanıcının sorusu üzerine sayfayı ziyaret eder. Belge, bu isteğin kullanıcıdan geldiği için robots.txt'yi genel olarak yok saydığını söyler. Değişikliğin sisteme yansıması bir günü bulabilir.
llms.txt neyin kapısıdır
Jeremy Howard'ın llms.txt önerisi, ajanlara sitenin kısa bir markdown haritasını vermek içindir. Kökteki dosya bir H1, kısa bir özet ve bağlantı listesi taşır. Öneri, dosyanın sitemap veya robots yerine geçmediğini yazar.
Google'ın üretken arama rehberi aynı dosya için tersini değil, sınırını yazar: Google Search llms.txt kullanmaz. Dosyayı başka sistemler için tutmak aramaya zarar da vermez, yardım da etmez. Biz dosyayı bu sınırla yayınlarız. Ajan, Leon-X Dijital'i Leon-X Bilişim'in dijital alt markası olarak ve SEO ile GEO'yu uzmanlık olarak okusun. Dosya bir sıra anahtarı değildir.
Erişim açık, sayfa soruya cevap vermiyor ve kaynak göstermiyorsa botun içeri girmesi bir citation üretmez. Önce arama temeli, sonra yüzeyin kendi botu. İkisini tek düğme sanmak, kapıyı açınca içeri alınmayı beklemektir.

