Yapay zeka botları

Yapay zeka şirketlerinin çoğu tek bir bot değil, farklı işler için ayrı botlar kullanıyor ve bunların adlarını belgelerinde yayımlıyor. Kabaca üç gruba ayrılırlar.

Üç tür bot

Eğitim botları: Modelleri eğitmek için veri toplar. Örnek: OpenAI’ın GPTBot’u, Anthropic’in ClaudeBot’u. Common Crawl’un CCBot’u da birçok modelin eğitiminde kullanılan açık veri setini toplar.

Arama botları: Yapay zeka aramasında gösterilecek sayfaları bulur ve dizine ekler. Örnek: OAI-SearchBot (ChatGPT arama), Claude-SearchBot, PerplexityBot.

Kullanıcı botları: Bir kullanıcı sohbette bir bağlantıyı açmasını istediğinde ya da asistan o an bir sayfayı okuması gerektiğinde gelir. Örnek: ChatGPT-User, Claude-User, Perplexity-User. Bazı şirketler, kullanıcının başlattığı bu isteklerde robots.txt kurallarının her zaman uygulanmayabileceğini belirtiyor.

Google’ın durumu farklıdır: Google-Extended ayrı bir bot değil, robots.txt’de kullanılan bir izin adıdır. İçeriğin Gemini modellerinde kullanılıp kullanılmayacağını belirler, ama Google aramasını ve yapay zeka özetlerini etkilemez. Onlar normal Googlebot taramasına dayanır.

Neden önemli

Bu ayrım, site sahibine seçim imkanı verir. Örneğin eğitim botlarını engelleyip arama botlarını açık bırakmak mümkündür. Arama botlarını engelleyen bir site ise yapay zeka cevaplarında kaynak olarak gösterilme şansını büyük ölçüde kaybeder. Engellemeler bazen bilinçli değildir; güvenlik duvarları ve CDN’lerin hazır bot koruma ayarları da bu botları durdurabilir.

Örnek

Sunucu kayıtlarında OAI-SearchBot ziyaretleri hiç görünmüyorsa, robots.txt ve güvenlik ayarlarını kontrol etmek ilk adımdır. Bot listesi ve ayar örnekleri için yapay zeka botları ve llms.txt rehberine bakabilirsiniz.