robots.txt a AI roboti: koho povoliť a koho blokovať
Súbor robots.txt hovorí robotom, kam na webe smú. S nástupom AI pribudli desiatky nových robotov a mnohé weby ich blokujú, často nevedome cez hosting alebo bezpečnostný plugin. Výsledkom môže byť, že vás AI asistenti nenájdu.
Čo robots.txt robí a čo nie
robots.txt je súbor na adrese /robots.txt s pravidlami pre robotov. Slušní roboti ho rešpektujú, škodliví ho ignorujú. Nie je to bezpečnostné opatrenie, citlivé stránky treba chrániť heslom. Zákaz v robots.txt tiež nezaručuje, že stránka nebude v indexe, ak na ňu vedú odkazy.
Vyhľadávanie a trénovanie sú dve rôzne veci
Mnohé AI firmy majú oddelených robotov pre vyhľadávanie a pre zber dát na trénovanie. Môžete tak povoliť, aby vás AI našla a citovala, a zároveň zakázať použitie obsahu na trénovanie.
- Googlebot: vyhľadávanie Google vrátane Prehľadov od AI. Nikdy ho neblokujte, ak chcete byť v Googli.
- Google-Extended: nie je samostatný robot, ale označenie, ktoré určuje, či sa obsah smie použiť pre modely Gemini mimo vyhľadávania.
- Bingbot: vyhľadávanie Bing, z ktorého čerpajú aj ďalšie služby.
- OAI-SearchBot: vyhľadávanie v ChatGPT.
- GPTBot: zber dát pre modely OpenAI.
- PerplexityBot: vyhľadávanie v Perplexity.
- ClaudeBot a Claude-SearchBot: roboti spoločnosti Anthropic pre trénovanie a pre vyhľadávanie.
Čo odporúčame väčšine firiem
Ak chcete, aby vás zákazníci našli cez AI, povoľte vyhľadávacích robotov. O trénovaní sa rozhodnite podľa svojho postoja k použitiu obsahu. Pre firemný web, ktorého cieľom je byť nájdený, býva povolenie prínosnejšie ako zákaz.
Skontrolujte aj hosting a firewall
Aj keď robots.txt robotov povoľuje, môže ich blokovať firewall, CDN alebo bezpečnostný plugin. Niektoré služby ponúkajú jedným kliknutím „blokovať AI robotov“. Overte, že nastavenie robí to, čo chcete, viac v článku Škodliví roboti a DDoS útoky.
Odkaz na sitemapu
Do robots.txt pridajte odkaz na sitemapu, aby ju roboti našli. Viac o AI vyhľadávaní v článkoch Čo je GEO a llms.txt. Nastavenie robots.txt a prístupu robotov vám radi skontrolujeme.
