Poate fi citit site-ul tău de ChatGPT și de ceilalți asistenți AI?
Pe scurt
Asistenții AI ajung la un site prin roboți proprii, de trei feluri: cei care adună text pentru antrenarea modelelor, cei care alcătuiesc indexul de căutare al asistentului și cei care deschid o pagină la cererea unui utilizator. Fiecare poate fi lăsat sau oprit din fișierul robots.txt. Blocajele nedorite vin de regulă din reguli generale, din module de securitate sau din servicii de protecție. Mulți roboți AI nu rulează JavaScript, deci conținutul trebuie să se afle în codul paginii. Fișierul llms.txt este o propunere, nu un standard. Pentru o firmă care vrea să fie găsită, roboții de căutare și cei porniți de utilizatori merită lăsați liberi.

O firmă investește un an în conținut bun, este citată de presă, are recenzii. Întrebat despre domeniul ei, ChatGPT îi pomenește pe trei concurenți și pe ea, deloc. Cauza se găsește după zece minute de căutat: serviciul de protecție al site-ului avea pornită, din fabrică, opțiunea de blocare a roboților AI. Nimeni nu o bifase. Nimeni nu știa de ea. Înainte de orice optimizare, merită lămurit un lucru simplu: poate fi citit site-ul tău de asistenții AI?
Cum ajunge un asistent AI la site-ul tău
Asistenții, ca și motoarele de căutare, nu citesc internetul cu ochii. Trimit programe, numite roboți sau crawlere, care deschid paginile și le citesc codul.
Drumul are patru pași, iar fiecare poate fi o piedică.
Descoperirea. Robotul trebuie să afle că pagina există: din linkuri, din harta site-ului sau din rezultatele unui motor de căutare.
Accesul. Trebuie să aibă voie să o deschidă.
Citirea. Trebuie să găsească textul în ce primește de la server.
Înțelegerea. Textul trebuie să fie destul de limpede ca să poată fi folosit.
Articolul acesta se ocupă de pașii al doilea și al treilea, cei tehnici. Despre ceilalți am scris în ghidul GEO și AEO.
Trei feluri de roboți AI
Nu toți fac același lucru, iar deosebirea contează atunci când hotărăști pe cine lași să intre.
Roboții de antrenare. Adună text din care se construiesc versiunile viitoare ale modelelor. Nu aduc vizitatori. Ce citesc ei ajunge, cel mult, în „cunoștințele generale” ale unui model viitor.
Roboții de căutare. Alcătuiesc indexul din care asistentul își ia sursele atunci când caută pe internet. De ei depinde dacă poți fi citat și dacă primești un link.
Roboții porniți de utilizator. Deschid o pagină anume în clipa în care un om îi cere asistentului să o citească sau când asistentul are nevoie de ea pentru un răspuns.
| Companie | Antrenare | Căutare | La cererea utilizatorului |
|---|---|---|---|
| OpenAI (ChatGPT) | GPTBot | OAI-SearchBot | ChatGPT-User |
| Anthropic (Claude) | ClaudeBot | Claude-SearchBot | Claude-User |
| Perplexity | – | PerplexityBot | Perplexity-User |
| Google (Gemini, AI Overview) | Google-Extended | Googlebot | – |
| Microsoft (Copilot) | – | Bingbot | – |
Numele se schimbă și apar altele noi. Verifică, din când în când, documentația fiecărei companii.
Două lămuriri despre Google. Rezumatele AI din căutare folosesc indexul obișnuit, alcătuit de Googlebot. Nu există un robot separat pentru ele. Iar Google-Extended nu este un robot, ci un nume folosit în robots.txt, prin care spui dacă îngădui folosirea conținutului la antrenarea modelelor Gemini. Blocarea lui nu te scoate din căutare și nici din rezumatele AI. Vezi articolul despre AI Overview.
Fișierul robots.txt
Este un fișier text, aflat la adresa domeniul-tău.ro/robots.txt, în care le spui roboților ce au voie să parcurgă.
Regulile sunt alcătuite din numele robotului și din ce i se îngăduie sau i se oprește.
Pentru a opri un robot de antrenare și a-i lăsa pe ceilalți, scrii:
User-agent: GPTBot
Disallow: /
Pentru a lăsa un robot să intre peste tot:
User-agent: OAI-SearchBot
Allow: /
O regulă scrisă pentru toți roboții, cu User-agent: *, îi privește și pe cei AI, dacă nu au o regulă a lor.
De reținut: robots.txt este o rugăminte, nu un zid. Roboții companiilor mari spun că îl respectă. Alții, nu.
Blocaje pe care nu știi că le ai
Aici se află cele mai multe surprize.
O regulă veche în robots.txt. Disallow: / pentru toți roboții, rămasă din vremea în care site-ul era în lucru. Sau o listă de „roboți răi”, copiată de pe internet, în care se află și cei AI.
Serviciul de protecție. Unele servicii puse în fața site-ului, precum Cloudflare, au opțiuni de blocare a roboților AI, care pot fi pornite din fabrică. Uită-te în panoul lor, la secțiunea despre roboți.
Modulele de securitate. Pe WordPress și pe alte platforme, modulele de protecție opresc uneori roboții pe care nu îi cunosc sau pe cei care fac multe cereri.
Firma de găzduire. Unele opresc, la nivel de server, anumiți roboți, ca să scadă încărcarea.
Limitările de viteză și verificările de felul „dovedește că nu ești robot”. Un robot nu trece de ele.
Conținutul din spatele unei autentificări, al unui zid de plată sau al unui formular.
Cum verifici
Citește robots.txt. Deschide-l în browser și caută numele roboților din tabel și regulile pentru toți roboții.
Uită-te în panoul serviciului de protecție și în setările modulelor de securitate.
Încearcă direct. Cere-i unui asistent cu acces la internet să deschidă o pagină de pe site-ul tău și să îți spună ce scrie pe ea. Dacă răspunde că nu poate ajunge la pagină, ai o piedică. Încearcă mai mulți asistenți, pentru că roboții sunt deosebiți.
Citește jurnalele serverului. Acolo se vede cine a venit și ce răspuns a primit. Un robot AI care primește mereu codul 403 este blocat. Unul care primește 200 a trecut. Firma de găzduire sau programatorul îți pot scoate datele.
Verifică fără JavaScript. Despre asta, în continuare.
Am descris și partea cealaltă, adică dacă firma este pomenită în răspunsuri, în articolul despre testarea vizibilității în AI.
JavaScript: pagina pe care robotul o vede goală
Multe site-uri moderne trimit către browser o pagină aproape goală și un program, care apoi aduce și afișează conținutul. Un om nu bagă de seamă. Un robot care nu rulează programul vede pagina goală.
Googlebot rulează JavaScript, cu oarecare întârziere. Mulți dintre roboții AI, nu. Ei citesc numai ce se află în codul primit de la server.
Verificarea este simplă. Deschide pagina, apasă clic dreapta și alege afișarea sursei. Caută o frază din textul paginii. Dacă o găsești, este în regulă. Dacă nu, textul este adus de un script, iar o parte dintre roboți nu îl văd.
Îndreptarea ține de programator: paginile trebuie alcătuite pe server, astfel încât textul să se afle în codul trimis.
Aceeași grijă pentru conținutul ascuns în file, în acordeoane sau încărcat abia la derulare. Dacă textul se află în cod, este citit. Dacă este adus numai la click, nu.
Ce ajută citirea
Odată intrat, robotul trebuie să priceapă ce citește.
Cod curat și structură limpede. Un titlu principal, subtitluri în ordine, paragrafe, liste și tabele făcute cu elementele potrivite.
Text, nu imagini cu text. Prețurile dintr-o poză nu sunt citite.
Viteză. Roboții au răbdare puțină. O pagină care răspunde greu este părăsită. Vezi articolul despre optimizarea vitezei.
Date structurate despre firmă, servicii, produse și întrebări frecvente.
Hartă a site-ului la zi și linkuri interne către paginile importante.
Adrese stabile. Vezi articolul despre ce înseamnă URL.
Ce este llms.txt
Este o propunere apărută în 2024: un fișier text, așezat la domeniul-tău.ro/llms.txt, scris în format Markdown, care le prezintă modelelor de limbaj site-ul pe scurt. Cuprinde un titlu, o descriere și o listă de linkuri către paginile cele mai importante.
Ideea este să îi dai unui asistent o hartă curată, fără meniuri, reclame și cod.
Ce trebuie știut, cinstit: nu este un standard și niciuna dintre companiile mari nu a confirmat că îl folosește la alcătuirea răspunsurilor. Google a spus că nu îl ia în seamă pentru căutare.
Costă puțin să îl faci și nu strică. Unele unelte de verificare îl caută. Dar nu îți face socotelile pe el și nu îl lua drept o scurtătură.
Pe cine lași să intre
Este o hotărâre de afaceri, nu una tehnică. Și nu este aceeași pentru toată lumea.
O firmă care vrea să fie găsită și recomandată, adică aproape orice firmă de servicii sau magazin, are tot interesul să lase liberi roboții de căutare și pe cei porniți de utilizatori. Sunt cei care te pot cita și îți pot trimite oameni.
Roboții de antrenare sunt o alegere. Dacă îi lași, conținutul tău ajută la formarea modelelor viitoare, iar numele firmei are șanse să fie cunoscut de ele. Dacă îi oprești, îți păstrezi conținutul pentru tine. Pentru un site de firmă, al cărui scop este să fie cunoscut, lăsarea lor este de regulă alegerea firească.
O publicație sau un site care trăiește din conținut are altă socoteală. Conținutul este chiar marfa, iar a-l da pe gratis la antrenare este o hotărâre de cântărit. Mulți editori opresc antrenarea și lasă căutarea.
Poți îmbina: opresc GPTBot, las OAI-SearchBot și ChatGPT-User.
Orice ai alege, alege tu, în cunoștință de cauză. Starea cea mai rea este blocajul de care nu știi.
Ce nu rezolvă accesul
Accesul este o condiție, nu o garanție. Un site deschis tuturor roboților nu este, din pricina asta, pomenit în răspunsuri.
După ce ușa este deschisă, contează ce găsește robotul înăuntru și ce spun alții despre tine. Am scris despre asta în articolele despre cum apari în ChatGPT și despre auditul SEO.
Lista scurtă de verificări
Deschide robots.txt și citește-l.
Verifică serviciul de protecție și modulele de securitate.
Cere-le la doi-trei asistenți să deschidă o pagină de-a ta.
Caută, în sursa paginii, o frază din text.
Verifică dacă prețurile și datele de contact sunt text, nu imagini.
Hotărăște, în scris, pe cine lași și pe cine oprești.
Repetă verificarea după fiecare schimbare de temă, de modul de securitate sau de găzduire.
Dacă vrei să facem verificarea pentru site-ul tău, împreună cu cea a vizibilității în răspunsuri, vezi pagina de optimizare GEO și AEO.
Întrebări frecvente
Cum aflu dacă site-ul meu poate fi citit de ChatGPT?
Citește fișierul robots.txt, verifică setările serviciului de protecție și ale modulelor de securitate și cere-i asistentului să deschidă o pagină de pe site-ul tău și să îți spună ce scrie pe ea.
Ce roboți folosesc asistenții AI?
OpenAI folosește GPTBot, OAI-SearchBot și ChatGPT-User. Anthropic folosește ClaudeBot, Claude-SearchBot și Claude-User. Perplexity folosește PerplexityBot. Google și Microsoft se sprijină pe Googlebot și pe Bingbot.
Trebuie să blochez roboții AI?
Pentru o firmă care vrea să fie găsită, de regulă nu. Roboții de căutare și cei porniți de utilizatori îți pot aduce mențiuni și vizite. Blocarea celor de antrenare este o alegere.
Ce este Google-Extended?
Este un nume folosit în robots.txt, prin care hotărăști dacă Google îți poate folosi conținutul la antrenarea modelelor Gemini. Nu influențează apariția în căutare sau în rezumatele AI.
Ce este fișierul llms.txt?
Este o propunere de fișier text care le prezintă modelelor de limbaj site-ul pe scurt. Nu este un standard, iar marile companii nu au confirmat că îl folosesc pentru răspunsuri.
Pot roboții AI să citească un site făcut cu JavaScript?
Mulți nu rulează JavaScript și văd numai codul trimis de server. Dacă textul paginii este adus de un script, o parte dintre ei vor vedea o pagină goală.


