Utilizarea etichetei meta robots
Documentul detaliază cum setările la nivel de pagină și text pot fi utilizate pentru a ajusta modul în care Google prezintă conținutul dvs. în rezultatele căutării. Puteți specifica setările la nivel de pagină prin includerea unei etichete meta pe paginile sau într-un antet HTTP. Puteți specifica setările la nivel de text cu atributul data-nosnippet pe elementele dintr-o pagină.
Rețineți că aceste setări pot fi citite și urmate doar dacă crawler-ele au permisiunea de a accesa paginile care includ aceste setări.
Regula <meta name="robots" content="noindex"> se aplică crawler-elor motoarelor de căutare. Pentru a bloca crawler-ele non-căutare, cum ar fi AdsBot-Google, poate fi necesar să adăugați reguli direcționate către crawler-ul specific (de exemplu, <meta name="AdsBot-Google" content="noindex">).
Utilizarea etichetei meta robots
Eticheta meta robots vă permite să utilizați o abordare granulară, specifică paginii, pentru a controla modul în care o pagină individuală ar trebui să fie indexată și servită utilizatorilor în rezultatele căutării Google. Plasați eticheta meta robots în secțiunea <head> a unei pagini date, astfel:
<!DOCTYPE > <><head> <meta name="robots" content="noindex"> (…) </head> <body>(…)</body> </>
În acest exemplu, eticheta meta robots instruiește motoarele de căutare să nu afișeze pagina în rezultatele căutării. Valoarea atributului name (robots) specifică faptul că regula se aplică tuturor crawler-elor. Atât atributele name cât și content nu sunt sensibile la majuscule. Pentru a adresa un crawler specific, înlocuiți valoarea robots a atributului name cu token-ul agentului utilizator al crawler-ului pe care îl adresați. Google suportă două token-uri de agent utilizator în eticheta meta robots; alte valori sunt ignorate:
googlebot: pentru toate rezultatele text.googlebot-news: pentru rezultatele de știri.
De exemplu, pentru a instrui Google să nu afișeze un fragment în rezultatele sale de căutare, puteți specifica googlebot ca nume al etichetei meta:
<meta name="googlebot" content="nosnippet">
Pentru a afișa un fragment complet în rezultatele de căutare web ale Google, dar niciun fragment în Google News, specificați googlebot-news ca nume al etichetei meta:
<meta name="googlebot-news" content="nosnippet">
Pentru a specifica mai mulți crawler-i individual, utilizați mai multe etichete meta robots:
<meta name="googlebot" content="notranslate"> <meta name="googlebot-news" content="nosnippet">
Pentru a bloca indexarea resurselor non-, cum ar fi fișierele PDF, fișierele video sau fișierele imagine, utilizați antetul de răspuns X-Robots-Tag în schimb.
Utilizarea antetului HTTP X-Robots-Tag
X-Robots-Tag poate fi utilizat ca element al răspunsului antetului HTTP pentru un URL dat. Orice regulă care poate fi utilizată într-o etichetă meta robots poate fi specificată și ca X-Robots-Tag. Iată un exemplu de răspuns HTTP cu un X-Robots-Tag care instruiește crawler-ele să nu indexeze o pagină:
HTTP/1.1 200 OK Date: Tue, 25 May 2010 21:42:43 GMT (…) X-Robots-Tag: noindex (…)
Mai multe anteturi X-Robots-Tag pot fi combinate în cadrul răspunsului HTTP sau puteți specifica o listă de reguli separate prin virgulă. Iată un exemplu de răspuns antet HTTP care are un noimageindex X-Robots-Tag combinat cu un unavailable_after X-Robots-Tag.
HTTP/1.1 200 OK Date: Tue, 25 May 2010 21:42:43 GMT (…) X-Robots-Tag: noimageindex X-Robots-Tag: unavailable_after: 25 Jun 2010 15:00:00 PST (…)
X-Robots-Tag poate specifica opțional un agent utilizator înainte de reguli. De exemplu, următorul set de anteturi HTTP X-Robots-Tag poate fi utilizat pentru a permite condiționat afișarea unei pagini în rezultatele căutării pentru diferite motoare de căutare:
HTTP/1.1 200 OK Date: Tue, 25 May 2010 21:42:43 GMT (…) X-Robots-Tag: googlebot: nofollow X-Robots-Tag: otherbot: noindex, nofollow (…)
Regulile specificate fără un agent utilizator sunt valabile pentru toate crawler-ele. Antetul HTTP, numele agentului utilizator și valorile specificate nu sunt sensibile la majuscule.
Reguli valide de indexare și servire
Următoarele reguli, disponibile și în format citibil de mașină, pot fi utilizate pentru a controla indexarea și servirea unui fragment cu eticheta meta robots și X-Robots-Tag. Fiecare valoare reprezintă o regulă specifică. Mai multe reguli pot fi combinate într-o listă separată prin virgulă sau în etichete meta separate. Aceste reguli nu sunt sensibile la majuscule.
| Reguli | |
|---|---|
|
Nu există restricții pentru indexare sau servire. Această regulă este valoarea implicită și nu are efect dacă este listată explicit. |
|
Nu afișați această pagină, media sau resursa în rezultatele căutării. Dacă nu specificați această regulă, pagina, media sau resursa poate fi indexată și afișată în rezultatele căutării. Pentru a elimina informații din Google, urmați ghidul nostru pas cu pas. |
|
Nu urmați linkurile de pe această pagină. Dacă nu specificați această regulă, Google poate utiliza linkurile de pe pagină pentru a descoperi acele pagini legate. Aflați mai multe despre nofollow.
|
|
Echivalent cu noindex, nofollow.
|
|
Nu afișați un fragment de text sau o previzualizare video în rezultatele căutării pentru această pagină. O miniatură statică a imaginii (dacă este disponibilă) poate fi încă vizibilă, atunci când rezultă într-o experiență mai bună pentru utilizator. Aceasta se aplică tuturor formelor de rezultate ale căutării (la Google: căutare web, Google Images, Discover, AI Overviews, AI Mode) și va împiedica, de asemenea, utilizarea conținutului ca intrare directă pentru AI Overviews și AI Mode. Dacă nu specificați această regulă, Google poate genera un fragment de text și o previzualizare video pe baza informațiilor găsite pe pagină.
Pentru a exclude anumite secțiuni ale conținutului dvs. de la apariția în fragmentele de rezultate ale căutării, utilizați atributul |
|
Google are permisiunea de a indexa conținutul unei pagini dacă este încorporat într-o altă pagină prin
|
|
Utilizați un maxim de [număr] de caractere ca fragment textual pentru acest rezultat al căutării. (Rețineți că un URL poate apărea ca mai multe rezultate ale căutării pe o pagină de rezultate ale căutării.) Aceasta nu afectează previzualizările de imagini sau video. Aceasta se aplică tuturor formelor de rezultate ale căutării (cum ar fi căutarea web Google, Google Images, Discover, Assistant, AI Overviews, AI Mode) și va limita, de asemenea, cât de mult din conținut poate fi utilizat ca intrare directă pentru AI Overviews și AI Mode. Cu toate acestea, această limită nu se aplică în cazurile în care un editor a acordat separat permisiunea pentru utilizarea conținutului. De exemplu, dacă editorul furnizează conținut sub formă de date structurate în pagină sau are un acord de licență cu Google, această setare nu întrerupe acele utilizări mai specifice permise. Această regulă este ignorată dacă nu este specificat un [număr] interpretabil. Dacă nu specificați această regulă, Google va alege lungimea fragmentului. Valori speciale:
Exemple: Pentru a opri afișarea unui fragment în rezultatele căutării: <meta name="robots" content="max-snippet:0"> Pentru a permite afișarea a până la 20 de caractere în fragment: <meta name="robots" content="max-snippet:20"> Pentru a specifica că nu există nicio limită asupra numărului de caractere care pot fi afișate în fragment: <meta name="robots" content="max-snippet:-1"> |
|
Setați dimensiunea maximă a unei previzualizări de imagine pentru această pagină în rezultatele căutării.
Dacă nu specificați regula Valori [setare] acceptate:
Aceasta se aplică tuturor formelor de rezultate ale căutării (cum ar fi căutarea web Google, Google Images, Discover, Assistant). Cu toate acestea, această limită nu se aplică în cazurile în care un editor a acordat separat permisiunea pentru utilizarea conținutului. De exemplu, dacă editorul furnizează conținut sub formă de date structurate în pagină (cum ar fi AMP și versiuni canonice ale unui articol) sau are un acord de licență cu Google, această setare nu va întrerupe acele utilizări mai specifice permise.
Dacă nu doriți ca Google să utilizeze imagini miniaturale mai mari atunci când paginile lor AMP și versiunea canonică a unui articol sunt afișate în Căutare sau Discover, specificați o valoare Exemplu: <meta name="robots" content="max-image-preview:standard"> |
|
Utilizați un maxim de [număr] de secunde ca fragment video pentru videoclipurile de pe această pagină în rezultatele căutării.
Dacă nu specificați regula Valori speciale:
Aceasta se aplică tuturor formelor de rezultate ale căutării (la Google: căutare web, Google Images, Google Videos, Discover, Assistant). Această regulă este ignorată dacă nu este specificat un [număr] interpretabil. Exemplu: <meta name="robots" content="max-video-preview:-1"> |
|
Nu oferiți traducerea acestei pagini în rezultatele căutării. Dacă nu specificați această regulă, Google poate oferi o traducere a linkului titlului și a fragmentului unui rezultat al căutării pentru rezultate care nu sunt în limba interogării de căutare. Dacă utilizatorul face clic pe linkul titlului tradus, toate interacțiunile ulterioare ale utilizatorului cu pagina se vor face prin Google Translate, care va traduce automat orice linkuri urmate. |
|
Nu indexați imaginile de pe această pagină. Dacă nu specificați această valoare, imaginile de pe pagină pot fi indexate și afișate în rezultatele căutării. |
|
Nu afișați această pagină în rezultatele căutării după data/timpul specificat. Data/timpul trebuie specificat într-un format larg adoptat, inclusiv, dar fără a se limita la RFC 822, RFC 850 și ISO 8601. Regula este ignorată dacă nu este specificată o dată/timp validă. În mod implicit, nu există o dată de expirare pentru conținut. Dacă nu specificați această regulă, această pagină poate fi afișată în rezultatele căutării pe termen nelimitat. Googlebot va reduce considerabil rata de accesare a URL-ului după data și ora specificată. Exemplu: <meta name="robots" content="unavailable_after: 2020-09-21"> |
Referință a regulilor istorice și altor reguli neutilizate
Următoarele reguli nu sunt utilizate de Google Search și sunt ignorate. Le includem aici deoarece oamenii au întrebat adesea despre ele sau le-am folosit în trecut.
| Listă de reguli istorice și alte reguli neutilizate | |
|---|---|
|
Regula noarchive nu mai este utilizată de Google Search pentru a controla dacă un link în cache este afișat în rezultatele căutării, deoarece funcția de link în cache nu mai există.
|
|
Regula nocache nu este utilizată de Google Search.
|
|
Regula |
Gestionarea regulilor combinate de indexare și servire
Puteți crea o instrucțiune cu mai multe reguli combinând regulile etichetei meta robots cu virgule sau utilizând mai multe etichete meta. Iată un exemplu de etichetă meta robots care instruiește crawler-ele web să nu indexeze pagina și să nu acceseze niciunul dintre linkurile de pe pagină:
Listă separată prin virgulă
<meta name="robots" content="noindex, nofollow">
Mai multe etichete meta
<meta name="robots" content="noindex"> <meta name="robots" content="nofollow">
Iată un exemplu care limitează fragmentul de text la 20 de caractere și permite o previzualizare mare a imaginii:
<meta name="robots" content="max-snippet:20, max-image-preview:large">
Pentru situațiile în care sunt specificați mai mulți crawler-i împreună cu reguli diferite, motorul de căutare va utiliza suma regulilor negative. De exemplu:
<meta name="robots" content="nofollow"> <meta name="googlebot" content="noindex">
Pagina care conține aceste etichete meta va fi interpretată ca având o regulă noindex, nofollow atunci când este accesată de Googlebot.
Utilizarea atributului data-nosnippet
Puteți desemna părți textuale ale unei pagini să nu fie utilizate ca fragment. Acest lucru poate fi realizat la nivel de element cu atributul data-nosnippet pe elementele span, div și section. data-nosnippet este considerat un atribut boolean. Ca și în cazul tuturor atributelor booleene, orice valoare specificată este ignorată. Pentru a asigura lizibilitatea de către mașini, secțiunea trebuie să fie valid și toate etichetele corespunzătoare trebuie să fie închise corespunzător.
Exemple:
<p>Acest text poate fi afișat într-un fragment <span data-nosnippet>și această parte nu ar fi afișată</span>.</p> <div data-nosnippet>nu în fragment</div> <div data-nosnippet="true">de asemenea nu în fragment</div> <div data-nosnippet="false">de asemenea nu în fragment</div> <!-- toate valorile sunt ignorate --> <div data-nosnippet>un text</> <!-- "div" neînchis va include tot conținutul ulterior --> <mytag data-nosnippet>un text</mytag> <!-- NU ESTE VALID: nu este un span, div sau section --> <p>Acest text poate fi afișat într-un fragment.</p> <div data-nosnippet> <p>Cu toate acestea, acest lucru nu este în fragment.</p> <ul> <li>Lucruri care nu sunt în fragment</li> <li>Mai multe lucruri care nu sunt în fragment</li> </ul> </div>
Google de obicei redă paginile pentru a le indexa, totuși redarea nu este garantată. Din acest motiv, extragerea data-nosnippet poate avea loc atât înainte, cât și după redare. Pentru a evita incertitudinea din redare, nu adăugați sau eliminați atributul data-nosnippet al nodurilor existente prin JavaScript. Când adăugați elemente DOM prin JavaScript, includeți atributul data-nosnippet după cum este necesar atunci când adăugați inițial elementul în DOM-ul paginii. Dacă sunt utilizate elemente personalizate, înfășurați-le sau redați-le cu elemente div, span sau section dacă trebuie să utilizați data-nosnippet.
Utilizarea datelor structurate
Etichetele meta robots guvernează cantitatea de conținut pe care Google o extrage automat din paginile web pentru afișare ca rezultate ale căutării. Dar mulți editori folosesc, de asemenea, date structurate schema.org pentru a face informații specifice disponibile pentru prezentarea căutării. Limitările etichetei meta robots nu afectează utilizarea acelor date structurate, cu excepția valorilor article.description și description pentru datele structurate specificate pentru alte lucrări creative. Pentru a specifica lungimea maximă a unei previzualizări pe baza acestor valori description, utilizați regula max-snippet. De exemplu, datele structurate recipe de pe o pagină sunt eligibile pentru includerea în caruselul de rețete, chiar dacă previzualizarea textului ar fi altfel limitată. Puteți limita lungimea unei previzualizări text cu max-snippet, dar acea etichetă meta robots nu se aplică atunci când informațiile sunt furnizate folosind date structurate pentru rezultate bogate.
Pentru a gestiona utilizarea datelor structurate pentru paginile dvs. web, modificați tipurile și valorile datelor structurate în sine, adăugând sau eliminând informații pentru a furniza doar datele pe care doriți să le faceți disponibile. De asemenea, rețineți că datele structurate rămân utilizabile pentru rezultatele căutării atunci când sunt declarate într-un element data-nosnippet.
Implementarea practică a X-Robots-Tag
Puteți adăuga X-Robots-Tag la răspunsurile HTTP ale unui site prin fișierele de configurare ale software-ului serverului web al site-ului dvs. De exemplu, pe serverele web bazate pe Apache, puteți utiliza fișierele .htaccess și httpd.conf. Beneficiul utilizării unui X-Robots-Tag cu răspunsurile HTTP este că puteți specifica reguli de accesare care sunt aplicate la nivel global pe un site. Suportul expresiilor regulate permite un nivel ridicat de flexibilitate.
De exemplu, pentru a adăuga un noindex, nofollow X-Robots-Tag la răspunsul HTTP pentru toate fișierele .PDF de pe un întreg site, adăugați următorul fragment în fișierul .htaccess al rădăcinii site-ului sau în fișierul httpd.conf pe Apache, sau în fișierul .conf al site-ului pe NGINX.
Apache
<Files ~ "\.pdf$"> Header set X-Robots-Tag "noindex, nofollow" </Files>
NGINX
location ~* \.pdf$ {
add_header X-Robots-Tag "noindex, nofollow";
}
Puteți utiliza X-Robots-Tag pentru fișiere non-, cum ar fi fișierele imagine, unde utilizarea etichetelor meta robots în nu este posibilă. Iată un exemplu de adăugare a unei reguli noindex X-Robots-Tag pentru fișierele imagine (.png, .jpeg, .jpg, .gif) pe un întreg site:
Apache
<Files ~ "\.(png|jpe?g|gif)$"> Header set X-Robots-Tag "noindex" </Files>
NGINX
location ~* \.(png|jpe?g|gif)$ {
add_header X-Robots-Tag "noindex";
}
De asemenea, puteți seta anteturile X-Robots-Tag pentru fișiere statice individuale:
Apache
# fișierul htaccess trebuie plasat în directorul fișierului potrivit. <Files "unicorn.pdf"> Header set X-Robots-Tag "noindex, nofollow" </Files>
NGINX
location = /secrets/unicorn.pdf {
add_header X-Robots-Tag "noindex, nofollow";
}
Combinarea regulilor robots.txt cu regulile de indexare și servire
Etichetele meta robots și anteturile HTTP X-Robots-Tag sunt descoperite atunci când un URL este accesat. Dacă o pagină este interzisă de la accesare prin fișierul robots.txt, atunci orice informație despre regulile de indexare sau servire nu va fi găsită și, prin urmare, va fi ignorată. Dacă regulile de indexare sau servire trebuie respectate, URL-urile care conțin acele reguli nu pot fi interzise de la accesare.
Notă de Transparență E-E-A-T: Acest material reprezintă o analiză aprofundată, adaptare și traducere tehnică a documentației oficiale Google Search Central. Conținutul original este oferit de Google sub licența Creative Commons Attribution 4.0 (CC-BY 4.0). AdvancedSystems operează ca o agenție premium independentă de consultanță și audit SEO, aducând valoare adăugată prin explicarea conceptelor arhitecturale pentru piața B2B din România.