Depanarea erorilor de crawling Google Search

Verifică dacă Googlebot întâmpină probleme de disponibilitate pe site-ul tău

Îmbunătățirea disponibilității site-ului tău nu va crește neapărat bugetul de crawling; Google determină cea mai bună rată de crawling pe baza cererii de crawling, așa cum a fost descris anterior. Totuși, problemele de disponibilitate împiedică Google să îți acceseze site-ul atât cât ar dori.

Diagnosticare:

Utilizează raportul Crawl Stats
pentru a vedea istoricul de crawling al Googlebot pentru site-ul tău. Raportul arată când Google a întâmpinat probleme de disponibilitate pe site-ul tău. Dacă sunt raportate erori sau avertismente de disponibilitate pentru site-ul tău, caută instanțe în graficele Host availability unde cererile Googlebot au depășit linia roșie de limită, fă clic pe grafic pentru a vedea care URL-uri au eșuat și încearcă să corelezi acele URL-uri cu problemele de pe site-ul tău.

De asemenea, poți folosi
Instrumentul de Inspectare a URL-urilor
pentru a testa câteva URL-uri de pe site-ul tău. Dacă instrumentul returnează
Hostload exceeded
avertismente, înseamnă că Googlebot nu poate accesa atât de multe URL-uri de pe site-ul tău pe cât a descoperit.

Tratament:

• Citește documentația pentru raportul Crawl Stats pentru a învăța cum să găsești și să gestionezi unele probleme de disponibilitate.
• Blochează paginile de la crawling dacă nu dorești să fie accesate. (Vezi gestionează inventarul tău)
• Creează o viteză mai mare de încărcare și redare a paginilor. (Vezi Îmbunătățește eficiența crawling-ului site-ului tău)
• Mărește capacitatea serverului tău. Dacă Google pare să acceseze constant site-ul tău la limita capacității de servire, dar ai încă URL-uri importante care nu sunt accesate sau actualizate atât cât este necesar, având mai multe resurse de servire ar putea permite Google să solicite mai multe pagini de pe site-ul tău. Verifică istoricul disponibilității gazdei în
  raportul Crawl Stats pentru a vedea dacă rata de crawling a Google pare să depășească frecvent linia de limită. Dacă da, mărește resursele de servire pentru o lună și vezi dacă cererile de crawling au crescut în aceeași perioadă.

Verifică dacă există părți ale site-ului tău care nu sunt accesate, dar ar trebui să fie

Google petrece atât timp cât este necesar pe site-ul tău pentru a indexa tot conținutul de înaltă calitate și valoros pentru utilizatori pe care îl poate găsi. Dacă crezi că Googlebot ratează conținut important, fie nu știe despre conținut, fie conținutul este blocat de Google, fie disponibilitatea site-ului tău limitează accesul Google (sau Google încearcă să nu suprasolicite site-ul tău).

Diagnosticare:

Search Console nu oferă un istoric de crawling pentru site-ul tău care poate fi filtrat după URL sau cale, dar poți inspecta jurnalele site-ului tău pentru a vedea dacă URL-uri specifice au fost accesate de
Googlebot. Dacă acele URL-uri accesate au fost indexate este o altă poveste.

Amintește-ți că pentru majoritatea site-urilor, paginile noi vor dura câteva zile minim pentru a fi observate; majoritatea site-urilor nu ar trebui să se aștepte la crawling în aceeași zi pentru URL-uri, cu excepția site-urilor sensibile la timp, cum ar fi site-urile de știri.

Tratament:

Dacă adaugi pagini pe site-ul tău și acestea nu sunt accesate într-un timp rezonabil, fie Google nu știe despre ele, fie conținutul este blocat, fie site-ul tău a atins capacitatea maximă de servire, fie ești
în afara bugetului de crawling.

1. Informează Google despre noile tale pagini: actualizează sitemaps pentru a reflecta noile URL-uri.
2. Examinează regulile tale robots.txt pentru a confirma că nu blochezi accidental paginile.
3. Revizuiește prioritățile tale de crawling (a.k.a. folosește-ți bugetul de crawling cu înțelepciune). Gestionează inventarul tău și îmbunătățește eficiența crawling-ului site-ului tău.
4. Verifică dacă nu rămâi fără capacitate de servire. Googlebot va reduce crawling-ul dacă detectează că serverele tale au probleme în a răspunde la cererile de crawling.

Reține că paginile ar putea să nu fie afișate în rezultatele căutării, chiar dacă sunt accesate, dacă nu există suficientă valoare sau cerere din partea utilizatorilor pentru conținut.

Verifică dacă actualizările sunt accesate suficient de rapid

Dacă ne lipsesc pagini noi sau actualizate pe site-ul tău, poate fi pentru că nu le-am văzut sau nu am observat că sunt actualizate. Iată cum poți ajuta Google să fie conștient de actualizările paginilor.

Reține că Google se străduiește să verifice și să indexeze paginile într-un mod rezonabil de rapid. Pentru majoritatea site-urilor, acest lucru durează trei zile sau mai mult. Nu te aștepta ca Google să indexeze paginile în aceeași zi în care le publici, cu excepția cazului în care ești un site de știri sau ai alt conținut de mare valoare, extrem de sensibil la timp.

Diagnosticare:

Examinează jurnalele site-ului tău pentru a vedea când URL-uri specifice au fost accesate de
Googlebot.

Pentru a afla data indexării, folosește instrumentul de Inspectare a URL-urilor sau efectuează o căutare pentru URL-urile pe care le-ai actualizat.

Tratament:

Fă:

• Folosește un sitemap de știri dacă site-ul tău are conținut de știri.
• Folosește eticheta <lastmod> în sitemaps pentru a indica când un URL indexat a fost actualizat.
• Folosește o structură de URL-uri accesibilă pentru a ajuta Google să găsească paginile tale.
• Oferă linkuri standard, accesibile <a> pentru a ajuta Google să găsească paginile tale.
• Dacă site-ul tău folosește separat pentru versiunile mobile și desktop, oferă același set de linkuri pe versiunea mobilă ca și pe versiunea desktop. Dacă nu este posibil să oferi același set de linkuri pe versiunea mobilă, asigură-te că sunt incluse într-un fișier
  sitemap. Google indexează doar
  versiunea mobilă a paginilor, iar limitarea linkurilor afișate acolo poate încetini descoperirea de pagini noi.

Evită:

• Trimiterea aceluiași sitemap, neschimbat, de mai multe ori pe zi.
• Așteptarea ca Googlebot să acceseze totul dintr-un sitemap sau să le acceseze imediat. Sitemaps sunt sugestii utile pentru Googlebot, nu cerințe absolute.
• Includerea URL-urilor în sitemaps pe care nu dorești să apară în Căutare. Acest lucru poate irosi bugetul de crawling pe pagini pe care nu dorești să le indexezi.

Îmbunătățește eficiența crawling-ului site-ului tău

Crește viteza de încărcare a paginilor tale

Crawling-ul Google este limitat de lățimea de bandă, timp și disponibilitatea instanțelor Googlebot. Dacă serverul tău răspunde mai rapid la cereri, am putea să accesăm mai multe pagini de pe site-ul tău. Asta fiind spus, Google dorește să acceseze doar conținut de înaltă calitate, așa că doar făcând paginile de calitate scăzută mai rapide nu va încuraja Googlebot să acceseze mai mult site-ul tău; invers, dacă credem că ne lipsesc conținuturi de înaltă calitate pe site-ul tău, probabil vom crește bugetul tău pentru a accesa acel conținut.

Iată cum poți optimiza paginile și resursele pentru crawling:

• Previne încărcarea resurselor mari, dar neimportante, de către Googlebot folosind robots.txt. Asigură-te că blochezi doar resursele non-critice, adică resursele care nu sunt importante pentru înțelegerea semnificației paginii (cum ar fi imaginile decorative).
• Asigură-te că paginile tale se încarcă rapid.
• Fii atent la lanțurile lungi de redirecționare, care au un efect negativ asupra crawling-ului.
• Atât timpul de răspuns la cererile serverului, cât și timpul necesar pentru a reda paginile contează, inclusiv timpul de încărcare și rulare pentru resursele încorporate, cum ar fi imaginile și scripturile. Fii conștient de resursele mari sau lente necesare pentru indexare.

Specifică modificările de conținut cu coduri de stare HTTP

Google suportă în general anteturile de cerere HTTP
If-Modified-Since și If-None-Match
pentru crawling. Crawler-ele Google nu trimit anteturile cu toate încercările de crawling; depinde de cazul de utilizare al cererii (de exemplu,
AdsBot este mai probabil să seteze anteturile de cerere HTTP If-Modified-Since și If-None-Match). Dacă crawler-ele noastre trimit antetul If-Modified-Since, valoarea antetului este
data și ora
la care conținutul a fost accesat ultima dată. Pe baza acelei valori, serverul poate alege să returneze un cod de stare HTTP
304 (Not Modified) fără corp de răspuns, caz în care Google va reutiliza versiunea de conținut accesată ultima dată. Dacă conținutul este mai nou decât data specificată de crawler în antetul If-Modified-Since, serverul poate returna un cod de stare HTTP
200 (OK) cu corpul de răspuns.

Independent de anteturile de cerere, poți trimite un cod de stare HTTP 304 (Not Modified) și fără corp de răspuns pentru orice cerere Googlebot dacă conținutul nu s-a schimbat de la ultima vizită a Googlebot la URL. Acest lucru va economisi timp și resurse de procesare ale serverului tău, ceea ce poate îmbunătăți indirect eficiența crawling-ului.

Ascunde URL-urile pe care nu le dorești în rezultatele căutării

Risipirea resurselor serverului pe pagini inutile poate reduce activitatea de crawling de pe paginile care sunt importante pentru tine, ceea ce poate cauza o întârziere semnificativă în descoperirea de conținut nou sau actualizat pe un site.

Expunerea multor URL-uri pe site-ul tău pe care nu dorești să fie accesate de Căutare poate afecta negativ crawling-ul și indexarea unui site. De obicei, aceste URL-uri se încadrează în următoarele categorii:

• Navigare cu fațete
  și identificatori de sesiune:
  Navigarea cu fațete este de obicei conținut duplicat de pe site; identificatorii de sesiune și alți parametri URL care doar sortează sau filtrează pagina nu oferă conținut nou. Învață cum să
  gestionezi crawling-ul paginilor cu navigare cu fațete.
• Conținut duplicat:
  Ajută Google să identifice conținutul duplicat pentru a evita crawling-ul inutil.
• soft 404 pagini: Returnează un cod 404
  când o pagină nu mai există.
• Pagini hackuite: Asigură-te că verifici
  raportul de Probleme de Securitate și repară sau elimină orice pagini hackuite pe care le găsești.
• Spații infinite și proxy-uri:
  Blochează-le de la crawling cu robots.txt.
• Conținut de calitate scăzută și spam:
  Evident, este bine să le eviți.
• Pagini de coș de cumpărături, pagini cu derulare infinită și pagini care efectuează o acțiune (cum ar fi paginile “înregistrează-te” sau “cumpără acum”).

Fă:

• Folosește robots.txt dacă nu dorești ca Google să acceseze o resursă sau o pagină deloc.
• Dacă o resursă comună este reutilizată pe mai multe pagini (cum ar fi o imagine sau un fișier JavaScript partajat), referențiază resursa de la același URL în fiecare pagină, astfel încât Google să poată cache și reutiliza aceeași resursă fără a fi nevoie să solicite aceeași resursă de mai multe ori.

Evită:

• Nu adăuga sau elimina pagini sau directoare din robots.txt în mod regulat ca o modalitate de a realoca bugetul de crawling pentru site-ul tău. Folosește robots.txt doar pentru paginile sau resursele pe care nu dorești să apară pe Google pe termen lung.
• Nu roti sitemaps sau folosi alte mecanisme temporare de ascundere pentru a realoca bugetul.

erori soft 404

O eroare soft 404 apare atunci când un URL returnează o pagină care spune utilizatorului că pagina nu există și, de asemenea, un cod de stare
200 (success). În unele cazuri, ar putea fi o pagină fără conținut principal sau o pagină goală.

Astfel de pagini pot fi generate din diverse motive de serverul web al site-ului tău sau de sistemul de gestionare a conținutului, sau de browserul utilizatorului. De exemplu:

• Un fișier include lipsă pe partea de server.
• O conexiune ruptă la baza de date.
• O pagină de rezultate de căutare internă goală.
• Un fișier JavaScript neîncărcat sau lipsă.

Este o experiență proastă pentru utilizator să returnezi un cod de stare 200 (success), dar apoi să afișezi sau să sugerezi un mesaj de eroare sau un fel de eroare pe pagină. Utilizatorii ar putea crede că pagina este una activă și funcțională, dar apoi sunt prezentați cu un fel de eroare. Astfel de pagini sunt excluse din Căutare.

Când algoritmii Google detectează că pagina este de fapt o pagină de eroare pe baza conținutului său, Search Console va afișa o eroare soft 404 în
raportul de Indexare a Paginilor al site-ului.

Remediază erorile soft 404

În funcție de starea paginii și de rezultatul pe care îl dorești, poți rezolva erorile soft 404 în mai multe moduri:

• Pagina și conținutul nu mai sunt disponibile.
• Pagina sau conținutul se află acum în altă parte.
• Pagina și conținutul încă există.

Încearcă să determini care soluție ar fi cea mai bună pentru utilizatorii tăi.

Pagina și conținutul nu mai sunt disponibile

Dacă ai eliminat pagina și nu există o pagină de înlocuire pe site-ul tău cu conținut similar, returnează un cod de răspuns (status)
404 (not found) sau 410 (gone)
pentru pagină. Aceste coduri de stare indică motoarelor de căutare că pagina nu există și nu dorești ca motoarele de căutare să indexeze pagina.

Dacă ai acces la fișierele de configurare ale serverului tău, poți face aceste pagini de eroare utile pentru utilizatori personalizându-le. O pagină personalizată 404 bună ajută oamenii să găsească informațiile pe care le caută și oferă, de asemenea, alt conținut util care încurajează oamenii să exploreze mai departe site-ul tău. Iată câteva sfaturi pentru a proiecta o pagină personalizată 404 utilă:

• Spune vizitatorilor clar că pagina pe care o caută nu poate fi găsită. Folosește un limbaj prietenos și primitor.
• Asigură-te că pagina ta 404 are același aspect și senzație (inclusiv navigare) ca restul site-ului tău.
• Ia în considerare adăugarea de linkuri către cele mai populare articole sau postări ale tale, precum și un link către pagina de start a site-ului tău.
• Gândește-te să oferi o modalitate pentru utilizatori de a raporta un link rupt.

Paginile personalizate 404 sunt create exclusiv pentru utilizatori. Deoarece aceste pagini sunt inutile din perspectiva unui motor de căutare, asigură-te că serverul returnează un cod de stare HTTP 404 pentru a preveni indexarea paginilor.

Pagina sau conținutul se află acum în altă parte

Dacă pagina ta s-a mutat sau are o înlocuire clară pe site-ul tău, returnează un
301 (permanent redirect)
pentru a redirecționa utilizatorul. Acest lucru nu va întrerupe experiența de navigare a utilizatorului și este, de asemenea, o modalitate excelentă de a informa motoarele de căutare despre noua locație a paginii. Folosește
instrumentul de Inspectare a URL-urilor
pentru a verifica dacă URL-ul tău returnează de fapt codul corect.

Pagina și conținutul încă există

Dacă o pagină bună a fost marcată cu o eroare soft 404, este probabil că nu s-a încărcat corect pentru Googlebot, lipsea resurse critice sau a afișat un mesaj de eroare proeminent în timpul redării. Folosește
instrumentul de Inspectare a URL-urilor
pentru a examina conținutul redat și codul HTTP returnat. Dacă pagina redată este goală, aproape goală sau conținutul are un mesaj de eroare, ar putea fi că pagina ta face referire la multe resurse care nu pot fi încărcate (imagini, scripturi și alte elemente non-textuale), care pot fi interpretate ca un soft 404.
Motivele pentru care resursele nu pot fi încărcate includ resurse blocate (blocate de
robots.txt), având prea multe resurse pe o pagină, diverse erori de server sau resurse foarte mari sau care se încarcă lent.

Gestionarea supracrawling-ului site-ului tău (urgențe)

Googlebot are algoritmi pentru a preveni copleșirea site-ului tău cu cereri de crawling. Totuși, dacă descoperi că Googlebot îți copleșește site-ul, există câteva lucruri pe care le poți face.

Diagnosticare:

Monitorizează serverul tău pentru cereri excesive de la Googlebot către site-ul tău.

Tratament:

Într-o situație de urgență, Google recomandă următorii pași pentru a încetini un crawling copleșitor de la Googlebot:

1. Returnează coduri de răspuns HTTP 503 sau 429 temporar pentru cererile Googlebot atunci când serverul tău este suprasolicitat. Googlebot va reîncerca aceste URL-uri timp de aproximativ 2 zile. Reține că returnarea codurilor “fără disponibilitate” pentru mai mult de câteva zile va determina Google să încetinească sau să oprească permanent crawling-ul URL-urilor de pe site-ul tău, așa că urmează pașii suplimentari următori.
2. Când rata de crawling scade, oprește returnarea codurilor de răspuns HTTP 503 sau 429 pentru cererile de crawling; returnarea codurilor 503 sau 429 pentru mai mult de 2 zile va determina Google să elimine acele URL-uri din index.
3. Monitorizează crawling-ul și capacitatea gazdei tale în timp.
4. Dacă crawler-ul problematic este unul dintre
   crawler-ele AdsBot,
   problema este probabil că ai creat
   ținte de Anunțuri de Căutare Dinamică
   pentru site-ul tău pe care Google încearcă să le acceseze. Acest crawling va reapărea la fiecare 3 săptămâni. Dacă nu ai capacitatea serverului pentru a gestiona aceste crawling-uri, fie limitează țintele de anunțuri, fie obține o capacitate de servire crescută.