Negli ultimi anni si sono date a conoscere tante varianti della definizione di Crawl Budget, purtroppo, non sempre troppo chiare.
In questo articolo cerchiamo di ripassare insieme cosa significa crawl budget e come si ottimizza sulla base di quanto comunicato da Gary Illes di Google.
Prima di cominciare, se non gestisci un sito un sito con svariate migliaia di url, il crawl budget non ti deve assolutamente preoccupare. Già nel 2017 Google lo metteva in chiaro nel suo blog.
Cos’è il Crawl Budget?
Il Crawl Budget è una parte dell’algoritmo di Google che stabilisce quando e quante risorse devono essere impiegate nel crawling di una pagina web.
Il crawl budget viene influenzato dalla rilevanza degli url della web e al tempo stesso dalla “facilità” con cui Google Bot riesce ad addentrarsi nel sito.
Va da se che è importante la struttura degli url scelta per l’architettura di tutto il sito e l’efficienza dell’hosting in cui la web si alloggia.
N.B. – Giusto nel caso in cui non lo sapessi un crawler è un bot che esplora automaticamente una pagina web per estrarne informazioni. Questo sistema è utilizzato dai motori di ricerca per l’attività di posizionamento ma anche da altri siti. I siti che più comunemente utilizzano questo genere di tecnologia sono aggregatori di prezzi o siti di offerte.
Come si ottimizza il crawl budget?
Più che ottimizzare il crawl budget si tratta di aumentare il budget che Google alloca per l’esplorazione del nostro sito.
Detto in soldoni per migliorare l’esplorabilità del tuo sito è necessaria un po’ di manutenzione e al tempo stesso di miglioramenti nella seo.
Ridurre gli errori della web
Il crawl budget è influenzato da errori e complessità nella struttura della web. E’ qui che bisogna lavorare per aumentare le visite sul tuo sito.
Bisogna andare a scoprire tutte le pagine che contengono degli errori e applicare un 301 oppure un 200. Questi due codici sono gli unici accettabili per Google Bot.
E’ una manovra che si può fare andando a toccare il codice della web (in access.html) oppure con un plugin dedicato. Ovviamente il lavoro più pulito sarà sempre quello fatto a mano andando ad usare il codice.
Bloccare le parti inutili del tuo sito
All’interno di un sito internet, sono sempre presenti pagine perfettamente inutili.
- Categorie
- Tags
- Pagine navigazionali senza testo
- Pagine prodotto molto simili tra loro
Rispettando la struttura della tua web queste pagine dovrebbero essere bloccate tramite il file robot.txt.
Fare attenzione alle catene di 301
Può succedere che nel corso di varie ottimizzazioni venga applicato un redirect 301 a diverse pagine in diversi momenti. Bisogna assolutamente evitare di far rimbalzare il crawler da un 301 all’altro.
Questo perché quando il caro bot passa da una pagina e viene reindirizzato con un 301 mette quella pagina in una specie di lista di cose da fare. Non sempre quella pagina viene seguita all’istante.
Google non garantisce un timing specifico in questo genere di operazioni, pertanto nel caso in cui si trovasse nella situazione di seguire vari 301, non possiamo sapere quanto tarderà per arrivare ad indicizzare la pagina che realmente ci interessa.
Aumenta i tuoi link
L’algoritmo di Google si basa sui link, aumentare il numero di link che puntano alla tua web aiuterà Google a capire che vale la pena esplorare la tua web e ne aumenterà l’autorità.
