Avrai sicuramente già sentito nominare il Crawl Budget quando si parla di posizionamento su Google.
Ora, prova a riflettere un attimo, cos’è la SEO?
Potrebbe sembrare una domanda banale, ma non lo è, seguimi un attimo:
SEO vuol dire ottimizzare un sito per i motori di ricerca, giusto?
Ti sei mai chiesto come effettivamente Google interagisca con il tuo sito?
Credo che questa sia una parte molto importante per comprendere al meglio la SEO.
Esistono diversi fattori che influenzano il tuo posizionamento sui motori di ricerca ed il Crawl Budget è uno di questi!
Comprendere cosa sia il crawl budget e come funziona è molto importate al fine di ottimizzare al meglio il tuo sito e di conseguenza salire nei motori di ricerca.
Proviamo quindi a vedere insieme di cosa si tratta.
Cos’è il Crawl Budget?
Durante questi ultimi anni avrai sentito spesso parlare di Crawl Budget tra i SEO di mezzo mondo.
Si è sempre cercato di capire cosa fosse effettivamente e come potesse influenzare la SEO.
Sono state date tante definizioni a riguardo, ma nessuna di loro era ufficiale.
Questo fino al gennaio 2017, quanto lo stesso Gary Illyes pubblicò un articolo sul blog dove definì esattamente cosa fosse il “Crawl Budget”.
Per Illyes quello che noi definiamo Crawl budget è diviso in 2 parti agli occhi di Google, ossia:
- Crawl Rate Limit
- Crawl Demand
Craw Rate Limit (Limite)
Ecco come Google definisce il Crawl Rate Limit:
Il Crawl Rate Limit impedisce ai GoogleBot di inviare troppe richieste al tuo sito. Questo ti fa già capire come le risorse disponibili siano limitate e di conseguenza è buona norma ottimizzarle al meglio.
Più il tuo sito sarà ottimizzato, più efficaci saranno le scansioni.
Crawl Demand (Richieste)
Questa parte ha un implicazione ancora più forte sulla SEO, difatti Google dichiara sostanzialmente che più i tuoi contenuti sono aggiornati e/o popolari, maggiori saranno le richieste di scansione.
Bene a questo punto possiamo affermare che prendendo questi due elementi insieme, ossia il Crawl Rate Limit e il Crawl Demand otterremo quello che noi definiamo “Crawl Budget”.
Una frase di Illyes è da tenere bene a mente:
“…we define crawl budget as the number of URLs Googlebot can and wants to crawl.”
Ovvero: …definiamo il Crawl Budget il numero di URL che i GoogleBot possono e vogliono scansionare.
Ora la domanda sorge spontanea:
Come possiamo controllare questi due fattori per migliorare la SEO?
Semplice, dando in pasto a Google esattamente ciò che vuole!
Vediamo come fare.
Come ottimizzare il Crawl Budget
1. Incrementa la velocità del tuo sito
Avere un sito performante è sempre più rilevante per Google, sopratutto con l’avvento del mobile ed indubbiamente lo è anche per il Crawl Budget.
Più il tuo sito sarà performante maggiori saranno le scansioni.
Quindi come prima cosa dovrai verificare le prestazioni del tuo sito con l’ausilio di strumenti come GTMetrix:
Una volta terminata la scansione riceverai un report dettagliato su cosa va e cosa no.
NB. Non scansionare l’homepage, ma inserisci l’url di una pagina che vorresti posizionare oppure di una simile.
Tra tutti i dati ottenuti quelli più importanti sono sicuramente il tempo di caricamento ed il numero di richieste.
Mediamente il tempo di caricamento dovrebbe essere intorno ai 3 secondi ed il numero di richieste inferiore a 60
Se sei al di sotto di questi valori allora sei a posto, altrimenti potrebbe essere opportuno rivedere qualcosa.
Esistono molti metodi per velocizzare il tuo sito, il web è pieno di risorse a riguardo (come questa), ad ogni modo voglio darti comunque qualche consiglio veloce:
- Utilizza un hosting performante
- Ottimizza le Immagini
- Riduci il numero di file JavaScript o CSS
Plugin WordPress consigliato: WP Fastest Cache e AutoOptimize.
2. Controlla i “Crawl Errors”
Un errore di scansione si verifica quando il GoogleBot si imbatte in un problema durante la sua corsa.
Ovviamente l’ideale sarebbe avere il minor numero di errori possibili, se non zero.
Google ci informa di tutti gli errori presenti sul nostro sito tramite la Search Console.
Dalla sidebar di questo tool clicca sulla voce “Scansione” e poi su “Errori di scansione”
Il grafico ti mostrerà un anteprima di tutti gli errori presenti sul tuo sito ed in fondo alla pagina gli URLs di provenienza.
Gli errori possono essere di 4 tipi:
- Errore del server
- Soft 404
- Accesso Negato
- Non Trovato
Anche in questo caso il web è pieno di risorse che spiegano come risolvere problemi di questo genere, Moz ha realizzato un ottima guida a riguardo.
Ecco alcuni consigli:
- Utilizza un Hosting performante
- Fai un Redirect delle pagine non più esistenti
- Controlla se ci sono dei Broken Link
Prima di procedere consiglio di andare alla voce “visualizza come google” e verificare se Google sia in grado o meno di scansionare correttamente il tuo sito.
Leggi anche: “Come indicizzare una pagina su Google“
3. Elimina URL dannosi/inutili
Esiste una categoria specifica di URL che Google definisce “low-value URLs“. Questo genere di pagine potrebbero influire negativamente sulla scansione ed indicizzazione del tuo sito.
Ecco alcuni esempi:
- Pagine poco visitata o off-topic con il resto del sito
- Navigazione “difficile” della pagina
- Contenuti duplicati
- Pagine con “soft errors”
- Pagine hackerate
- Contenuti di bassa qualità o spam
Questi punti s’interpretano da soli. Sostanzialmente cerca di rispettare 2 regole:
- Assicurati che tutte le tue pagine funzionino correttamente
- Evita contenuti duplicati o di bassa qualità
4. Aumenta la tua popolarità
Più una pagina è popolare sul web maggiori saranno le scansioni da parte dei GoogleBot.
Indubbiamente una buona strategia di link building può agevolare molto questo processo.
Il mio consiglio è quello espandere il più possibile la propria presenza sul web. Un link verso il tuo sito non è importante solo al fine di ottenere “link juice” ma anche per fornire più vie d’accesso ai bot di Google.
Frequentare blog di settore, forum, e social media potrebbe essere un buon punto di partenza.
5. Mantieni il tuo sito aggiornato
Un altro metodo per incrementare il crawl budget speso sul tuo sito è quello di fornire contenuti “freschi” ossia aggiornati.
Esistono alcune semplici soluzioni per mantenere il tuo sito aggiornato:
Crea nuovi contenuti
So che vi sembrerà ovvio, ma è bene ribadirlo. Creare costantemente nuovi contenuti è uno dei metodi migliori per far si che Google scansioni regolarmente il tuo sito.
Modifica contenuti già esistenti
Google nota ogni cambiamento che apporti ai tuoi contenuti e per fare questo dovrà dedicarti altro “budget”
Aggiungi nuove pagine
Google sa che siti popolari tendono a crescere e di conseguenza aggiungere intere nuove pagine al sito.
Ovviamente ogni nuova pagina determina un ulteriore scansione da parte di google.
Ottieni link da siti aggiornati
Sappiamo tutti quanto sia importante fare una buona link building al fine di migliorare la SEO.
Se però questi link arrivano da siti in costante aggiornamento Google si troverà costretto a scansionare anche il tuo sito in maniera più frequente.
Conclusioni
Il crawl budget è il cuore della SEO
Questo fattore è molto selettivo e ci costringe obbligatoriamente a lavorare costantemente sul nostro sito.
Rispettando tutti i punti visti in questo articolo riuscirai a far si che:
- Non ci siano dispersioni del budget (visto che è limitato)
- Aumenti il numero di scansioni
- La scansione sia ottimizzata e quindi più efficace