Qual è la prima cosa che vi viene in mente pensando di posizionare un sito web? Contenuti? Backlink? Ebbene, sono certamente entrambi fattori cruciali per il posizionamento di un sito web nei risultati di ricerca ma esistono anche alcuni fattori tecnici che giocano un ruolo significativo nella SEO. Tra questi, la crawlability è probabilmente il più sconosciuto. La maggior parte dei proprietari di siti web, infatti non ne ha mai sentito parlare.

Per chiunque si occupi di SEO, sia a livello professionale che per il proprio business, è fondamentale fare i conti col fatto che anche piccoli problemi di crawlability potrebbero causare la perdita di posizioni di un sito. E questo indipendentemente dal grande quantità o dall’eccellente qualità dei contenuti creati o da quanti backlink si sono raccolti.

Cos’è il crawler?

Un motore di ricerca come Google è costituito da un crawler (detto anche robot, bot o spider), un index e un algoritmo. Il crawler segue i collegamenti.

Quando il crawler di Google, che va in giro per internet 24/7, trova un sito web, lo legge e ne salva il contenuto, in formato HTML, in un gigantesco database denominato index.

Questo database viene aggiornato ogni volta che il crawler ripassa su un sito e trova una versione nuova o rivista di esso. A seconda dell’importanza che Google attribuisce a ciascun sito e del numero di modifiche apportate il crawler si presenta più o meno spesso.

Come agisce il crawler

Il crawling è la prima fase dell’indicizzazione, in cui tutti i contenuti presenti all’interno del web vengono passati in rassegna e ordinati all’interno di un database, che li classifica soffermandosi su elementi quali: il SEO title, la meta description, gli alt text delle immagini, le parti in grassetto o in corsivo del testo e i link.

Il crawler si sposta da una pagina all’altra seguendo i link interni e li utilizza per costruire la mappatura del sito e creare una gerarchia in base ai contenuti con un maggior numero di rimandi.

Cos’è la crawlability

In sostanza, dunque, crawlability vuol dire leggibilità del sito da parte del crawler. La capacità del crawler di accedere a una pagina e scansionarla correttamente rivela se il sito è stato ottimizzato nel modo giusto o, al contrario, sono presenti problemi di indicizzazione. In tal caso, il sito potrebbe non può comparire nei risultati di ricerca organici.

In che modo questo incide sul posizionamento

Nella pratica, se un sito web o una pagina del sito sono bloccati, questi stanno dicendo al crawler di Google: “non venire qui”. Quel sito o la rispettiva pagina non apparirà nei risultati di ricerca nella maggior parte di questi casi. Viceversa, trasferire in maniera efficace allo spider, non solo la presenza di un sito, ma anche la gerarchia dei suoi contenuti interni contribuisce in maniera importante a migliorarne il punteggio SEO, e il conseguente posizionamento in SERP.

Cosa può causare problemi di crawlability e indicizzazione

  • Struttura del sito

La struttura informativa del sito web svolge un ruolo cruciale nella sua crawlability o capacità di essere scansionato. Per esempio, se il sito presenta pagine che non sono linkate da nessuna parte, i web crawler potrebbero avere difficoltà ad accedervi.

  • URL bloccati da Robots.txt

La prima cosa che un bot cerca su un sito è il tuo file robots.txt, all’interno del quale è possibile indirizzare il crawler ma anche, se necessario, specificare le pagine che non si desidera che vengano scansionate. Se le direttive del file robots.txt sono errate, dunque, possono impedire a Google di eseguire la scansione delle pagine più importanti o consentire la lettura di quelle inutili ai fini dell’indicizzazione. Eventuali problemi interni al file sono visibili dal “rapporto sulle risorse bloccate” di Google Search Console.

  • Struttura di link interni

Una buona struttura interna dei link consentirà agli spider di raggiungere rapidamente anche quelle pagine che sono più nascoste sul tuo sito. Viceversa, una struttura povera potrebbe inviarli in un vicolo cieco, con la conseguenza che a un crawler mancherebbero alcuni contenuti.

  • Redirect in loop

I redirect delle pagine interrotte fermano un robot nelle sue ricerche di pagine, con conseguenti problemi di crawlability.

  • Errori del server

Allo stesso modo, i redirect del server e molti altri problemi relativi al server impediscono ai web crawler di accedere a tutti i contenuti.

  • Script non supportati e altri fattori tecnologici

I problemi di scansione potrebbero derivare anche dalla tecnologia utilizzata sul sito. Per esempio, vari script come Javascript o Ajax possono bloccare i contenuti ai web crawler.

  • Errori 500 e 404

Il codice errore 500 rivela un problema del server su cui il sito è ospitato, mentre l’errore 404 dipende dal contenuto del sito stesso. In entrambi i casi, se Google incontra questi errori quando arriva alla pagina è un grosso problema. Dal momento che viaggia seguendo i link, per il crawler è come trovarsi in un vicolo cieco. Anche questo tipo di errore può essere individuato facilmente tramite la Search Console di Google.

  • Errori di tag SEO

Una cattiva indicizzazione può dipendere anche da un uso sbagliato dei tag, se risultano potenzialmente fuorvianti per la lettura del bot, o se sono mancanti, errati o duplicati.

  • Usabilità mobile

Se il sito non è ritenuto utilizzabile su smartphone e tablet, Google non li mostrerà nemmeno nella SERP e questo comporta la perdita di una bella fetta di traffico.

  • Contenuto scarno

Se dopo aver verificato tutti gli elementi di cui sopra, il tuo sito presenta ancora problemi, è possibile che i contenuti delle pagine non siano considerati rilevanti: non sono abbastanza unici, non convalidano quanto scritto su altri siti giudicati autorevoli in quel settore oppure i collegamenti interni sono assenti o scarsi.

Come ottimizzare la crawlability

Rendere un sito facile da indicizzare prevede, oltre all’analisi dei fattori di cui sopra, anche alcune attività per permettere ai crawler di accedere a tutte le pagine e indicizzare tutti i contenuti.

  • Inviare una Sitemap a Google

Una mappa del sito è essenziale per qualsiasi sito web, poiché offre un collegamento vitale tra il sito e il motore di ricerca. Questa non è altro che un piccolo file che risiede nella cartella principale del dominio e che contiene collegamenti diretti a ciascuna pagina del sito web. È importante costruire correttamente la Sitemap e assicurarsi che sia ben strutturata. Ciò renderà più facile la scansione del sito, oltre a fornire agli utenti risultati di ricerca più accurati quando cercano parole chiave associate a prodotti e / o servizi.

  • Aggiornare i contenuti su base regolare

Sebbene sia importante non trascurare gli aspetti tecnici della SEO, il contenuto è molto più importante di quanto molti pensano. È una necessità di base per qualsiasi sito web e, fortunatamente, ha molto potere quando si tratta di aiutarti a posizionarti più in alto nei motori di ricerca. Quando si parla di contenuto è fondamentale andare oltre il testo e considerare immagini, video, diapositive, audio e molto altro. Il contenuto non solo aiuta coloro che visitano il sito web a capire meglio cosa fai, ma aiuta anche a garantire che quest’ultimo venga sottoposto a scansione e indicizzato molto più rapidamente.

  • Aumentare e rafforzare i collegamenti interni

Google e altri motori di ricerca si basano su link, sia esterni che interni, per determinare quale contenuto è correlato a cosa, nonché il valore di quel contenuto. I link interni, per esempio, forniscono ai motori di ricerca una visione più approfondita del contesto e della struttura del tuo sito web. Collegare qualsiasi menzione di parole chiave, siano esse brevi o lunghe, a informazioni pertinenti sul sito, inclusi post di blog o pagine di servizio, è un ottimo metodo per migliorare il posizionamento nelle ricerche.

  • Evita qualsiasi duplicazione di contenuto

Avere contenuti duplicati, pagine che presentano contenuti uguali o molto simili può comportare la perdita di posizioni in SERP. Non solo: i contenuti duplicati possono anche ridurre la frequenza con cui i crawler visitano il tuo sito. È fondamentale, quindi, ispezionare e correggi eventuali problemi di contenuto duplicato.

  • Accelera il tempo di caricamento della pagina

La velocità della pagina viene comunemente confusa con la velocità del sito, ma in realtà non sono esattamente la stessa cosa. La velocità della pagina è specificamente il tempo necessario per visualizzare il contenuto su una determinata pagina. In genere, i motori di ricerca hanno solo un tempo limitato per la scansione e l’indicizzazione di un determinato sito, per questo è impensabile non assicurarsi che ogni pagina venga caricata rapidamente, in modo che il crawler possa visitarla prima che scada il tempo.

Il tempo di caricamento di ciascuna pagina del sito è monitorabile attraverso lo strumento messo a disposizione gratuitamente: Google PageSpeed Insight.

  • Evitare i contenuti duplicati

Il contenuto duplicato è contenuto che si trova sul web in più di un posto. I motori di ricerca avranno difficoltà a capire quale versione di contenuti duplicati è più pertinente per una determinata query di ricerca, motivo per cui si consiglia di evitare del tutto contenuti duplicati. Oltre a confondere i motori di ricerca, i contenuti duplicati possono anche ridurre la frequenza con cui i crawler passano attraverso un sito web.