Quando si visita un motore di ricerca e si inputa una parola chiave da ricercare, si sta in quel preciso momento sottoponendo una query al database del motore di ricerca in questione. Per determinare quale documento sia più inerente alla query appena inoltrata, il motore di ricerca procede con determinati criteri suoi propri. Questi criteri, che il motore di ricerca cerca di non rendere noti e che cambiano di frequente, sono contenuti nel suo algoritmo il quale classifica tutti i risultati in possesso del motore di ricerca per realizzare una graduatoria.

Ma come viene in possesso il motore di ricerca di tutti i dati occorrenti a classificare i siti web?

Essendoci oramai miliardi di pagine sul web è impensabile che del personale umano possa svolgere questo lavoro il quale viene piuttosto demandato ad un software denominato "spider" (ragno) o ancora "crawler" o "robot" il quale scandaglia la ragnatela (web) dei siti su internet, segue i links che trova, cerca di visitare quanti più siti possibile e di tutti compie delle analisi catalogandone i contenuti oltre ad una ampia serie di dati per far conlfuire infine al database del motore di ricerca il frutto di tutto il suo lavoro.

Ecco che così il database del motoore di ricerca, a mano a mano si accresce di siti indicizzati nell'intento di fornire agli utenti risultati sempre più completi ed esaustivi, nonché attinenti con le query richieste.

Un robot, dunque, è un apposito software di cui i motori di ricerca si dotano e chefunziona secondo determinati meccanismi specifici pre-impostati e programmati.

Quando il robot entra per così dire “in azione” indicizzando il Vostro sito?

Ciò avviene in due casi:

• quando avete fatto una espressa richiesta di indicizzazione al motore di ricerca in modo automatico (con appositi programmi come Addweb o Web Position, per citare due dei più famosi ed efficienti), oppure manualmente accedendo ad una apposita pagina linkata dlla home page del motore di ricerca cui si accede generalmente seguendo un link denominato generalmente “add a site”, “add url” o “submit a site”;
• quando il robot giunge al vostro sito seguendo un link esterno che vi punta. Questo è il sistema preferito ad esempio da Google.

Una volta accolta la richiesta di indicizzazione al motore di ricerca, o una volta che viene individuato un link esterno, l’url del vostro sito viene collocato nella lista dei siti che il robot dovrà visitare.

Il tempo che impiega il robot a visitare il sito per indicizzarlo sul database del proprio motore di ricerca è estremamente variabile tra motore e motore e comunque in genere può impiegare da un giorno a diversi mesi.

Poiché, come detto, il robot varia tra motore e motore, il metodo attraverso il quale esso, una volta giunto nel sito, effettua l’indicizzazione dei contenuti è anch’esso, conseguentemente, variabile.

A seconda dell'algoritmo utilizzato, i robots focalizzano la propria attenzione e raccolgono dati su certi aspetti a discapito di altri. Ad esempio quasi tuttii robots sono programmati per non prendere in considerazione le cosiddette “stop words”, alcuni robots danno risalto a certi meta tagg o ai tags di commento mentre altri non li considerano. Molti motori di ricerca fanno fatica a seguire le url dinamiche, i siti in frames ecc.

E’ di fondamentale importanza conoscere approfonditamente i meccanismi di funzionamento dei robots, almeno quelli dei più importanti motori di ricerca del mondo tra cui ad esempio Google, Yahoo, Msn ecc. Conoscerne il funzionamento e tenersi sempre aggiornati sui continui cambiamenti dell’algoritmo dei motori di ricerca per fare trovare al robot pagine web ad hoc costituisce in effetti la vera chiave di accesso al posizionamento ai vertici nei motori di ricerca.

Preparare tali pagine web che potremmo chiamare “search engine friendly” non è cosa facile soprattutto quando per la parola o frase chiave in questione è presente un’agguerrita concorrenza. Infatti i robots dei motori di ricerca determinano la rilevanza del sito con un complesso sistema di attribuzione di punteggio il quale tiene presente una moltitudine di aspetti tra cui: la cosiddetta “frequenza” ovvero la quantità di volte in cui una parola chiave compare su una pagina web; la/le posizione/i, all’interno della pagina web in cui compare la parola chiave; la quantità di parole complessiva contenuta in una pagina web; la presenza di links e della parola chiave contenuta in essi; la presenza dell’alt tag e della parola chiave in essa; la presenza e l’impostazione dei tags “description” e “keywords”; la presenza della parola chiave nel tag “title” e nei tags“h1”, “h2” ecc., e svariate altre variabili.

Tutto ciò descritto può sembrare alquanto complicato e per certi versi è inutile nascondere che in qualche misura lo è. Tuttavia tutti i parametri tenuti in considerazione dagli spiders verranno approfonditamente trattati e discussi nella sezione tecnica. Seguendo tutte le spiegazioni ed i numerosi consigli, sarà per voi possibile diventare dei veri esperti nel campo del posizionamento e vedrete il vostro sito collocarsi nelle posizioni di vertice.