Molti siti web sono pre-impostati a livello server per far sì che la stessa pagina web sia raggiungibile sia mediante l'url http://dominio.com/paginaweb.htm che l'url: http://www.dominio.com/paginaweb.htm.
Si tratta in genere di una buona cosa in quanto se l'utente alla ricerca della pagina web si dimenticasse di inserire nell'url anche la stringa "www" giungerebbe ad una pagina di errore (404 pagina non trovata).
Ci sono casi poi in cui una simile differenziazione di url con medesimo contenuto è assolutamente utile. Pensiamo ad esempio alla stampa di articoli che mostrano da una parte il contenuto (inserito nel layout del sito, con sponsor e banner) e dall'altro lo stesso contenuto inserito in una pagina "pulita" pronta per la stampa. La prima di queste pagine può risiedere sulla versione www.sito.com/paginaweb.htm mentre la seconda può risiedere sulla versione senza www. Si tratta di una prassi molto comune ed attuata anche da molti CMS (content management systems) e gestionali dei contenuti web.
I motori di ricerca effettuano indicizzazioni sia di url prive di www che di ulr contenenti la stringa. Nel caso in cui il server sia configurato come sopra, il beneficio si trasforma in maleficio e, se non si corre ai ripari, si prospetta un'ipotesi sciagurata. Il motore di ricerca indicizza pagine web con contenuti doppi. Google conseguentemente mediante il suo speciale filtro le individua ed in sito viene infine bannato.
Per assicurarsui che i motori di ricerca indicizzino solamente la vesione www si può inserire ils eguente codice nel file .htaccess nella root principale del sito:
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteBase /
RewriteCond %{HTTP_HOST} !^www\.your-site\.com [NC]
RewriteRule ^(.*)$ http://www.sito.com/$1 [L,R=301]
</IfModule>
Per indicizzare unicamente la versione senza www:
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteBase /
RewriteCond %{HTTP_HOST} !^your-site\.com [NC]
RewriteRule ^(.*)$ http://sito.com/$1 [L,R=301]
</IfModule>