file robots.txt

file robots.txt

Messaggioda patrizia06 » 02/03/2012, 20:15

Ciao a tutti,

mi domandavo l'effettiva importanza del file robots.txt anche in una pagina in cui non si vuole nascondere nulla allo spider. In molti dicono che si dovrebbe comunque inserire per evitare poi nei log un messaggio d’errore per file non trovato ogni volta che uno spider visita il sito e cerca il file robots.txt. Ma è vero? Perchè lo spider cerca questo file?
patrizia06
studente
 
Messaggi: 17
Iscritto il: 31/10/2011, 10:29


Re: file robots.txt

Messaggioda lara » 07/03/2012, 14:07

Lo scopo del file robots.txt è quello di fornire allo spider delle indicazioni utili per l'analisi e l'indicizzazione del sito, potrebbe ad esempio essere utilizzato per proteggere pagine contenenti dati che si desidera tenere riservati. Per questo lo spider, va a cercare i file robots.txt, prima di acquisire i dati deve sapere se ci sono pagine che non devono essere indicizzate.
lara
docente
 
Messaggi: 140
Iscritto il: 09/09/2010, 10:44



Torna a Ottimizzazione pagine web

Chi c’è in linea

Visitano il forum: Nessuno e 0 ospiti

cron

Questo sito fa uso di cookie anche di terze parti. Si rinvia all'informativa estesa per ulteriori informazioni.
Se non si modificano le impostazioni del browser, l'utente accetta. Leggi informativa

Chiudi e accetta