Il file robots.txt, da posizionare nella directory / del proprio dominio, serve a istruire i motori di ricerca su cosa deve essere o non essere indicizzato nel sito.
Può essere usato sia per motivi di sicurezza, ed esempio evitare che i motori indicizzino e sbandierino ai 4 venti il contenuto della directory dei plugin, che per evitare che vengano indicizzati contenuti duplicati o pagine/cartelle che non si vogliono rendere pubbliche.
# Per tutti i motori di ricerca:
User-Agent: *
# abilitare l’indicizzazione delle immagini:
Allow: /wp-content/uploads/
# disabilitare l’indicizzazione delle directory seguenti:
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /wp-includes/
Disallow: /wp-admin/
# Per non far indicizzare tutto quello che inizia con wp-
Disallow: /wp-
# Per non far indicizzare tutti gli URL
# che terminano con /trackback/ e sono contenuti duplicati
Disallow: /*/trackback/$
Disallow: /*/*/trackback/$
Disallow: /*/*/*/trackback/$
leggi tutto l’articolo (in spagnolo) → robotstxt-para-wordpress
Articolo originale: pi3tr0