Ayer por la noche dediqué un buen rato a temas de posicionamiento, en concreto sobre configuraciones del robots.txt. Un robots.txt, para los que no lo sepáis, es un archivo de configuración web que indica a los buscadores algunas recomendaciones a la hora de añadir el contenido de nuestra web al buscador: el sitemap de la web, el tiempo de revisión del crawler, el contenido que no queremos que indexe…
Aunque más o menos tengo claras las configuraciones típicas, quería ver ejemplos de webs potentes para ver qué cosas suelen ellos bloquear a la hora de indexar, así que utilicé los parámetros de la búsqueda de Google inurl:robots.txt filetype:txt y me puse a mirar ejemplos.
Los primeros resultados que obtuve fueron el del propio Google, la Wikipedia, la Casa Blanca y, ¡oh sorpresa!, el de la Casa Real. Como soy muy escéptica sobre el código que suelen tener las webs españolas decidí echarle un ojo:
User-agent: *
Disallow:
Disallow: /_*/
Disallow: /ES/FamiliaReal/Urdangarin/
Disallow: /CA/FamiliaReal/Urdangarin/
Disallow: /EU/FamiliaReal/Urdangarin/
Disallow: /GL/FamiliaReal/Urdangarin/
Disallow: /VA/FamiliaReal/Urdangarin/
Disallow: /EN/FamiliaReal/Urdangarin/
Sitemap: http://www.casareal.es/sitemap.xml
URL: http://www.casareal.es/robots.txt
Ni un disallow de los js o cualquier carpeta de configuración, pero oye, no ha faltado ni una referencia a las diferentes versiones de la página de Urdangarin, no vaya a ser que alguien descubra que este sinvergüenza era el cuñadísimo de nuestro monarca.
