¿Sabías que el rastreador de Google, Googlebot, se hace cargo de las directivas en conflicto de tu archivo robots.txt? ¿Sabes cómo prevenir que un archivo PDF sea indexado? ¿Sabes cuál es la canción favorita de Googlebot? Las respuestas a estas respuestas (excepto por la última ), junto con otra mucha información sobre el control del rastreo y la indexación de tu sitio web, está ahora disponible en code.google.com:

Controlar el rastreo y la indexación

Ahora los dueños de los sitios web cuentan con una exhaustiva fuente de información donde ellos pueden aprender sobre los archivos robots.txt, las meta etiquetas robots y las directivas de las cabeceras HTTP X-Robots-Tag. Así que puedes compartir con nosotros tu opinión sobre está información y ya sabes, si tienes alguna pregunta puedes venir y publicarla en nuestro foro de ayuda para webmasters.

Publicado por Jonathan Simon, Webmaster Trends Analyt