Muchos usuarios se preguntan que son los archivos robots.txt y como se pueden incluir, optimizar y posteriormente validar si estan correctos.

Los archivos robots.txt son creados por los webmasters para prohibir el acceso de los robots de busqueda a las páginas, archivos y directorios de un sitio web o blog.

Esta herramienta de archivos robots.txt es un validador que analiza la sintaxis de un archivo robots.txt para ver si su formato es válido según lo establecido por el “Robot Exclusion Standard”, es recomendable leer la documentación y el tutorial para aprender los conceptos básicos o si contiene errores. Lo puedes leer aquí

El proceso de validación es el siguiente:

Para comprobar el formato de archivo robots.txt se puede hacer de esta forma tan sencilla. Sólo tienes que insertar la URL completa (por ejemplo: http://www.tudominio.com/robots.txt) del archivo robots.txt que deseas analizar y pulsar “Check robots.txt“.

El corrector detecta errores de sintaxis, errores de “lógica”, las palabras mal escritas y te da consejos de optimización.

El proceso de validación tiene en cuenta tanto las normas estándar de exclusión de robots y las arañas en concreto como Google, Yahoo, etc, también las extensiones incluyendo el nuevo mapa de comandos.

Este analizador de robots.txt es proporcionado por Motoricerca, una guía italiana sin fines de lucro para la optimización de sitios web y posicionamiento en buscadores.

Con esta herramienta podemos saber si el archivo robots.txt está optimizado de forma sencilla.

Enlace: tool.motoricerca.info/robots-checker