El robot.txt es un archivo de texto que los motores de búsqueda utilizan para definir reglas de escaneo del sitio para los crawlers.

VTEX posee nativamente una interfaz para la edición y la personalización del archivo robots.txt.

Para acceder iremos a: Configuración de la tienda > Storefront > Configuración > SEO > Robots.txt

Para comprender mejor el contenido, se detalla a continuación las funciones básicas:

• Allow: Al utilizar este termino, usted es permitiendo que los crawler de las herramientas de búsqueda naveguen e indexen la dirección indicada.
• **Disallow : **Usted estará bloqueando el contenido indicado.

Para validar el contenido será necesario:

• Consultar su las URLs listadas realmente precisan de alguna regla de robots.
• Consultar si las reglas están siendo correctamente aplicadas para las URLs deseadas.
• Verificar si el archivo sitemap.xml esta correctamente instalado.

La edicion del archivo robots.txt de su tienda esta disponible en: [accountname].vtexcommercestable.com.br/admin/Site/ConfigSEOContents.aspx.

Para la correcta configuración de Webmaster Tools, el próximo paso es verificar el Sitemap de su tienda. Presentar la estructura de su sitio para facilitar la navegación de los crawler y agilizar la indexación de todas las paginas.