Opciones
User-agent
Sitemap
Crawl-delay
Salida
Crea un archivo robots.txt para orientar a los rastreadores. Configura user-agent, rutas permitidas y bloqueadas, retraso y sitemap, y copia el resultado listo para publicar.
No. Es una instrucción para rastreadores compatibles, no un mecanismo de seguridad.