Opções
User-agent
Sitemap
Crawl-delay
Saída
Crie um robots.txt para orientar rastreadores. Defina user-agent, caminhos permitidos e bloqueados, atraso e sitemap, e copie o arquivo pronto para publicar.
Não. É uma orientação para rastreadores e não substitui controle de acesso no servidor.