Um arquivo Robots.txt permite excluir páginas da web específicas dos resultados da pesquisa. Os rastreadores ignoram as páginas e não as incluem no índice do site.
Como alguns rastreadores ignoram o arquivo Robots.txt, a proteção por senha é a melhor maneira de ocultar uma página da web.