El fichero robots.txt es un elemento fundamental para toda sitio web que busca estar bien vista por los motores de búsqueda como Google . Sirve como el instructivo para los bots, indicándoles qué páginas de tu plataforma pueden deben indexadas y cuáles se deben excluir . Una correcta configuración de este documento sirve a solucionar problema