El documento robots.txt es un herramienta clave para cualquier sitio web que pretende ser bien posicionada por los buscadores como Bing. Opera como el directorio para los bots, indicándoles qué áreas de tu sitio pueden ser crawleadas y cuáles no . La adecuada configuración de este archivo puede a solucionar problemas de indexación , aumentar