Archivo robots.txt para los buscadores
El robots.txt es un archivo de texto que se instala en el sitio web, específicamente en la raíz del dominio. Principalmente, es utilizado para impedir que los robots de ciertos buscadores rastreen contenido que no deseamos que indexen, ni muestren en sus resultados. Este archivo de texto no es un mecanismo para mantener una página web … Leer más