Cómo usar WordPress robots.txt para mejorar el SEO










  • El archivo robots.txt es una guía para los motores de búsqueda para ayudarlos a indexar correctamente su sitio. Aunque el motor de búsqueda seguirá rastreando sus páginas, este archivo ayuda a agilizar el proceso. Debido a que juega un papel en la forma en que los motores acceden a su sitio web, es beneficioso configurar WordPress y el archivo robots.txt para mejorar el SEO.

    Los motores de búsqueda utilizarán el archivo robots.txt para encontrar el mapa del sitio, a menos que ya esté especificado. Por ejemplo, aquí es donde buscará el bot del motor si no tiene un mapa del sitio en las herramientas de la consola del sitio de Google o Bing. Esencialmente, el archivo ayudará a los motores a encontrar exactamente lo que están buscando, lo que reducirá un poco el tiempo de indexación de su sitio.

    Este archivo también es útil para alejar a los motores de un contenido en particular. De forma predeterminada, WordPress ya tendrá el estado nofollow y noindex en algunos elementos, como el panel de administración. Sin embargo, el archivo robots.txt también se puede usar para evitar que se indexen otras carpetas y contenido.

    Hoy, voy a demostrar cómo puede editar este archivo y hacer que funcione para mejorar el SEO del sitio web . Es un proceso muy fácil que cualquier persona, independientemente de su nivel de habilidad, puede hacer.

    Paso 1: Creación del archivo Robots.txt de WordPress

    Algunos complementos crearán automáticamente el archivo robots.txt cuando se activen. Sin embargo, puede haber ocasiones en las que deba crear uno manualmente. Para este ejemplo, estoy usando FileZilla para acceder a la carpeta raíz de WordPress. Es un programa fácil de usar que tiene una gran funcionalidad a la hora de administrar un sitio web.

    Para crear el archivo robots.txt:

    Paso 1: Abra FileZilla y conéctese a la carpeta raíz de su sitio web.

    abrir archivozilla

    NOTA : Consulte nuestra Guía definitiva para usar FileZilla para obtener más información sobre cómo funciona el programa.

    Paso 2: en la ventana inferior derecha de FileZilla, haga clic derecho en cualquier lugar y seleccione «Crear nuevo archivo».

    crear nuevo archivo

    Paso 3: Aparecerá una ventana solicitando un nombre. Escribir:

    robots.txt

    escriba robots.txt

    Paso 4: Haga clic en Aceptar para continuar. FileZilla luego creará el archivo en su servidor web.

    archivo en nuevo host

    Ahora, tiene un archivo robots.txt vacío en espera de modificaciones. Como FileZilla realiza estos cambios en tiempo real, el archivo se activa inmediatamente. Sin embargo, nada va a pasar porque está vacío.

    Paso 2: Edición del archivo de texto

    Después de crear el archivo, debemos darle algunos comandos. De lo contrario, los motores de búsqueda lo ignorarán y seguirán adelante. Agreguemos algunas instrucciones para que los bots sepan cómo comportarse cuando visiten el sitio.

    Para editar el archivo robots.txt:

    Paso 1: con FileZilla abierto y conectado, haga clic derecho en el archivo robots.txt que acaba de crear y seleccione «Editar».

    seleccionar editar

    NOTA : Esto abrirá su programa de edición de texto. La mayoría de las personas en computadoras con Windows verán el Bloc de notas. Sin embargo, es posible que vea algo diferente según el sistema informático que tenga o el software que haya instalado. Si ve una ventana que le pregunta qué programa desea usar, elija el Bloc de notas o su editor de texto favorito.

    Paso 2: el primer comando se dirigirá a los bots por su nombre. Por ejemplo, Googlebot y Bingbot son nombres de agentes de usuario que rastrean el sitio en busca de contenido. Dado que queremos centrarnos en todos los motores de búsqueda, vamos a utilizar un «*» en su lugar. Ingrese la siguiente línea:

    Agente de usuario: *

    agente de usuario

    Paso 3: presione enter para ir a la siguiente línea en el archivo. Ahora, vamos a configurar la carpeta de subidas para que la rastreen los motores de búsqueda. Esto se llama «Permitir». Dado que la carpeta contiene imágenes y metadatos relacionados con la optimización, queremos que se indexe. Ingrese la siguiente línea debajo del agente de usuario:

    Permitir: /wp-content/uploads/

    Paso 4: Presiona enter para ir a la siguiente línea. A continuación, vamos a configurar el archivo robots.txt para que «no permita» el acceso a determinados archivos y ubicaciones. Esto es para evitar que los bots rastreen contenido que no tiene sentido para el SEO. Cuanto menos trabajo cree para el bot, mejor será el rendimiento del sitio en los resultados de búsqueda. Entonces, evitemos que rastree la carpeta de complementos escribiendo este comando:

    No permitir: /wp-content/plugins/

    Paso 5: Presiona enter para ir a la siguiente línea. Evitemos que el bot indexe un archivo en particular. En este caso, vamos a impedir el acceso al archivo readme.html. Esto no es parte de su sitio web y simplemente brinda información sobre WordPress en general. Para detener el acceso al archivo, ingrese el siguiente texto:

    No permitir: /readme.html

    Paso 6: esta vez, presione enter dos veces para darle doble espacio al archivo. Como queremos que los motores de búsqueda encuentren el mapa del sitio de nuestro sitio web, queremos decirles dónde está. En este caso, desea utilizar la URL completa del propio mapa del sitio. Ingrese lo siguiente, pero cambie la dirección a la URL de su mapa:

    Mapa del sitio: https://www.ggexample.com/sitemap.xml

    URL completa del mapa del sitio

    Paso 7: Ahora, tiene un archivo robots.txt completamente funcional. Puede ser aún más elaborado al permitir o rechazar partes específicas del sitio web. Debería verse así en su conjunto:

    Agente de usuario: *

    Permitir: /wp-content/uploads/

    No permitir: /wp-content/plugins/

    No permitir: /readme.html

    Mapa del sitio: https://www.ggexample.com/sitemap.xml

    Paso 8: Guarde el archivo.

    NOTA : FileZilla puede mostrar una ventana de advertencia sobre cómo se ha cambiado un archivo. Esto se debe a que el sistema creará automáticamente un archivo local en su computadora mientras está editando. Marque la casilla «Terminar de editar y eliminar el archivo local». Haga clic en el botón «Sí» para confirmar el guardado en su carpeta de WordPress.

    Los bots de los motores de búsqueda ahora tendrán una ruta más clara hacia el contenido que necesitan indexar. Recuerde, cada vez que puede ahorrar para un bot, mejora su apariencia en los resultados de búsqueda.

    Complementos de SEO y cómo se comportan

    Complemento SEO de Yoast

    Algunos complementos de SEO realizarán ajustes en el archivo robots.txt, si existe. Por ejemplo, Yoast SEO para WordPress tiene una opción para generar el mapa del sitio por ti. Si está configurado para hacerlo, agregará la URL del mapa del sitio automáticamente a WordPress en el archivo robots.txt.

    Si por algún motivo falla la adición de los mapas del sitio desde su complemento de SEO, puede agregarlos fácilmente al archivo robots.txt para mejorar la funcionalidad de SEO. Por ejemplo, supongamos que su complemento de SEO usa mapas de sitio de publicación y página individualmente. Luego los agregaría al final del archivo de texto como:

    Mapa del sitio: https://www.ggexample.com/post-sitemap.xml

    Mapa del sitio: https://www.ggexample.com/page-sitemap.xml

    Es poco probable que un complemento de calidad falle al agregarlo al archivo robots.txt de WordPress, pero se sabe que sucede. Puede que no sea una mala idea verificar periódicamente, especialmente si cambia los complementos de SEO o agrega una nueva función de optimización a WordPress.

    Protegiendo su sitio

    Los motores de búsqueda no son lo único que puede ser disuadido de acceder a cierto material en el sitio web. Hay algunos bots establecidos por piratas informáticos que se enrutan a través del archivo robots.txt. Al no permitir esas carpetas, los bots que buscan vulnerabilidades las omitirán por completo. Si bien esto no es una garantía contra todas las amenazas de piratería, el archivo robots.txt puede ofrecer una capa de protección contra algunas de ellas.

    Obtenga más de las prácticas de SEO

    De todos los archivos que puede modificar en WordPress, el archivo robots.txt es quizás uno de los más fáciles. La codificación es sencilla y se puede hacer en cinco minutos. Aprovecha todas las ventajas que puedas para mejorar el SEO de tu sitio web. Es una apuesta segura que su competencia lo es.

    ¿Qué tipo de modificaciones de archivos ha realizado en su sitio web? ¿Cuáles son tus herramientas de SEO favoritas para WordPress?