OUR BLOG

06 Nov 2017
thumbnail

¿Como insertar un robot txt en Webmaster tools?

¿Como insertar un robot txt en Webmaster tools?

Ha llegado la oportunidad de aprender cómo insertar un robot txt en WebMaster Tools. Así que te invito a que prestes mucha atención porque la clase de hoy trae mucho que aprender.

Como siempre comencemos por lo básico, definamos que es un robot txt y rápidamente que es WebMaster tolos.

¿Qué es un robot txt? ¡Veamos!

Mejor conocido como robot.txt es un archivo que puede ser encontrado en la raíz de tu sitio web, el cual utiliza comandos para indicar a qué parte de tu web no quieres que tengan acceso los robots de los motores de búsqueda. En términos generales esto es lo que son los robot.txt.

¿Qué es Webmaster tools?

Es un servicio gratuito que ofrece Google  para que nosotros, las personas que trabajamos con páginas webs podamos comprobar el estado de indexación de nuestros sitios en los motores de búsqueda como el de la gran “G”. En términos generales es eso, pero nos muestra más información de valor.

En base a esto podemos decir que hablar de insertar un robot.tx en WebMaster Tools es insertar un archivo de este tipo a la herramienta o servicio que ofrece Google para los creadores de sitios webs como nosotros. Entendiendo esto podemos pasar al centro del artículo.

¿Como insertar un robot txt en Webmaster tools?

Sin más preámbulo veamos lo que debemos hacer para insertar exitosamente un robot.txt en Webmaster Tools.

1-Verificando la existencia de robot.txt: lo primero que tenemos que hacer es ver si nuestro sitio web ya tiene dicho archivo creado. Para saberlo tenemos que entrar en la url de nuestro sitio más lo que escribo entre comillas “/robots.txt”. Es decir que quedaría algo como “www.miweb.com/robots.txt”

Te recuerdo que la mayoría de los sitios ya los traen pre-establecido, pero por no ser un archivo obligatorio en más de un caso puede ser que no existe ¡Es mejor verificar!

Si existe el archivo solo debemos editarlo a nuestra conveniencia, sino debemos crearlo.

2-Creando el archivo robot.txt: lo primero que tenemos que hacer es abrir el blog de nota y guardar el archivo como “robot.txt” sin las comillas. A continuación explico el contenido que debe llevar dicho archivo.

Debes considerar que:

  • User-agent: con este código decimos a qué tipo de robots van dirigidos los comandos que colocaremos después de él.
  • Disallow: crea un bloqueo al acceso del User-agent ¿Bloqueo a dónde? al directorio que coloquemos.
  • Allow: todo lo contrario de Disallow.
  • Sitemap: sirve para decir a los bots donde está el mapa de nuestro sitio.
  • Crawl-delay: indica un tiempo de retardo valorado en segundo que indica el tiempo entre cada página que el bot rastree.

Por defecto el archivo robot.txt tiene la siguiente forma:

User-agent: *

Disallow: /wp-admin/

Allow: /wp-admin/admin-ajax.php

Una vez tengamos nuestro archivo creado, lo guardamos y lo agregamos a la raíz de nuestro sitio.

Es importante mencionar que muchas personas acostumbraban a bloquear el acceso a los archivos de hojas de estilo (css) y JavaScript (js). Sin embargo Google comenzó alertar por medio de WebMaster Toolsm que esto no era nada conveniente para el posicionamiento, por lo que se tuvo que acudir a desactivar el bloqueo y habilitar el acceso a dichos archivos con Allow.

Es muy poco probable, pero existe la posibilidad de que tu aún tengas estos archivos bloqueados si es que ya tiene el archivo robot.txt activo ¡Así que considera modificarlo!

3-Comprobando nuestro robot.txt con Webmaster Tools: lo que tenemos que hacer es ir hasta Google Search Console y en el panel izquierdo acceder a Rastreo.

Una vez hecho esto le damos clic en  “Probador de robot.txt”. Allí debería salir el contenido de tu robot.txt, de no ser así debemos darle clic a enviar que le dice a Google que actualice que tenemos un archivo nuevo.

Una vez aparezca tu archivo.txt tienes que dar clic a probar y ver que tal funciona todo. La manera de saber que todo está bien, es que el botón que presionaste se cambie por una frase en verde que dice “Permitido”, esto indica que tu robot.txt funciona correctamente.

En resumen:

Para insertar un robot.txt en Webmaster Tools, basta con crear tu archivo robot.txt con los comandos que necesites y quieras crear, guardarlo con el nombre de “robot.txt”, insertarlo en la raíz de tu sitio, luego ve hasta Search Console, rastreo, probador de robot.txt, enviar, probar ¡Y listo!

Por último las ventajas de utilizar el robot..txt para que te animes:

  • Podemos bloquear contenido duplicado que no queremos que sea indexado porque afecta nuestro posicionamiento web.
  • Podemos tener páginas donde solo un grupo seleccionado de personas puede acceder, ya que podemos bloquearla completamente para que nadie la encuentre haciendo una búsqueda en Google.
  • Podemos proteger archivos privados como por ejemplo el cgi-bin, así como también evitar que tu ancho de banda sea aprovechado por los robots que se encargan de indexar imágenes.
  • Mejora tu posicionamiento porque al bloquear sitios irrelevantes te ayuda a tener una indexación más fluida.
  • Ayuda a bloquear robots problemáticos que no forman parte de los motores de búsqueda.
  • Se disminuye notablemente la sobrecarga del servidor.
  • Ayuda a fijar la dirección del mapa del sitio (sitemap) para indicar el mejor camino a los robots y tener una mejor indexación.

Así mismo se recomienda que este archivo sea único en tu sitio web, y que el contenido debe ser creado sin ningún formato, por lo que se debe utilizar u editor de texto sencillo y normal como por ejemplo el bloc de notas.

Hasta aquí el artículo de hoy.

Esto ha sido todo por hoy queridos amigo. Espero la información te sea de mucha ayuda y la utilices de la mejor forma posible. Recuerda que todos estos aspectos son importante para el SEO, así que si no tienes este archivo es importante que lo crees ¡Google lo va a valorar!

Aprovecho para invitarte a seguir visitando nuestro sitio, tenemos mucho contenido de valor para ti que estás interesado en posicionar tu sitio web. Sin más que agregar me despido ¡Un abrazo! ¡Hasta la próxima!

 

teclweb

Write a Reply or Comment

error: Contenido protegido !