Crawl, crawlers y crawling

¿Has oído hablar de estos términos alguna vez? Por lo menos habrás escuchado «crawleo», ¿no? Este último es una adaptación de «crawling» (en inglés, este verbo tiene múltiples significados: trepar, reptar, gatear…, pero se acerca a la idea de cómo se mueve un insecto o un animal arrastrándose). Por todo lo anterior, Google lo escogió para bautizar a los bichejos y para definir el comportamiento de sus robots de búsqueda, conocidos como «crawlers».

Vamos por partes, pues.

¿Qué es el crawling o «crawleo»?

El crawling es el proceso mediante el que los motores de búsqueda clasifican e indexan cada página que existe en Internet. Como ocurre con cualquier otra parte del algoritmo de Google, el código por el cual se realiza es desconocido para el gran público, pero la empresa cuenta con herramientas para controlar y mejorar la experiencia de los usuarios en el proceso de crawling, como Google Search Console (antes, Google Webmaster Tools).

La indexación permite, entre otras cosas, que la página web sea visible en los resultados de búsqueda de Google (SERPs) y que pueda mejorar su posicionamiento orgánico (SEO), siendo imprescindible para mantener una buena posición y aumentar el número de visitas y de conversión de los objetivos que nos propongamos. Cosa seria, ¿no te parece?

Guay, pero ¿por qué crawling?

Con la etimología hemos topado, ¿eh? Vamos a ver. Por regla general, los robots de búsqueda de Google se conocen como «crawler» (trepadores, arañas, spiders) o «crawlers», debido a que solemos visualizarlos como insectos que se arrastran por toda la red buscando información que indexar.

Sus principales objetivos son:

  1. Encontrar todas las páginas web que existen en Internet
  2. Evaluar y analizar su contenido con base al algoritmo de Google
  3. Asignarles una posición en las SERPs (búsquedas de resultados)

¿Y por qué hablamos casi siempre de «crawlers» y no de «crawler»? Principalmente, porque existen distintos tipos de trepadores o rastreadores (como el crawl budget, por ejemplo, aunque hay muchos otros que puedes consultar en este enlace oficial de Google sobre el crawling)

Lo pillo: es cosa seria: ¿cómo me aseguro un buen crawling?

Mira, te van a intentar hacer las búsquedas de Google (por dentro, digo) bonitas y sencillas, pero de sencillas no tienen nada. Hay cientos de variables a tener en cuenta para posicionar páginas y no conocemos cuál es el código del algoritmo de Google, sino algunas aproximaciones como:

  • El contenido se mantiene actualizado y es de calidad
  • Las páginas son accesibles, están bien estructuradas
  • Todo funciona con fluidez (que siempre se agradece)
  • Los crawlers pueden pasearse con relativa facilidad por ahí y no les complicas la vida a esos insectos robóticos «metomentodo»
  • Las cuestiones técnicas de la página funcionan cual reloj suizo: responsive, optimizada, velocidad de carga…
  • No hay errores, ni enlaces rotos, te has currado las metatags…

Ahora súmale otras 200 variables y te vas acercando a lo que buscan los chicos y chicas de Google y sus crawlers, ¿lo pillas? En otras palabras, el posicionamiento SEO se va a preocupar de intentar estar a buenas (lo mejor posible, vamos) con Google, pero las variables del algoritmo y su importancia numérica siguen siendo un misterio. Además, como ocurre con todo lo que toca Google, se trata de un proceso que sigue creciendo y adaptándose a los cambios tecnológicos: desde el SEO local a la web 3.0 o las búsquedas semánticas. Para que te hagas una idea, un texto como el que estás leyendo aquí, jamás hubiera posicionado hace una década igual de bien que hoy. ¿Por qué? Es simple: los crawlers en la actualidad son mucho más «listos» y se han adaptado a las nuevas tecnologías y formas de uso de internet: móviles, búsquedas por voz, geolocalización… Ya (tú) sabes.


Las imágenes pertenecen al videojuego Crawl (Powerhoof, 2017) y he pensado que le pegaban bastante al artículo…