¿Por qué Google no indexa tus URLs? Hablemos de indexación

Por Juan González Villa

La indexación no es uno de los temas más populares dentro del SEO, porque hasta hace unos años, Google solía indexarlo todo sin problema.

Sin embargo, en los últimos 3 o 4 años esto ha cambiado, primero con problemas temporales de indexación y luego con problemas sistemáticos para indexar todas o algunas de sus URLs en el caso de sitios nuevos o con poca autoridad o tráfico. 

A día de hoy, que Google indexe todas tus URLs es cada vez menos frecuente, y no es un problema exclusivo de las webs de nicho o con contenido automatizado.

¿Realmente indexa Google menos páginas, o más lentamente, que antes? Si es así, ¿por qué? Y sobre todo… ¿Cómo solucionarlo?

El problema de la indexación

Google no puede ni quiere indexar todo internet. Está lleno de duplicaciones y hasta de cosas que probablemente nunca tendrán demanda para el buscador, por lo que el gasto de mantenerlas en el index quizá sea igual o mayor que los ingresos que lleguen a aportar (0).

Este problema ha ido a más, y seguirá yendo a más por razones obvias:

El coste de generar texto coherente (que parezca redactado por un humano, lo cual no quiere decir «interesante») ha caído hasta mínimos impensables hace pocos años, gracias a GPT-3.5 y 4, Claude, etc.

Google se enfrenta ya a una avalancha de nuevo contenido sin precedentes.

Para entenderlo, aunque llevado a las IAs generativas de imágenes: se estima que en un año se han generado tantas imágenes con IA como las tomadas por las cámaras de fotos en sus primeros 150 años. 🙀

Una solución podría ser rechazar por sistema todo lo generado por IA, pero hay dos inconvenientes:

1. Ni Google, ni OpenAI, ni nadie a día de hoy puede diferenciar el texto generado por los modelos más avanzados del escrito por humanos

2. Sería absurdo rechazar una herramienta para generar contenido, que al final eso es un modelo tipo GPT, igual que antes lo fue el procesador de texto. Un autor experto en su tema puede producir buen contenido usando IA generativa (y revisando debidamente).

Entonces, volvemos al problema inicial: Google tiene demasiado contenido, y necesita criterios automatizados para elegir con cuál se queda.

Ya no sólo es qué posiciona más arriba, es si te considera siquiera para rankear o no.

La cola de rastreo e indexación

El contenido nuevo, antes de ser indexado, debe ser descubierto y rastreado por Google (para esto último hay excepciones, pero no lo vamos a ver ahora).

Para rastrear, Google añade todas las URLs que encuentra a una cola, ordenada algorítmicamente.

Lo que estima es más importante, se pone primero en la cola, y lo que estima que es prescindible o no urge, es empujado hacia el final de la cola.

Cada vez que se añade una URL nueva a la cola, ocupa su lugar y empuja a otras consideradas menos importantes hacia atrás.

Algunos criterios que ayudan a Google a decidir la posición de cada URL en la cola de rastreo son:

  • Enlaces (básicamente el PageRank de siempre)
  • Otras señales de autoridad (medios establecidos indexan muy rápido todas sus URLs)
  • Demanda en el buscador del contenido

Si recuerdas la avalancha de contenido nuevo que se le está juntando a Google, entenderás por qué las webs nuevas o con poca autoridad tardan cada vez más en tener sus URLs indexadas, y más si pretenden indexar de golpe miles o cientos de miles de páginas.

Esto puede ser peor si todas las URLs de una nueva webs se dirigen hacia búsquedas sin demanda (demasiado longtail) o con demanda ya cubierta de sobra por contenido existente en el index de Google. Si no aportas nada nuevo o de interés, ¿por qué debería priorizarte Google?

Un matiz para webs nuevas. Para no condenar a las webs nuevas a no poder acceder al index y poder reunir señales sobre ese sitio, usa el criterio de que cuando encuentra un sitio del que aún no ha indexado nada, sube sus URLs en prioridad… pero hasta un punto.

Pasado ese punto, de nuevo trata a sus URLs como al resto, y si no hay otras señales, las URLs que queden sin rastrear e indexar pasarán a un lugar muy poco prioritario en la cola.

PD: La home de un sitio se suele rastrear e indexar tan pronto como Google la descubre.

Cómo mejorar la indexación

Vale, ahora que entendemos el sistema general, ¿qué podemos hacer para que Google indexe más URLs, o más rápido?

Enlaces y PageRank interno

Conseguir enlaces hacia sitios y URLs nuevas hace que aumente su prioridad en la cola.

Esto está reconocido por Google (por medio de John Müller), y al menos en el caso de enlaces internos, suele casar con lo que se ve cuando comparas la indexación de tus URLs con su PageRank interno:

Usar esto es sencillo. Por ejemplo, en un ecommerce, puedes enlazar tus productos recién llegados desde la home, o al menos los que más te interese indexar, por unos días.

Analizar el enlazado interno de tu sitio te dará pistas para enviarle más amor a las URLs a indexar.

Incluir las URLs que quieres indexar en sitemaps 

Aunque no supone un extra demasiado alto, estar en un sitemap cuenta.

Como puedes tener tantos sitemaps como quieras, puede ser buena idea crear un sitemap sólo con las últimas URLs indexables añadidas al sitio. Así además puedes seguir cómo se van indexando.

Aprovechar tendencias

Si eres de los primeros en hablar de algo que los usuarios empiezan a buscar con mucha más frecuencia que antes, Google te indexará rápido (suponiendo que conozca la URL, que la puedes enviar por Search Console).

Esto va en línea con el concepto de Information Gain: aportar información nueva, que no se encuentre en ninguna otra URL en el index de Google.

Copiar o hacer refritos de lo ya existente, subir las mismas imágenes que tienen otras páginas, etc. no te ayudará a indexar.

Crear contenido con ratio positivo demanda/oferta

En la misma línea, es mejor (para la indexación) subir contenido sobre temas que se buscan, pero aún no están saturados (no muchos sitios han hablado sobre ellos), que sobre temas totalmente trillados. Océano azul. ;)

Búsquedas de marca

Que los usuarios busquen tu marca, por sí sola o en combinación con palabras clave, es una señal positiva, porque le dice a Google que tu sitio tiene algo que los usuarios están buscando.

No aseguro que por sí solas muevan la aguja, pero es un extra que es útil tener (aunque es casi imposible tenerlo en sitios nuevos).

Conclusión y fuentes adicionales

Resumiendo, el consejo de Google de aumentar el valor único que proporciona tu web, en relación a lo que ya se encuentra en internet, es válido y tiene todo el sentido, aunque lógicamente hay que bajarlo a tierra y saber aplicarlo:

Un sitio nuevo, sin autoridad y con cientos de miles de URLs que apenas tienen contenido original siempre tendrá problemas para indexar bien, y es probable que cada vez más. 

Algunas fuentes adicionales que recomiendo leer:

Suscríbete a 10 Links Azules, la newsletter semanal de USEO







Información legal porque así lo quiere el RGPD

El responsable de recoger y guardar estos datos que me das voluntariamente es un servidor, Juan González Villa, con la única finalidad de informarte con nuevos posts en mi blog, eventos profesionales y enviarte mi newsletter.

Tienes derecho a cancelar tu suscripción en cualquier momento y puedes ejercer tu derecho a rectificar o solicitar eliminación de tus datos, tal y como se recoge en la Política de Privacidad.

Utilizamos Acumbamail como nuestra plataforma de marketing. Al hacer clic a continuación para suscribirse, reconoces que tu información será transferida a Acumbamail para su procesamiento. Obtenga más información sobre las prácticas de privacidad de Acumbamail aquí.