Inicio > Blog > Caso práctico: frecuencia de rastreo y redirecciones

Caso práctico: frecuencia de rastreo y redirecciones

1 estrella2 estrellas3 estrellas4 estrellas5 estrellas (4 promedio de votos: 5,00 sobre 5)
Cargando…

Hace unos meses cayó en mis manos un proyecto muy interesante de SEO on page. Se trata de un ecommerce con, aproximadamente, 5.000 URLs de categorías y productos. ¿Que cuántas URLs tenía indexadas en Google? Sorpresa:

1

¿Pero, qué?

Filtros abiertos, fijo que es eso

Lo primero que piensas es que no es la primera vez que ves esto y que debe haber filtros abiertos e indexándose. Un clásico que me he encontrado más de una vez y de dos.

Después de hacer varios crawlings generales y de parámetros de filtros (precio, orden, características, atributos, búsqueda…) no llegué a ninguna conclusión satisfactoria. ¡NINGUNA! No era ningún filtro. Mamma mía, ¿qué coño había pasado aquí?

Después de volverme loco buscando por aquí y por allí, mirando robots.txt, htaccess y dándole más vueltas al tema que una peonza, detecté un patrón gracias al informe de “Mejoras de HTML” de Search Console. Atención:

2

Curioso, porque las meta descripciones eran únicas. Desplegando algunas de las celdas con más duplicados me encontré con esto:

3

Es decir, un producto con 6 colores, generaba 6 URLs diferentes. La “padre” y 5 URLs más, 1 para cada color.

El comportamiento a nivel de indexación en Google era:

  1. Se crea el producto padre
  2. Se crean las 5 variaciones de color
  3. Eso crea 6 URLs con el mismo contenido
  4. Esas URLs van a parar al sitemap.xml
  5. Esas URLs van a parar al mapa de productos (en html) del site
  6. Se rastrean las 6 URLs
  7. Se indexan las 6 URLs
  8. A posteriori, las 5 URLs de colores se redirigen a la URL padre
  9. Ergo, tenemos 6 URLs indexadas, 5 de ellas con un 301

Imaginad este comportamiento para un catálogo de unos 4.800 productos (y 200 categorías) con un mínimo de 2 combinaciones. Hay productos que no tienen combinaciones y que solo tienen una URL. Hay productos que tienen 23 combinaciones y que generan 23 URLs.

Todo este pastizal de URLs había provocado que se indexaran 13.400 URLs, muchas de las cuales eran redirecciones y que estaban ocupando el lugar de “URLs buenas”.

Adiós, frecuencia de rastreo

¿Qué había pasado debido a la combinación de este factor (301 a mansalva enviados al índice de Google) combinándolo con:

  • varios centenares de error 404?
  • Y, sorpresa final, URLs con error 404 que devuelven un status 200 (ok)

4

Páginas rastreadas al día y kilobytes descargados al día casi al 50%. El bot de Google había acabado literalmente hasta los cojones de perder el tiempo rastreando URLs de mierda, por lo que nos había bajado las páginas rastreadas al día de 6.100 a 3.300. Ojo cuidao con estas cosas.

¿Forma de resolverlo? Evitar esas redirecciones 301 (hacer que no se generen directamente las URLs), desindexar todas las 301 indexadas. Eliminar todas las 301 que había en el sitemap y en el mapa del sitio en HTML, caparlas por robots.txt (ya puestos) y “patapum-parriba”.

Publicado en SEO
Comentarios

3 comentarios para "Caso práctico: frecuencia de rastreo y redirecciones"

  • El 04.04.2016 , Elena ha comentado:

    Gracias!! Muy útil!! ¿Y qué es lo más recomendable en el caso de productos con varios colores y cuya página y contenido es igual?
    Saludos!

  • El 04.04.2016 , ShowMeTheViral.com ha comentado:

    putos colores 😀 como la lian

  • El 06.04.2016 , Samuel Soler ha comentado:

    El contenido duplicado es nuestro enemigo…

Deja tu comentario

Acepto expresamente la política de privacidad de jordiob.com