Abr 042016

Caso práctico: frecuencia de rastreo y redirecciones

Tweet about this on Twitter28Share on LinkedIn13Buffer this pageEmail this to someone

Hace unos meses cayó en mis manos un proyecto muy interesante de SEO on page. Se trata de un ecommerce con, aproximadamente, 5.000 URLs de categorías y productos. ¿Que cuántas URLs tenía indexadas en Google? Sorpresa:

1

¿Pero, qué?

Filtros abiertos, fijo que es eso

Lo primero que piensas es que no es la primera vez que ves esto y que debe haber filtros abiertos e indexándose. Un clásico que me he encontrado más de una vez y de dos.

Después de hacer varios crawlings generales y de parámetros de filtros (precio, orden, características, atributos, búsqueda…) no llegué a ninguna conclusión satisfactoria. ¡NINGUNA! No era ningún filtro. Mamma mía, ¿qué coño había pasado aquí?

Después de volverme loco buscando por aquí y por allí, mirando robots.txt, htaccess y dándole más vueltas al tema que una peonza, detecté un patrón gracias al informe de “Mejoras de HTML” de Search Console. Atención:

2

Curioso, porque las meta descripciones eran únicas. Desplegando algunas de las celdas con más duplicados me encontré con esto:

3

Es decir, un producto con 6 colores, generaba 6 URLs diferentes. La “padre” y 5 URLs más, 1 para cada color.

El comportamiento a nivel de indexación en Google era:

  1. Se crea el producto padre
  2. Se crean las 5 variaciones de color
  3. Eso crea 6 URLs con el mismo contenido
  4. Esas URLs van a parar al sitemap.xml
  5. Esas URLs van a parar al mapa de productos (en html) del site
  6. Se rastrean las 6 URLs
  7. Se indexan las 6 URLs
  8. A posteriori, las 5 URLs de colores se redirigen a la URL padre
  9. Ergo, tenemos 6 URLs indexadas, 5 de ellas con un 301

Imaginad este comportamiento para un catálogo de unos 4.800 productos (y 200 categorías) con un mínimo de 2 combinaciones. Hay productos que no tienen combinaciones y que solo tienen una URL. Hay productos que tienen 23 combinaciones y que generan 23 URLs.

Todo este pastizal de URLs había provocado que se indexaran 13.400 URLs, muchas de las cuales eran redirecciones y que estaban ocupando el lugar de “URLs buenas”.

Adiós, frecuencia de rastreo

¿Qué había pasado debido a la combinación de este factor (301 a mansalva enviados al índice de Google) combinándolo con:

  • varios centenares de error 404?
  • Y, sorpresa final, URLs con error 404 que devuelven un status 200 (ok)

4

Páginas rastreadas al día y kilobytes descargados al día casi al 50%. El bot de Google había acabado literalmente hasta los cojones de perder el tiempo rastreando URLs de mierda, por lo que nos había bajado las páginas rastreadas al día de 6.100 a 3.300. Ojo cuidao con estas cosas.

¿Forma de resolverlo? Evitar esas redirecciones 301 (hacer que no se generen directamente las URLs), desindexar todas las 301 indexadas. Eliminar todas las 301 que había en el sitemap y en el mapa del sitio en HTML, caparlas por robots.txt (ya puestos) y “patapum-parriba”.

Tweet about this on Twitter28Share on LinkedIn13Buffer this pageEmail this to someone
1 estrella2 estrellas3 estrellas4 estrellas5 estrellas (4 promedio de votos: 5,00 sobre 5)
Cargando…
3 Responses to Caso práctico: frecuencia de rastreo y redirecciones
  1. Elena Responder

    Gracias!! Muy útil!! ¿Y qué es lo más recomendable en el caso de productos con varios colores y cuya página y contenido es igual?
    Saludos!

  2. ShowMeTheViral.com Responder

    putos colores 😀 como la lian

  3. Samuel Soler Responder

    El contenido duplicado es nuestro enemigo…

Deja un comentario

Your email address will not be published. Please enter your name, email and a comment.