Inicio > Blog > Solucionar en Prestashop “el robot de Google no puede acceder a los archivos CSS y JS”

Solucionar en Prestashop “el robot de Google no puede acceder a los archivos CSS y JS”

1 estrella2 estrellas3 estrellas4 estrellas5 estrellas (5 promedio de votos: 4,00 sobre 5)
Cargando…

Hace unos días Google mandó un mail a todos los webmasters que tienen enlazado Google Webmaster Tools con su site con el texto: “el robot de Google no puede acceder a los archivos CSS y JS“.

En el caso de Prestashop, el que no se pueda acceder depende de una instrucción que viene por defecto en el robots.txt que genera Prestashop, en concreto esta:

User-agent: *
# Directories
Disallow: /classes/
Disallow: /config/
Disallow: /download/
Disallow: /mails/
Disallow: /modules/
Disallow: /translations/
Disallow: /tools/

A priori, sería tan fácil como eliminar esa línea y ya está, Google ya puede acceder a la carpeta de /modules e indexar los javascripts y css que contienen los módulos para poder interpretar como Dios manda la página ya que, si no, el bot ve algo así (la imagen la he pillado de este post)

Google-rendering

 

Es decir, Google Bot ve la web desmaquetada ya que no puede acceder a los javascripts ni a las hojas de estilo.

Pero si abrimos la carpeta /modules a saco se puede indexar de todo. Dentro de /modules hay imágenes, XMLs… archivos que no queremos que se indexen, en resumen.

La solución

Sinceramente, la solución es más fácil de lo que parece y la he encontrado así de sencilla gracias a Jordi Rosell y a Natzir Turrado que me han echado un capote.

En el robots.txt modificamos la línea de texto de modules por esto:

Disallow: /modules/
Allow: /modules/*.js
Allow: /modules/*.css

Y, si quieremos comprobar que todo es correcto, vamos a la herramienta de Webmaster Tools “Rastreo > Explorar como Google” y entramos cualquiera de las páginas que teníamos con bloqueo (puedes ver el listado completo en “Índice de Google > Recursos bloqueados“). Pasados unos días, los errores irán bajando 🙂

Publicado el 31.07.2015 en SEO
1 estrella2 estrellas3 estrellas4 estrellas5 estrellas (5 promedio de votos: 4,00 sobre 5)
Cargando…
Comentarios

24 comentarios para "Solucionar en Prestashop “el robot de Google no puede acceder a los archivos CSS y JS”"

  • El 31.07.2015 , Alberto Garcia ha comentado:

    ¿Y no será mejor comprimir los css y ya nos quitamos estos problemas? ninguna tienda Prestashop en producción deberia tener los CSS sin comprimir.

    • El 31.07.2015 , jordiob ha comentado:

      Por qué no debería? Además, seguirían estando capados por el robots.txt

      • El 31.07.2015 , Enrique ha comentado:

        Los css y js cacheados se guardan en la carpeta cache del tema. En principio las tiendas que usan compresión no estarían afectadas (en caso de usar ccc de css y js claro..)

        Pero es posible que algún módulo “chapu” no use la API de Prestashop para meter los css y js por lo que sí se verían afectadas

        • El 31.07.2015 , jordiob ha comentado:

          joder, vale, he leído el comentario al revés, había leído “ninguna tienda en producción debería tener los CSS comprimidos”, sorry
          De todos modos, tengo la teoría de que el bot de Google miraría en /modules igualmente para ir a buscar los CSS y JS. Saben que es un prestashop (por código y meta etiqueta) y van a buscar la info donde saben que va a estar

  • El 31.07.2015 , Pedro ha comentado:

    Gracias Jordi,
    Siempre atento a la jugada…

  • El 31.07.2015 , Julián ha comentado:

    Oído cocina!!! ya habíamos abierto toda la carpeta modules… no sea que tito Google se enfade.

    Gracias por la info!!!

    Saludos a todos y feliz verano!

  • El 31.07.2015 , piti ha comentado:

    Aplicado. Ahora, a esperar que bajen …. Gracias!

  • El 06.08.2015 , Juan Ricardo ha comentado:

    Mil gracias! Voy a probarlo ahora mismo!

    • El 06.08.2015 , jordiob ha comentado:

      a ti!

  • El 19.08.2015 , piti ha comentado:

    Perfect!! De los css y js ya no se queja. Ahora de las imagenes que hay en los módulos ¿es conveniente “darle paso” o no?

    • El 19.08.2015 , jordiob ha comentado:

      yes! lo mismo pero con “img”

  • El 31.08.2015 , Uli ha comentado:

    Modifique el archivo robots desde que publicaste el articulo, y ya actualizo google el indice, pero no surte efecto sigue teniendo los mismos recursos bloqueados, alguna sugerencia?

    Gracias por todo!

    • El 31.08.2015 , jordiob ha comentado:

      pásame URL

  • El 18.11.2015 , santiago ha comentado:

    Jordi disculpa la molestia, implemente esto en una tienda en la que estoy trabajando, los bloqueos disminuyeron pero aun hay varios, lo cual no se si debo esperar o si hay algo mal.

    Los recursos bloqueados son css y js que afectan a una gran cantidad de paginas, 13 en total.

    Antes de realizar el cambio, si exploraba como Google las paginas con bloqueos, solo se podía ver el hmtl según Google Bot. Ahora en ambos casos la web se muestra igual tanto para Google Bot como para el usuario, aunque los del carrusel de relacionados no se ve, por lo que supongo que no puede acceder al js. Con esto quiero decir que hubo cambios, pero no se si debo esperar mas o realizar otras modificaciones.

    Algunos bloqueos son de imágenes, acabo de leer el comentario, por lo que debo implementarlo. En este caso la linea para el robots.txt quedaría Allow: /modules/*.jpg que son los recursos con error,o debo dar acceso a la url /images/?

    Por ultimo, con screaming frog y también al explorar como Google veo archivos css que dan 404, creado por la cache (cache/v_442__screen.css) los cuales están en blanco. Estos debo eliminarlos todos a pesar de no estar indexados?

    Me acabo de dar cuenta de que también la linea modules bloquea fuentes. Esto debería cambiarlo mediante Allow: /fonts/ ?

    Disculpa tantas preguntas y lo extenso.

    Saludos y gracias desde ya.

  • El 18.11.2015 , Santiago ha comentado:

    Genial, gracias por la respuesta, ya implemente los cambios y parece que funciona perfecto.

    A la espera de la semana de formación jeje

    Saludos.

  • El 14.12.2015 , JRO ha comentado:

    Cómo puedo darle paso al google bot a las imagines en el directorio modules.

  • El 29.12.2015 , Aroa Montalt León ha comentado:

    Hola Jordi,

    Estoy intentando hacerlo en mi página pero me siguen saliendo el mismo número de recursos bloqueados.
    Cómo lo puedo solucionar?
    Muchas gracias

  • El 05.01.2016 , Víctor ha comentado:

    Buenas Jordi, échale un ojo a la primera imagen que se te ha olvidado algún

    Buen post

  • El 18.02.2016 , Victor ha comentado:

    Hola Jordi,

    He escrito un post en el foro de prestashop donde aclaro que he introducido la información de robot.txt y aun no he visto resultados .. además de que me aparecen más errores aparte de los de /modules/ ¿Como poder solucionarlos?

    adjunto link
    https://goo.gl/SmzFdh

  • El 19.12.2016 , Juan Fco. ha comentado:

    Perfecto….. Muchas gracias.

    Tenía 12 recursos bloqueados, pero que al ser de “modules”, 3 de ellos afectaban a 76 páginas, cada uno…….

    El resto solo a alguna página en concreto….

    Comprobado con la herramienta de google, ya me aparecen como permitidos. Esperaré unos días para que se “retiren” solos, y a correr.

    Me ha quedado uno, de “tools”, un .js , donde el mismo sistema no ha funcionado, pero es UNO a UNA página….. Ya es mucho ganado.

    Gracias de nuevo.

    Saludos

    • El 19.12.2016 , Juan Fco. ha comentado:

      Reitero mi agradecimiento, pero rectifico mi resultado….

      Afectaba “solo” a 76 páginas, pero era 12 recursos diferentes. Uno de ellos, el “tools”, seguía afectando a 76 páginas…..

      El mismo sistema de los “modules”, no funcionó hasta que no le puse el * antes del primer /. Así ya lo aceptó como permitido.

      Para los torpes como yo, bastaba con decirle al robots.txt que el recurso completo, la url que indica como bloqueada, se permitiera. No era necesario permitir toooooodos los .js de “Tools”. Y así lo dejé al final, con solo permiso a ese recurso.

      Saludos

  • El 10.08.2018 , Ernesto ha comentado:

    Interesante post. Voy a hacer la prueba. Gracias

Deja tu comentario

Acepto expresamente la política de privacidad de jordiob.com