El presupuesto de rastreo de Google: ¿cómo funciona y cómo maximizar el suyo?

Para cada sitio web en Internet, Google tiene un presupuesto fijo (crawl budget) para cuántas páginas pueden y están dispuestos a rastrear sus bots. Internet es un gran lugar, por lo que Googlebot solo puede pasar tanto tiempo rastreando e indexando nuestros sitios web. La optimización del presupuesto de rastreo es el proceso de garantizar que las páginas correctas de nuestros sitios web terminen en el índice de Google y, en última instancia, se muestre a los buscadores.

Las recomendaciones de Google para optimizar el presupuesto de rastreo son bastante limitadas, porque Googlebot se recorre la mayoría de los sitios web sin alcanzar su límite. Pero los sitios de comercio electrónico y de nivel empresarial con miles de páginas de destino corren el riesgo de maximizar su presupuesto. Un estudio de 2018 incluso descubrió que los rastreadores de Google no pudieron rastrear más de la mitad de las páginas web de sitios más grandes en el experimento.

Influir en cómo se gasta el presupuesto de rastreo puede ser una optimización técnica más difícil de implementar para las estrategias. Pero para los sitios de comercio electrónico y de nivel empresarial, vale la pena el esfuerzo de maximizar el presupuesto de rastreo donde pueda. Con algunos ajustes, los propietarios de sitios y los estrategas de SEO pueden guiar a Googlebot a gatear e indexar regularmente sus páginas de mejor rendimiento.

¿Cómo determina Google el presupuesto de rastreo??

El presupuesto de rastreo es esencialmente el tiempo y los recursos que Google está dispuesto a gastar rastreando su sitio web. La ecuación es la siguiente:

Presupuesto de rastreo = tasa de rastreo + demanda de rastreo

La autoridad de dominio, los vínculos de retroceso, la velocidad del sitio, los errores de rastreo y el número de páginas de destino afectan la velocidad de rastreo de un sitio web. Los sitios más grandes generalmente tienen una mayor tasa de rastreo, mientras que los sitios más pequeños, los sitios lentos o aquellos con redireccionamientos excesivos y errores del servidor, generalmente se arrastran con menos frecuencia.

Google también determina el presupuesto de rastreo mediante demanda de rastreo. Los sitios populares tienen una mayor demanda de rastreo porque Google quiere proporcionar el contenido nuevo a los usuarios. A Google no le gusta el contenido obsoleto en su índice, por lo que las páginas que no se han incluido en algún momento también tendrán una mayor demanda. Si su sitio web pasa por una migración del sitio, Google aumentará la demanda de rastreo para actualizar más rápidamente su índice con sus nuevas URL.

El presupuesto de rastreo de su sitio web puede fluctuar y ciertamente no es fijo. Si mejora el alojamiento de su servidor o la velocidad del sitio, Googlebot puede comenzar a rastrear su sitio con mayor frecuencia sabiendo que no está ralentizando la experiencia web para los usuarios. Para tener una mejor idea de la tasa de rastreo promedio actual de su sitio, busque en su consola de búsqueda de Google Crawl Report.

¿Todos los sitios web deben preocuparse por su presupuesto de rastreo?

Los sitios web más pequeños que solo se centran en obtener una clasificación de algunas páginas de destino no necesitan preocuparse por el presupuesto de rastreo. Pero los sitios web más grandes, especialmente los sitios poco saludables con páginas rotas y redireccionamientos, pueden alcanzar fácilmente su límite de rastreo.

Los tipos de sitios web grandes que corren el mayor riesgo de maximizar su presupuesto de rastreo generalmente tienen decenas de miles de páginas de destino. Los principales sitios web de comercio electrónico en particular a menudo se ven afectados negativamente por los presupuestos de rastreo. Me he encontrado con múltiples sitios web empresariales con un número significativo de sus páginas de destino sin indexar, lo que significa cero posibilidades de clasificación en Google.

Hay algunas razones por las cuales los sitios de comercio electrónico en particular deben prestar más atención a dónde va su presupuesto de rastreo.

• Muchos sitios de comercio electrónico crean programáticamente miles de páginas de destino para sus categorías. Los clásicos ordenar por ventas, alfabéticamente, popularidad... Crean miles de páginas rastreables, sino se etiqueta de forma adecuada.
• Este tipo de sitios actualizan regularmente sus páginas de destino cuando los artículos se agotan, se agregan nuevos productos u se producen otros cambios en el inventario.
• Los sitios de comercio electrónico tienden a duplicar páginas (p. Ej. páginas de productos) e identificadores de sesión. Googlebot los percibe como URL de "bajo valor agregado", lo que afecta negativamente la tasa de rastreo.

Otro desafío para influir en el presupuesto de rastreo es que Google puede aumentarlo o disminuirlo en cualquier momento. Aunque un mapa del sitio es un paso importante para que los sitios web grandes mejoren el rastreo y la indexación de sus páginas más importantes, no es suficiente para garantizar que Google no maximice su presupuesto de rastreo en páginas de menor valor o bajo rendimiento.

Entonces, ¿cómo pueden los webmasters realizar la optimización del presupuesto de rastreo?

Aunque los propietarios de sitios pueden establecer límites de rastreo más altos en sus cuentas de Google Search Console, la configuración no garantiza mayores solicitudes de rastreo o influencia en las páginas que Google termina rastreando. Puede parecer que la solución más natural es hacer que Google rastree su sitio web con mayor frecuencia, pero hay opciones muy limitadas que tienen una correlación directa con una mayor tasa de rastreo.

Todos sabemos que un buen presupuesto no se trata de aumentar sus límites de gasto; se trata de ser más selectivo con lo que gasta su dinero. Cuando aplica este mismo concepto al presupuesto de rastreo, puede producir grandes resultados. Aquí hay algunos pasos estratégicos para ayudar a Google a gastar su presupuesto en su beneficio.

Paso 1: Identifique qué páginas está rastreando Google en su sitio

Hasta hace poco, el informe de rastreo de Google Search Console solo decía a los propietarios del sitio cuántas solicitudes de rastreo recibió su sitio en días determinados. Aunque el nuevo Informe de estadísticas de rastreo de Google proporciona información mucho más detallada sobre el rastreo, el mejor lugar para comprender cómo Google rastrea su sitio todavía está en los archivos de registro de su servidor.

Cuando Google visita su sitio web, utilizan un agente de usuario en particular. Esto le permite a su servidor saber que el tráfico es en realidad Googlebot y no una persona real.

(También encontrarás el bot de Bingbot y Ahrefs allí).

Los propietarios de sitios que analizan el contenido de este archivo de registro obtendrán mucha información sobre el presupuesto de rastreo de Google para su sitio. El archivo revelará algunas cosas:

• Qué páginas visita el agente
• Cuántas páginas rastrea ese agente durante el día
• Si alguna de las páginas rastreadas es 404 o está rota

Además, los propietarios de sitios nunca deben desperdiciar el presupuesto de rastreo en 404s. Google Search Console solo le mostrará algunos de sus errores suaves de 404, pero puede identificarlos todos en los registros de su servidor.

Una vez que tenga información más detallada sobre qué páginas de su sitio web se están rastreando, complete los siguientes elementos de acción:

• Agregar etiquetas de robots: Si Googlebot está rastreando esos 404 o páginas rotas, la prioridad número uno debería agregar etiquetas de robots [noindex, nofollow] para evitar que Googlebot se arrastre e indexe esas páginas.
• Ajuste su mapa del sitio : Si los registros de su servidor revelan que Google no está rastreando sus páginas potencialmente de alto rendimiento, colóquelas más arriba en su mapa del sitio para asegurarse de que se arrastren.

Paso 2: Acepte que no todas sus páginas de destino deben clasificarse en Google

La razón principal por la que tantos sitios web a nivel empresarial eran su presupuesto de rastreo es porque permiten que Google rastree cada página de destino en su sitio. A muchos sitios web incluso les gusta poner todas sus páginas en su aplicación móvil para que Google pueda encontrarlas y rastrearlas todas. Esto es un error, porque en realidad, no todas nuestras páginas de destino van a clasificarse.

¿Cuál es el valor de tener una página de destino en el índice de Google?? Clasificación y conversión. Si su sitio web tiene páginas de destino que no están presionando al clasificar varias palabras clave o convertir a los visitantes del sitio en clientes potenciales e ingresos, ¿por qué incluso correr el riesgo de dejar que Google las rastree??

Los propietarios de sitios de comercio electrónico y nivel empresarial deben saber qué páginas de sus sitios web tienen optimización de conversión y tienen la gran posibilidad de clasificar y convertir. Luego, deben aprovechar todas las ventajas que puedan para asegurarse de que Google gaste el presupuesto de rastreo en esas páginas de alto rendimiento.

Vale la pena gastar en las páginas de destino de su sitio web que tienen un alto rango y potencial de conversión. Aquí hay algunos consejos para garantizar que Googlebot incluya esas páginas en su presupuesto.

• Reduzca el número de páginas en su mapa del sitio: Concéntrese solo en las páginas que realmente tienen una buena posibilidad de clasificar y obtener tráfico orgánico.
• Eliminar páginas de bajo rendimiento o innecesarias: Elimine aquellas páginas que no aportan valor porque no tienen clasificación, conversión o propósito funcional.
• Poda de contenido: "Pode" las páginas que en realidad no reciben tráfico orgánico y redirigirlas a otras páginas de destino en su sitio que sean relevantes y obtengan tráfico. Tenga en cuenta que los redireccionamientos consumen un poco de su presupuesto de rastreo, así que trate de usarlos con moderación y nunca los use dos veces seguidas.

Es difícil para cualquier propietario del sitio dejar de lado el contenido, pero es mucho más fácil evitar que Google rastree ciertas páginas que hacer que Google aumente su presupuesto general. Limpiar su sitio para que los rastreadores de Google tengan más probabilidades de encontrar e indexar las mejores cosas es la máxima prioridad si desea gastar su presupuesto de rastreo sabiamente.

Paso 3: Use enlaces internos a páginas de alto rendimiento para los rastreadores de Google

Una vez que haya identificado qué páginas está rastreando Google, haya agregado las etiquetas necesarias de los robots, las páginas de bajo rendimiento eliminadas o podadas, y haya realizado ajustes en su mapa del sitio, los rastreadores de Google serán más propensos a gastar su presupuesto en las páginas correctas de su sitio web.

Pero para maximizar realmente ese presupuesto, sus páginas deben tener lo necesario para clasificar. Las mejores prácticas de SEO en la página son clave, pero una estrategia técnica más avanzada es utilizar su estructura de enlace interno para elevar esas páginas potencialmente de alto rendimiento.

Al igual que Googlebot solo tiene un presupuesto limitado de rastreo, su sitio web solo tiene una cierta cantidad de capital del sitio en función de su huella de Internet. Es su responsabilidad concentrar su equidad de una manera inteligente. Eso significa dirigir el patrimonio del sitio a aquellas páginas que apuntan a palabras clave para las que tiene una buena posibilidad de clasificar y en aquellas que traen tráfico con el tipo correcto de clientes, aquellos que probablemente se convertirán y realmente tendrán valor económico.

Esta estrategia de SEO se conoce como esculpir PageRank. Si tiene un sitio web grande con miles de páginas de destino, un estratega avanzado puede ejecutar experimentos de SEO para optimizar el perfil de enlace interno de su sitio web para una mejor distribución de PageRank. Si es un nuevo sitio web, puede adelantarse a la curva incorporando la escultura de PageRank en la arquitectura de su sitio y pensando en la equidad del sitio con cada nueva página de destino que cree.

Estas son dos de mis estrategias favoritas para analizar mis páginas para determinar cuál se beneficiaría más de la escultura de PageRank.

• Encuentre las páginas de su sitio web que tienen buen tráfico pero no tienen suficiente PageRank:
  Encuentre formas de obtener esas páginas más enlaces internos y envíe más PageRank allí. Agregarlos al encabezado o pie de página de su sitio web es una excelente manera de hacerlo rápidamente, pero no exagere los enlaces en su menú de navegación.
• Concéntrese en las páginas que tienen muchos enlaces internos, pero no recibe mucho tráfico, busca impresiones y clasifica muy pocas palabras clave:
  Las páginas que reciben muchos enlaces internos generalmente contienen mucho PageRank. Si no están usando ese PageRank para traer tráfico orgánico a su sitio, lo están lanzando. Es mejor mover ese PageRank a páginas que realmente puedan mover la aguja.

Comprender el papel que desempeña cada enlace en su sitio web no solo en enviar Googlebot a su sitio web, sino también en la distribución de la equidad de su enlace, es el paso final en la optimización del presupuesto de rastreo. Obtener su estructura de enlace interna correctamente puede conducir a mejoras dramáticas en las clasificaciones de sus páginas de dinero. Al final, la mejor manera de gastar su presupuesto de rastreo es en páginas de destino que tienen más probabilidades de poner ingresos en su bolsillo.

Después de implementar sus cambios, esté atento a las clasificaciones de palabras clave para esas páginas mejoradas en una herramienta de consola de búsqueda de Google. Si las clasificaciones mejoran para esas páginas, muestra que su optimización de presupuesto de rastreo está funcionando. Luego, a medida que agrega nuevas páginas a su sitio web, sea más selectivo sobre si merecen o no consumir su presupuesto de rastreo. De lo contrario, siga dirigiendo los rastreadores solo a las páginas que más trabajan para su marca.