Do AI crawlers really skip slow pages?

Yes. Oncrawl's 2025 log analysis found that ChatGPT-User generates HTTP 499 timeout errors on slow sites — affecting up to 5% of all visits on some sites. Unlike Googlebot, which has generous timeouts and retries, ChatGPT's real-time fetcher abandons slow connections and never comes back for that specific query. Each timeout is a permanently lost opportunity to be cited in an AI response.

What is the ideal server response time for AI crawlers?

Oncrawl's research recommends sub-500ms server response time (TTFB) for reliable ChatGPT-User crawling. For optimal performance, aim for under 200ms using CDN edge caching. Remember that ChatGPT-User fetches pages in real-time when users ask questions — so every millisecond counts toward whether your content appears in the answer.

Does JavaScript rendering affect AI visibility?

Significantly. Most AI crawlers (GPTBot, ClaudeBot, PerplexityBot) do not reliably execute client-side JavaScript. If your content only appears after JavaScript renders it (like a React SPA without SSR), AI crawlers see an empty page. Always ensure core content is in the initial HTML server response.

How do Core Web Vitals relate to AI search visibility?

SALT.agency's analysis of 107,352 pages in AI Overviews found a weak negative correlation (-0.12 to -0.18) between LCP and AI visibility. This means good Core Web Vitals are 'table stakes, not a growth lever' — they won't boost your AI ranking, but severely poor performance will actively hurt it. Focus on avoiding catastrophic failures rather than micro-optimizing.

Which AI crawlers are most affected by slow pages?

ChatGPT-User is the most sensitive because it fetches pages in real-time (at the moment a user asks a question). GPTBot (the background indexer) is more tolerant. Cloudflare's 2025 data shows GPTBot grew 305% YoY and is now the #3 crawler globally, while ChatGPT-User grew 2,825%. Both require fast responses, but ChatGPT-User has the strictest timeout behavior.

How does GEO-Score measure page speed?

GEO-Score uses a blended approach: 70% Google Lighthouse performance audit (measuring TTFB, LCP, CLS, and total blocking time) combined with 30% our own server response analysis. This blend captures both real-world performance and AI-crawler-specific factors like HTML completeness and render-blocking resources.

Sidehastighet: 5 % av AI-crawler-besøk får tidsavbrudd på trege nettsteder (2025-data)

Hva er sidehastighet?

Sidehastighet måler hvor raskt serveren din svarer og hvor raskt siden din lastes fullstendig. For AI-søkemotorer handler dette ikke bare om brukeropplevelse — det avgjør om AI-crawlere i det hele tatt kan hente innholdet ditt. ChatGPT-User, boten som henter sider i sanntid når brukere stiller spørsmål, genererer HTTP 499 timeout-feil på trege nettsteder og prøver aldri på nytt på mislykkede forespørsler. Hvis siden din er for treg, kommer innholdet ditt rett og slett aldri inn i AI-svaret.

GEO-Score måler sidehastighet ved hjelp av en blanding av Googles Lighthouse-ytelsesrevisjon og vår egen serverrespons-analyse. Vi sjekker Time to First Byte (TTFB), Largest Contentful Paint (LCP), total sidevekt og render-blokkerende ressurser. Denne kombinerte scoren reflekterer hvor pålitelig AI-crawlere kan få tilgang til innholdet ditt, og påvirker direkte din GEO-Score.

Hvorfor sidehastighet er viktig for AI-synlighet

Sidehastighet har alltid vært viktig for SEO. Men med AI-crawlere som nå utgjør en voksende andel av bot-trafikken, er innsatsen annerledes. AI-crawlere henter sider i sanntid for å besvare brukerspørsmål — og de venter ikke.

Timeout = permanent tap

I motsetning til Googlebot (som prøver på nytt og har sjenerøse tidsavbrudd), forlater ChatGPT-User trege tilkoblinger og prøver aldri på nytt. Oncrawls 2025-forskning fant at 99 % av HTTP 499-feilene kommer fra ChatGPT-User — noe som betyr at hvert tidsavbrudd er en permanent tapt siteringsmulighet.

AI-crawler-trafikk eksploderer

Cloudflares 2025-analyse fant at GPTBot-forespørsler vokste 305 % år-over-år, noe som gjør den til #3-crawleren globalt. Serveren din må nå håndtere dramatisk flere bot-forespørsler samtidig som den opprettholder raske responstider for hver enkelt.

God hastighet er en grunninnsats, ikke en rangeringsboost

SALT.agencys analyse av 107 352 sider fant at Core Web Vitals bare har en svak negativ korrelasjon (-0,12 til -0,18) med AI-synlighet. God ytelse forsterker ikke rangeringen din — men dårlig ytelse dreper den aktivt.

Hva forskningen viser

99 % av HTTP 499-tidsavbruddsfeil stammer fra ChatGPT-User, sanntidshenteren. Enkelte nettsteder ser denne feilen på 5 % av alle besøk fra ChatGPT-crawleren — noe som betyr at 1 av 20 sanntidshentinger mislykkes fordi siden svarte for tregt. Disse crawlerne prøver ikke på nytt ved mislykkede forespørsler.

— Jerome Salomon, Senior Technical SEO hos Oncrawl, Log Analysis Webinar (april 2025)

GPTBot hoppet fra #9 i mai 2024 til #3 i mai 2025, med en økning på 305 % i forespørsler. ChatGPT-User så en økning på 2 825 % i forespørsler år over år. PerplexityBot registrerte 157 490 % vekst fra sitt nær-null utgangspunkt.

— Cloudflare Radar, «From Googlebot to GPTBot: Who's Crawling Your Site in 2025» (juli 2025, 3 816 toppdomener)

LCP viste en svak negativ korrelasjon på -0,12 til -0,18 med AI-søk-synlighet på tvers av 107 352 sider. Core Web Vitals er en forutsetning, ikke en vekstspak — de betyr mest som forebyggende tiltak mot katastrofale ytelsessvikt.

— Dan Taylor, SALT.agency, Search Engine Land (januar 2026, 107 352 sider i AI Overviews)

Raske tips

Sett alt kjerne-tekstinnhold i den initiale HTML-en — AI-crawlere kjører ikke JavaScript pålitelig

Sikt på sub-500ms serverresponstid for AI-crawler-forespørsler (Oncrawl anbefaler denne terskelen)

Konverter alle bilder til WebP/AVIF og hold total sidevekt under 2MB for pålitelig AI-crawling

Sjekk serverlogger for HTTP 499-feil fra OpenAI-bots — disse indikerer timeout-relatert innholdstap

Kjør Google Lighthouse-revisjoner regelmessig — sikt på 90+ ytelsesscore som grunnlinje

Server sider fra en CDN med edge-caching for å minimere TTFB uavhengig av crawlerens geografiske plassering

Hopper AI-crawlere virkelig over trege sider?

▼

Ja. Oncrawls 2025-loggeanalyse fant at ChatGPT-User genererer HTTP 499 timeout-feil på trege nettsteder — som påvirker opptil 5 % av alle besøk på noen nettsteder. I motsetning til Googlebot, som har sjenerøse tidsavbrudd og prøver på nytt, forlater ChatGPTs sanntids-fetcher trege tilkoblinger og kommer aldri tilbake for den spesifikke spørringen. Hvert tidsavbrudd er en permanent tapt mulighet til å bli sitert i et AI-svar.

Hva er den ideelle serverresponstiden for AI-crawlere?

▼

Oncrawls forskning anbefaler sub-500ms serverresponstid (TTFB) for pålitelig ChatGPT-User-crawling. For optimal ytelse, sikt på under 200ms ved å bruke CDN edge-caching. Husk at ChatGPT-User henter sider i sanntid når brukere stiller spørsmål — så hvert millisekund teller med tanke på om innholdet ditt vises i svaret.

Påvirker JavaScript-rendring AI-synlighet?

▼

Betydelig. De fleste AI-crawlere (GPTBot, ClaudeBot, PerplexityBot) kjører ikke pålitelig klient-side JavaScript. Hvis innholdet ditt bare vises etter at JavaScript rendrer det (som en React SPA uten SSR), ser AI-crawlere en tom side. Sørg alltid for at kjerneinnhold er i den initiale HTML-server-responsen.

Hvordan forholder Core Web Vitals seg til AI-søkesynlighet?

▼

SALT.agencys analyse av 107 352 sider i AI Overviews fant en svak negativ korrelasjon (-0,12 til -0,18) mellom LCP og AI-synlighet. Dette betyr at gode Core Web Vitals er 'grunninnsats, ikke en vekstmotor' — de vil ikke forsterke AI-rangeringen din, men alvorlig dårlig ytelse vil aktivt skade den. Fokuser på å unngå katastrofale feil i stedet for å mikrooptimalisere.

Hvilke AI-crawlere er mest påvirket av trege sider?

▼

ChatGPT-User er den mest sensitive fordi den henter sider i sanntid (i øyeblikket en bruker stiller et spørsmål). GPTBot (bakgrunnsindekseren) er mer tolerant. Cloudflares 2025-data viser at GPTBot vokste 305 % YoY og er nå #3-crawleren globalt, mens ChatGPT-User vokste 2 825 %. Begge krever raske svar, men ChatGPT-User har den strengeste timeout-atferden.

Hvordan måler GEO-Score sidehastighet?

▼

GEO-Score bruker en blandet tilnærming: 70 % Google Lighthouse-ytelsesrevisjon (måler TTFB, LCP, CLS og total blokkeringstid) kombinert med 30 % vår egen serverrespons-analyse. Denne blandingen fanger både virkelig ytelse og AI-crawler-spesifikke faktorer som HTML-fullstendighet og render-blokkerende ressurser.

Relaterte målinger

AI-bot-tilgang

Bot-tilgang avgjør om AI-crawlere får lov til å nå siden din — hastighet avgjør om de kan fullføre lastingen før tidsavbrudd.

Innholdsferskhet

Raske sider med nylige endringsdatoer signaliserer aktivt vedlikehold — begge målingene forteller AI-søkemotorer at innholdet ditt er aktuelt og godt vedlikeholdt.

Schema-validator

Schema-markering lastes med HTML-en — rask sidelevering sikrer at AI-søkemotorer mottar de strukturerte dataene dine før noe timeout-vindu.

Sitemap-oppdagbarhet

En velstrukturert sitemap hjelper AI-crawlere med å finne sidene dine effektivt — men de må fortsatt laste raskt nok til å bli indeksert.

Er siden din rask nok for AI-crawlere?

Kjør en gratis GEO-Score Check for å måle sidehastigheten din, identifisere timeout-risikoer og få spesifikke anbefalinger for å forbedre AI-crawler-tilgang. Hver optimalisering du gjør kan verifiseres umiddelbart.

Sjekk sidehastigheten din gratis