7 av 217 e-handlare blockerar AI-spindlar
Enligt vår undersökning blockerar 7 av 217 e-handlare AI-spindlar. Vi har genomfört en undersökning på 217 av Sveriges större e-handlare och tittat på hur och vilka AI-spindlar de blockerar. Den vanligaste spindeln som blockeras är GPTbot från Open AI med 7 blockeringar i robots.txt. Detta är en mycket lägre nivå än vad som förväntades, även om en låg siffra förväntades. Från ett sökperspektiv är det en självklarhet att låta alla crawlers som kan skapa affärsvärden crawla men i en värld där info och data är värde, är inte det en självklarhet.
Topplistan på mest blockerade AI-crawlers
- GPTBot från Open AI – 7 blockeringar
- ClaudeBot från Anthropic – 5 blockeringar
- Google-Extended från Google – 2 blockeringar
- ChatGPT-User från Open AI – 2 blockeringar
- Amazonbot från Amazon – 1 blockering
- FacebookBot från Meta – 1 blockering
- Bytespider från ByteDance – 1 blockering
Baserat på 217 e-handlare aktiva på svenska marknaden och deras robots.txt filer.
Varför är det intressant att se hur e-handlare blockerar AI-spindlar?
Det är intressant att se vilka e-handlare som tar beslut att inte låta AI-verktygen träna sina modeller på deras innehåll och hur resonemanget inom e-handeln går kring detta. I tider där data och information har stort värde så är det alltid en avvägning gällande ifall man ska låta AI modeller träna på informationen och öka sannolikheten att förekomma i deras verktyg eller skydda sin data.
Från ett sökperspektiv är det en självklarhet att låta innehållet spindlas av alla verktyg som kan skapa affärsvärden. Vi ser en utveckling där AI-verktygen och sök närmar sig varandra och det är intressant att följa utvecklingen vilken data som de olika aktörerna har tillgång till. E-handlare som Amazon, Ikea, Lego och Garmin har trots det valt att blockera vissa AI-crawlers, troligtvis med hänsyn till att skydda sin data. Inom media har en väldigt stor andel av webbplatserna valt att blockera AI-crawlers men e-handlarna har generellt helt andra värden i att crawlas av AI-crawlers än vad media har.
Hur skiljer sig AI-spindlar från Googles sökspindel?
Google har under en lång tid utvecklat sina spindlar att klara av rendering av JavaScript och liknande utmaningar. Även om de fortsatt har utmaningar med det ibland har det kommit en lång väg. I en studie av Vercel och MERJ visar det att ingen av de större mer välkända AI-spindlarna renderar. De genomförde ett test med next.js och såg att ingen av dessa AI-crawlers renderade JavaScripten.
- OpenAI (OAI-SearchBot, ChatGPT-User, GPTBot)
- Anthropic (ClaudeBot)
- Meta (Meta-ExternalAgent)
- ByteDance (Bytespider)
- Perplexity (PerplexityBot)
I sin studie noterade de att ChatGPT och Claude hämtade filerna men kunde inte rendera de. Det nämns att allt som finns i den initiala HTML-responsen kan läsas.
Hur påverkar AI-spindlarnas brist på rendering e-handlare?
Det innebär att trots att väldigt få e-handlare blockerar AI-spindlar är det många av e-handlare som förlitar sig på rendering av hela eller delar av innehållet, vilket gör att AI-spindlarna inte kan läsa det.
Utifrån att man vill säkerställa att synas i AI-verktygens modeller i nuläget bör man säkerställa att all viktig information server renderas. Det är något vi fortsatt rekommenderar i de flesta lägena även för Google trots att de har stöd för rendering innebär det problem i många situationer. Det oftast något som också kan gå att koppla till laddtider och cost of retrieval utifrån alla crawlers perspektiv.