Cloudflare stoppar AI-bottar – kan påverka din synlighet i ChatGPT, Gemini och andra AI-verktyg

Cloudflare blockerar AI-crawlers från att hämta innehåll utan tillstånd eller ersättning, som standard. Det här kan drastiskt påverka hur ofta ditt innehåll används och syns i AI-verktyg som ChatGPT, Gemini, Perplexity, Claude och andra som bygger på webbsök och scraping. Det är stor avvägning affärsmässigt men från ett sök/AI-synlighetsperspektiv vill man vara synlig i träningsdatan.

Vad innebär Cloudflares blockering?

Från och med 1 juli har Cloudflare infört ett nytt default-läge: alla domäner som använder Cloudflare startar med att AI-crawlers är blockerade, tills sajtägaren aktivt väljer att tillåta dem. Det gäller bottar som används för att träna AI-modeller, ge direkta AI-svar eller för AI-baserad sök. AI-företag måste nu be om explicit tillstånd för att få indexera och använda innehåll.

Det här innebär att AI-plattformar som ChatGPT, Google Gemini, Claude och Perplexity, som ofta samlar på sig stora textmängder från öppet tillgängliga webbsidor, i praktiken kan få betydligt mindre material att jobba med. Samtidigt kan de som aktivt väljer att öppna upp för AI-crawlers göra det på egna villkor, eller genom framtida modeller som ”pay per crawl”.

Varför gör Cloudflare detta?

I takt med att AI-verktyg tar en större del av informationssökandet från traditionell sökmotortrafik, minskar trafikströmmarna tillbaka till primärt publicister, bloggar och guider. Användare får svar direkt i AI-verktyget utan att klicka sig vidare. Det har brutit det klassiska utbytet: innehåll mot trafik och annonsintäkter.

Cloudflares vd Matthew Prince fritt översatt i pressmeddelandet:

Om internet ska överleva AI-eran behöver vi ge publicister den kontroll de förtjänar och bygga en ny ekonomisk modell som fungerar för alla – skapare, användare, framtidens AI och webben i stort.

Flera stora aktörer som Condé Nast, Dotdash Meredith och Gannett Media (USA Today) backar upp initiativet. De ser Cloudflares blockering som en chans att stoppa AI från att gratis utnyttja journalistiskt och kreativt innehåll.

Vad kan det innebära för din synlighet i AI-verktyg?

För företag och sajter som är beroende av synlighet i AI-assistenter, som vill att deras artiklar ska dyka upp i exempelvis ChatGPT:s svar eller i Perplexitys sammanfattningar, kan detta bli ett problem. Om din sajt ligger bakom Cloudflare och default-inställningen inte har ändrats kan AI-crawlers blockeras från att ens läsa dina sidor.

Det betyder i praktiken att ditt innehåll inte används som tränings- eller svarsmaterial i dessa AI-system, vilket omöjliggör chansen att synas där. Samtidigt är det också ett sätt att skydda ditt innehåll från att användas utan tillstånd eller potentiell ersättning.

En ny typ av ”robots.txt”

Cloudflare bygger också en ny standard där AI-bottar måste identifiera sig tydligare. De deltar i arbetet med ett globalt protokoll för att AI-crawlers på ett öppet och kontrollerbart sätt ska deklarera vad de gör, till exempel om de hämtar data för träning, för att bygga svar eller för att indexera åt AI-sök.

Cloudflare driver dessutom utvecklingen av ”Pay Per Crawl”, en modell där AI-bolag kan få betala för att hämta innehåll från sajter, vilket skulle skapa en ekonomisk ersättning för publicister.

Vad bör du som sajtägare göra?

• Kolla dina inställningar i Cloudflare: Om du använder Cloudflare, se över om AI-crawlers är blockerade och fundera på om du vill öppna upp. (Log in → Security → Bots → ”Block AI Bots”)
• Avgör din strategi: Vill du skydda ditt innehåll eller vill du att AI-verktyg ska kunna läsa och använda ditt material, med fördelen att synas i AI-svar och potentiellt driva indirekt trafik eller varumärkeskännedom, vilket vi från ett sök och AI-synlighetsperspektiv rekommenderar.
• Håll koll på nästa steg: Modeller som Pay Per Crawl eller licensavtal med AI-bolag kan ge nya intäktsströmmar framöver.

Det blir spännande att följa vad Cloudflares får för påverkan på den fria tillgången på innehåll för AI-träning och hur det kommer påverka AI-bolagens modeller.