Delfinkoll

Delfinkoll / Det här bevakar vi

Åtkomst för AI-sök: spärrar robots.txt ChatGPT?

ChatGPT, Claude och Perplexity har egna sökrobotar som läser webbplatser för att kunna visa och länka dem i sina svar. En rad i robots.txt kan stänga ute dem utan att någon märker det. Gratiskontrollen läser robots.txt och säger vilka tjänster som är spärrade.

Gratis och utan konto. Inget installeras på webbplatsen.

dittforetag.se

Gratiskontroll · klar 09:41

2 saker att se över
  • DriftSvarar på 240 ms
  • CertifikatGiltigt i 74 dagar
  • DomänGår ut om 211 dagar
  • E-postSaknar DMARC
  • Länkar och bilder2 trasiga länkar
  • SökbarhetStartsidan kan indexeras
Exempel på resultat från gratiskontrollen

Fungerar med alla publika webbplatser, till exempel

WordPressWixSquarespaceJoomlaDrupalmed flera

Det här kontrollerar vi

Allt kontrolleras utifrån, så som en besökare eller en sökmotor ser webbplatsen.

  • Sökrobotar för AI-svar

    Vi ser om OAI-SearchBot (ChatGPT), Claude-SearchBot (Claude) och PerplexityBot (Perplexity) får läsa startsidan enligt robots.txt.

  • Generella spärrar

    En regel som Disallow: / för alla robotar stänger ute även AI-sök. Den räknas, om inte sökrobotarna har en egen regel som släpper in dem.

  • Träning räknas inte

    Spärrar för robotar som bara samlar träningsdata, som GPTBot, ClaudeBot och Google-Extended, påverkar inte resultatet.

Exempel på resultat

Så här kan det se ut när du kör gratiskontrollen. Varje rad säger vad vi hittade.

dittforetag.se

Gratiskontroll · klar 09:41

Spärrad för ChatGPT, Claude och Perplexity
  • ChatGPTSpärrad
  • ClaudeSpärrad
  • PerplexitySpärrad
Ett påhittat exempel. Här släpper robots.txt in Googlebot men spärrar alla andra robotar, och då även sökrobotarna för AI-svar.

Så åtgärdar du det

Det här kan du göra själv, eller skicka vidare till den som sköter webbplatsen.

  1. Bestäm om spärren är avsiktlig

    Vissa vill inte synas i AI-svar. Då ska spärren ligga kvar. Vill du synas, gå vidare.

  2. Öppna robots.txt

    Skriv din adress följt av /robots.txt i webbläsaren, till exempel dittforetag.se/robots.txt. Leta efter User-agent: * följt av Disallow: /, eller rader som nämner OAI-SearchBot, Claude-SearchBot eller PerplexityBot.

  3. Släpp in sökrobotarna

    Lägg till en grupp med raderna User-agent: OAI-SearchBot, User-agent: Claude-SearchBot och User-agent: PerplexityBot, följt av Allow: /. Robotar för träning kan du fortfarande spärra var för sig.

  4. Ändra där robots.txt skapas

    I WordPress skapas robots.txt ofta av ett SEO-tillägg, i Wix och Squarespace av plattformen. Hittar du inte inställningen, be den som sköter webbplatsen eller webbhotellet om hjälp.

  5. Kör kontrollen igen

    Kör gratiskontrollen efter ändringen. OpenAI skriver att det kan ta ungefär ett dygn innan deras system följer en ändrad robots.txt.

Så fungerar kontrollen

Hur vi kontrollerar, och hur du tolkar resultatet.

Sökrobotar och träningsrobotar

AI-företagen har skilda robotar för olika syften. OpenAI:s OAI-SearchBot används för att visa webbplatser i ChatGPT:s sökfunktioner, medan GPTBot samlar data för att träna modellerna. Anthropic har Claude-SearchBot för sök och ClaudeBot för träning. Perplexity skriver att PerplexityBot visar och länkar webbplatser i sökresultat och inte används för träning. Därför kan du spärra träning men tillåta sök.

Vad som händer vid en spärr

OpenAI skriver att webbplatser som spärrar OAI-SearchBot inte visas i ChatGPT:s söksvar, men fortfarande kan visas som navigeringslänkar. Anthropic skriver att en spärr av Claude-SearchBot kan göra webbplatsen mindre synlig och mindre korrekt återgiven i sökresultat.

Robotar som hämtar på begäran

När en användare ber ChatGPT eller Perplexity öppna en viss sida används ChatGPT-User och Perplexity-User. OpenAI skriver att robots.txt kanske inte gäller för dem, och Perplexity att deras hämtare i regel inte följer robots.txt. Därför ingår de inte i kontrollen.

Google

Googles AI-översikter hör till Google Sök. Google-Extended styr bara om innehållet får användas för Googles AI-modeller och påverkar enligt Google inte om webbplatsen finns med i Google Sök. Åtkomsten för Googlebot ser du på raden Webbskydd och sökbarhet i rapporten.

Hur vi läser robots.txt

Vi hämtar robots.txt för startsidans slutliga adress och följer standarden för robots.txt, RFC 9309: en robot följer gruppen med sitt eget namn, och annars gruppen för alla robotar. Saknas filen räknas allt som tillåtet. Kan filen inte läsas, till exempel för att en brandvägg stoppar oss, blir resultatet okänt.

Med bevakning

Med bevakning körs kontrollen varje dag och resultatet syns på kontot. Vi mejlar inte om den, eftersom en spärr ofta är ett medvetet val.

Vanliga frågor

Ska jag spärra AI-robotar?

Det är ditt val. Vill du inte att innehållet används för träning kan du spärra träningsrobotarna och ändå släppa in sökrobotarna, så att webbplatsen kan visas och länkas i svaren.

Varför är min webbplats spärrad när jag aldrig ändrat något?

Ofta kommer spärren från ett tillägg, en plattformsinställning eller en mall som spärrar alla robotar utom Google. Det kan också vara en kvarglömd spärr från när webbplatsen byggdes.

Räcker det att Google får läsa sidan?

För Google Sök och Googles AI-översikter, ja. ChatGPT, Claude och Perplexity använder sina egna sökrobotar, och de följer bara reglerna för alla robotar eller regler med sina egna namn.

Hur lång tid tar det innan ändringen syns?

OpenAI skriver ungefär ett dygn för sök. De andra tjänsterna anger ingen tid. Gratiskontrollen läser den nya filen direkt.

Ett pris, allt ingår

Samma bevakning för alla webbplatser. Betala per månad eller per år.

Första månaden gratis

99 krper månad

Per webbplats, inklusive moms

0 kr första månaden, sedan ordinarie pris. Nya kunder, månadsabonnemang. Kort krävs, koden START läggs in åt dig.

  • Ingen bindningstid
  • Säg upp när du vill
  • 14 dagars ångerrätt

Det här ingår

  • Driftkontroll och felsidor varje minut, dygnet runt
  • Certifikat, domän och säkerhetsnotiser varje dag
  • Länkar, bilder, e-postinställningar och kakor varje vecka
  • Mejl på svenska med förslag på åtgärd
  • Historik på kontot och en månadsrapport
Prova gratis i en månad

Du ser hela beställningen innan du betalar. Eller gör en gratis kontroll först

Första faktureringsmånaden 0 kr. Därefter 99 kr per webbplats och månad, inklusive moms. Abonnemanget förnyas automatiskt månadsvis tills du säger upp det. Säg upp före nästa förnyelse under Hantera betalning på ditt konto eller via info@sitedolphin.com. Företag kan ange momsnummer i kassan.

VisaMastercardAmerican ExpressSäker betalning via Stripe

Kontrollera din webbplats gratis

Inget konto och inget att installera.

Första månaden gratis Sedan 99 kr/mån inkl. moms · ingen bindning