Botar och automatisk trafik
Långt ifrån alla anrop till en webbplats görs av människor. Program hämtar sidor för att bygga sökindex, för att kontrollera att webbplatsen är uppe, för att förhandsvisa delade länkar eller för att svara på frågor i chattjänster. Räknas de som besökare blir statistiken över sidvisningar, besök och sökningar fel.
Olika botar, olika syften
Botar är ingen enhetlig grupp, och syftet säger något om hur trafiken ska tolkas.
Sökmotorbotar indexerar sidor för sökresultaten, och övervakningsbotar kontrollerar att webbplatsen svarar och hur snabbt. AI-träningsbotar hämtar innehåll för att träna modeller. RAG-botar och AI-assistenter hämtar en sida i samband med att någon ställer en fråga i en AI-tjänst. Bakom anropet finns alltså ofta en person med ett verkligt behov, även om personen aldrig själv kommer till webbplatsen. Till sist finns förhandsvisningar, som hämtar sidan när någon delar en länk i till exempel en chatt, och skrapare och SEO-verktyg, som hämtar sidor för att andra ska kunna analysera dem.
Ge den automatiska trafiken en egen grupp i spårningsplanen, uppdelad i några av de här typerna, och håll den utanför de mätvärden som beskriver människors beteende.
Hur botar känns igen
Det finns inget säkert sätt att identifiera en bot. I stället används flera signaler tillsammans:
- Användaragenten och listor över kända botar. Listorna ändras ofta, så någon behöver äga dem och se över dem.
- Hur anropet görs. Ett program som bara hämtar sidans text, utan att ladda bilder, stilmallar eller skript, beter sig annorlunda än en webbläsare.
- Beteendet. Många sidor på kort tid, systematisk navigering eller många 404-fel är typiska tecken.
- Robots.txt. Sökmotorer och seriösa AI-tjänster följer den. Den som inte gör det är ingen människa, men kan vara en bot som struntar i reglerna.
Ingen av signalerna räcker ensam. Det är kombinationen som ger en rimlig bedömning.
Var syns botarna hos er?
Vilken trafik ni kan se beror på var mätningen sitter. En webbplats har ofta flera lager mellan besökaren och sidan, och varje lager ser olika mycket.
| Var mätningen sitter | Ser den botar? | Kommentar |
|---|---|---|
| Analysverktyget i webbläsaren | Sällan | Mätningen kräver en webbläsare, och de flesta botar använder ingen |
| Webbserverns loggar | Ja | Varje anrop som når servern finns med, oavsett vem som gjorde det |
| CDN eller brandvägg framför webbplatsen | Ja | Här stoppas ofta kända botar, och de syns då bara hos den som driftar lagret |
| Cache | Delvis | Ett svar från cachen når aldrig webbplatsens egen kod, så det som mäts där missar dem |
Därför ser andelen botar ofta låg ut i analysverktyget, fast de står för en stor del av anropen. Vill ni se dem behöver uppgifterna hämtas från ett lager som faktiskt ser dem, till exempel loggarna, och registreras för sig. Håll dem alltid skilda från mätningen av människor, så att siffrorna för besök och konverteringar inte påverkas.
Börja med att fundera på om ni behöver se botarna alls. För många räcker det att veta att de finns och att de inte syns i statistiken. Den som vill följa hur AI-tjänster använder innehållet har däremot goda skäl att ta reda på mer. Se också Sökmotorer och AI-tjänster.
Frågor till IT eller driftleverantören
- Vilka lager finns mellan besökaren och webbplatsen, till exempel CDN, brandvägg och cache?
- Sitter vår mätning i webbläsaren, i webbplatsens kod eller på servern?
- Var finns loggar som visar alla anrop, och kan vi få ta del av dem?
- Går det att registrera kända botar för sig, utan att de blandas med besökarna?
Jämför botar med människor
När trafiken väl är uppdelad går det att jämföra grupperna. Det är ett eget analyssteg, och det visar hur maskiner använder sajten jämfört med människor. Några frågor att börja med:
- Vilka sidor hämtas av botar, och stämmer det med de sidor människor besöker?
- Hur stor andel av sidvisningarna kommer från botar, och hur har andelen förändrats?
- Hur skiljer sig avvisningsfrekvens, sidor per besök och tid på sidan mellan grupperna?
- Vilka sidor är populära bland botar men nästan osedda av människor, och tvärtom?
Vissa analysverktyg har egna rapporter för trafik från AI-tjänster. Oavsett verktyg är det viktiga att grupperna är bestämda i förväg och inte i efterhand.
Grupperna och listan över kända botar versioneras i spårningsplanen, så att det går att se när en ändring gjordes och vad den påverkar.