Analys och statistik
Analys är inte en rapport som tas fram en gång om året. Den fungerar bäst som ett varv som upprepas, och varje varv blir bättre om du vet hur lätt siffror lurar den som tittar på dem.
Ett varv i taget
Varje analysvarv följer samma rytm. Du formulerar frågan och målen. Du väljer mätvärden och kontrollerar att de har mätts på samma sätt hela perioden. Du analyserar och skriver ner vad du faktiskt såg, och lika viktigt, vad du inte såg. Sedan gör du en förändring och mäter igen.
Varje varv ger underlaget till nästa.
När siffrorna lurar dig
Ta en sida som hade fyra besök förra veckan och åtta den här. Det är en fördubbling, och det låter som en nyhet. Men med så få besök räcker det med slumpen för att förklara skillnaden. Ju färre händelser, desto större osäkerhet.
En jämförelse över tid kan också vara missvisande om något annat har ändrats samtidigt. Och en rekordvecka följs ofta av en sämre vecka, utan att något egentligen har hänt. Fenomenet kallas regression mot medelvärdet.
Det största problemet är kanske att det är så lätt att se mönster i brus. Har du många mätvärden och letar efter det som verkar ha förändrats hittar du nästan alltid något. Hitta inte på en förklaring i efterhand. Testa skillnaden i stället.
Visa att en förändring gjorde skillnad
Det enda sättet att visa att en förändring hade effekt är att jämföra med något som inte förändrades. Det finns två vanliga sätt:
- A/B-test. Två versioner visas samtidigt för slumpvis utvalda besökare, och resultaten jämförs.
- Före och efter, med kontroll. Om förändringen inte går att dela upp på det sättet, jämför med en liknande del av webbplatsen som inte förändrades.
En jämförelse mellan två perioder utan kontroll visar bara att något har förändrats, inte varför. Hur uppföljningen kan byggas in i arbetet från början beskrivs i Från aktivitet till effekt. Skillnaden mellan samvariation och orsak förklaras under korrelation.
För att du ska kunna lita på jämförelserna behöver mätningen vara stabil. Det tas upp i Kvalitetssäkring.