Hoe interpreteer je je AB-testresultaten

Een AB-test opzetten is het makkelijke deel. Betekenis geven aan de resultaten en ze omzetten in bruikbare kennis over je doelgroep vraagt iets meer denkwerk. Dit artikel helpt je om je testresultaten correct te lezen, realistische verwachtingen te stellen en een testroutine op te bouwen die je campagnes na verloop van tijd echt verbetert.

Wat je resultaten je eigenlijk vertellen

Wanneer je AB-test is afgerond, zie je de openingsratio of klikratio voor elke variant in je campagnerapport. De winnende variant is duidelijk gemarkeerd, maar het cijfer zelf verdient wat context voordat je conclusies trekt.

Een verschil van 1 of 2 procentpunten tussen twee varianten is geen betekenisvol resultaat. Zeker bij kleinere contactlijsten kunnen kleine marges het gevolg zijn van timing, toeval of de specifieke contacten die toevallig die dag in de testgroep zaten. Vraag jezelf, voordat je je hele aanpak wijzigt op basis van een resultaat, af: is dit verschil groot genoeg om overtuigend te zijn?

Een ruwe richtlijn:

• Een verschil van minder dan 2 procentpunten: beschouw dit als niet-conclusief. Beide varianten presteerden vergelijkbaar voor je doelgroep.
• Een verschil van 3 tot 5 procentpunten: dit is een bruikbaar signaal, maar de moeite waard om te bevestigen met een vervolgtest.
• Een verschil van meer dan 5 procentpunten: dit is een duidelijk resultaat waar je met vertrouwen op kunt handelen.

Verwacht geen dramatische verschuivingen

Het is verleidelijk om te verwachten dat de juiste onderwerpregel of afbeelding je resultaten drastisch zal veranderen. In de praktijk levert AB-testen meestal geleidelijke verbeteringen op. Een onderwerptest kan je openingsratio van 24% naar 27% brengen. Dat is geen spectaculair resultaat, maar als je dit consequent toepast over elke campagne die je verstuurt, leidt het na verloop van tijd tot een aanzienlijk beter presterende lijst.

De waarde van AB-testen ligt niet in het vinden van een magische formule. Het zit hem in het maken van gestage, op bewijs gebaseerde verbeteringen die zich over maanden en jaren opstapelen.

Frequentie en consistentie zijn belangrijk

Eén test vertelt je iets over één campagne. Tests consequent uitvoeren over veel campagnes heen vertelt je iets over je doelgroep.

Als je alleen af en toe test, kun je een echt patroon niet onderscheiden van een eenmalig resultaat. Een onderwerpregel die het goed deed in januari kan geprofiteerd hebben van een seizoensgebonden onderwerp, een specifieke nieuwsgebeurtenis of de samenstelling van die specifieke verzendlijst. Pas als je hetzelfde type onderwerpregel consequent beter ziet presteren over meerdere verzendingen heen, kun je met vertrouwen zeggen dat het werkt voor je doelgroep.

Probeer in elke campagne een AB-test op te nemen waar dat zinvol is. Na verloop van tijd zul je patronen beginnen te herkennen: je contacten reageren misschien consequent beter op vragen in onderwerpregels, op een specifieke afzendernaam of op een bepaalde stijl van call-to-action-afbeelding. Die opgebouwde kennis is waardevoller dan welk individueel testresultaat dan ook.

Test één ding tegelijk

Dit punt is het herhalen waard, ook als je het al eerder hebt gelezen. Als je zowel de onderwerpregel als de afzender in dezelfde campagne wijzigt, kun je niet weten welke wijziging het verschil in openingsratio heeft veroorzaakt. Elke test moet één variabele isoleren.

Dit betekent ook geduld hebben. Door per campagne één element te testen, bouw je kennis geleidelijk op. Dat is de juiste aanpak.

Houd een logboek bij van je resultaten

Flexmail toont je de resultaten van elke individuele test in je campagnerapport, maar groepeert patronen over campagnes heen niet automatisch voor je. Houd een eenvoudig logboek bij, zelfs een spreadsheet met de campagnenaam, wat je hebt getest, het resultaat per variant en de marge. Na tien of twintig tests heb je een duidelijk beeld van wat aanslaat bij je doelgroep.

Wat goede openings- en klikratio’s eigenlijk zijn

Als je nieuw bent in e-mailmarketing, kan het moeilijk zijn om te bepalen of je resultaten goed zijn of niet. Benchmarks per sector variëren sterk naargelang de branche, de lijstgrootte en de verzendfrequentie, dus gebruik ze als een ruwe oriëntatie en niet als een doel dat je per se moet halen.

Relevanter dan sectorgemiddelden is je eigen trend in de tijd. Verbetert je openingsratio, blijft die stabiel of daalt die over je laatste tien campagnes? Die trend is wat je AB-testinspanningen in een positieve richting zouden moeten bewegen.

Volgende stappen

• Bekijk je laatste drie campagnerapporten en noteer de marge tussen de varianten. Waren er resultaten die te dicht bij elkaar lagen om gevolgaanduidend te zijn?
• Start een eenvoudig logboek om je testresultaten bij te houden.
• Lees “Wat maakt een goede onderwerpregel?” voor ideeën over wat je vervolgens kunt testen.
• Zodra je een aantal tests hebt gedaan, kun je AB-testen combineren met segmentatie om doelgroepspecifieke inzichten op te bouwen.