Hoe groot wordt je testgroep?
Om een realistische A/B test op te zetten is de grootte van je testgroep belangrijk. Stel je stuurt een mail naar twee personen, variant 1 naar persoon 1 en variant 2 naar persoon 2. Variant 1 wordt geopend, variant 2 niet. Kun je dan zeggen dat variant 1 beter gepresteerd heeft? Of was het gewoon toeval?
Het antwoord hierop hangt samen met de grootte van je testgroep. Die moet groot genoeg zijn om een zogenaamd significant resultaat op te leveren. In tegenstelling tot A/B testen op een webpagina, kun je bij het versturen van e-mail de grootte van je testgroep meestal niet vergroten door de testperiode op te rekken. Maar hoe bepaal je dan de grootte van je testgroep?
Met een testgroep grootte calculator! Hierin zie je direct dat de grootte van je testgroep afhankelijk is van het totaal aantal ontvangers in je lijst of segment. Mailchimp, één van de grootste e-mail platformen ter wereld, adviseert een ondergrens van minimaal 5000 contacten. Wanneer je werkt met een kleiner segment of kleinere lijst, heeft het dus niet zoveel zin om je e-mails te A/B testen.
Uitleg significantie
“In de statistiek spreekt men van een significante uitkomst als deze in hoge mate de aanname ondersteunt dat een waargenomen effect door iets anders dan toeval is veroorzaakt.” (https://www.cultureelwoordenboek.nl/)
Wat wordt je hypothese?
Het gebruiken van de voornaam van mijn klant in de subject line, vergroot de kans dat mijn klant de nieuwsbrief opent.
In dit geval test je een normale subject line tegen een gepersonaliseerde subject line. Het resultaat van deze test meet je aan de hand van het open ratio. Wanneer significant meer mensen de gepersonaliseerde e-mail openen, is je hypothese correct en is vaker experimenteren met gepersonaliseerde subject lines een absolute aanrader.
Hoe prioriteer je A/B testen?
E-mail A/B testing geeft ontzettend interessante inzichten. Heb je de smaak te pakken? Reken maar dat er allerlei ideeën bij je naar boven komen drijven over wat je nog meer kunt optimaliseren. Maar hoe bepaal je met welke test je begint?
Het ICE-model maakt het prioriteren van je A/B testen een stuk eenvoudiger. Hierbij beoordeel je een test op drie aspecten.
- Impact
Hoeveel impact heeft de test? Zit de test hoog in de e-mailmarketing funnel? Dan heeft het waarschijnlijk een hogere impact dan een test die lager in de funnel zit. - Confidence
Hoeveel vertrouwen heb je dat de test een positieve impact heeft? Heeft onderzoek uitgewezen dat een positief resultaat mogelijk is? Heb je weleens positieve resultaten gezien van een soortgelijke test in andere marketingkanalen? - Ease
Hoe makkelijk is het om de test op te zetten? Het aanpassen van de verzendtijd is makkelijker dan het ontwerpen van een nieuwe banner.
Voor elk aspect geef je een cijfer van 1 tot 10. Hoe meer Impact je verwacht, Confidence je hebt en Ease er is in het opzetten van de test, hoe hoger het getal. Tel alles bij elkaar op en begin bij de test die het hoogst scoort.
Hoelang moet de A/B test lopen?
Als je een nieuwsbrief verstuurt, zie je dat resultaten niet direct binnenkomen. Dit gebeurt pas zodra mensen je nieuwsbrief openen. Denk dus goed na over hoelang je een A/B test wilt laten lopen.
Kies je de winnaar aan de hand van gerealiseerde omzet? Geef mensen dan ook de kans om een aankoop te doen. Vaak zie je in je e-mail marketing platform goed tot hoelang na een verzending er nog opens en clicks binnenkomen. Laat de duur van je test daarvan afhangen. Is je nieuwsbrief tijdsgebonden vanwege een korting tijdens een actieperiode? Zorg er dan juist voor dat je de A/B test vroeg genoeg inplant.
Hoe bepaal je de e-mail A/B testing winnaar?
Je kunt een winnaar handmatig of automatisch laten kiezen. Stel dat je met 20% van de ontvangers test. De ene helft ontvangt variant 1, de andere helft variant 2. Zodra de testduur afloopt, kiest het systeem de winnaar en wordt de winnende e-mail naar de overige 80% van je ontvangers verstuurd. Win-win! Je leert ervan en stuurt automatisch de best presterende mail naar het grootste deel van je ontvangers.
Wat doe ik met de resultaten?
Wanneer je serieus aan de slag gaat met A/B testing, wordt het tijd om je testen en resultaten vast te leggen. Op die manier kun je terugkijken op eerdere resultaten en learnings meenemen voor volgende campagnes. Houd hier wel rekening met de bekende uitspraak “in het verleden behaalde resultaten bieden geen garantie voor de toekomst”. Je moet altijd blijven optimaliseren.
Heb je testvoorbeelden?
Wil je starten met het optimaliseren van je e-mailcampagnes, maar weet je nog niet wat je wilt testen? Deze blog is niet compleet zonder een korte ideeënlijst, komt-ie:
| Idee | Resultaat |
|---|---|
| Gepersonaliseerde subject line | Open ratio |
| Urgentie toepassing in subject line | Open ratio |
| Verzendtijd | Open ratio |
| Social proof toevoegen in body copy | Click through ratio |
| Lengte body copy (beschrijvend vs. bullets) | Click through ratio |
| Meerdere buttons vs. een button en text links | Click through ratio |
| Trust elementen op landingspagina tonen | Conversieratio |
Neem contact op
Wil jij de impact van je e-mailcontent a/b testen? Onze content marketeer helpt je graag bij de creatie hiervan.
