Als je communiceert wil je je boodschap optimaal overbrengen. Voor Melkvee, een groot platform voor melkveehouders in Nederland, is dit niet anders. Daarom hebben we diverse A/B-testen uitgevoerd op de Melkvee-nieuwsbrief, die driemaal per week wordt verstuurd naar +15.000 ontvangers, met als doel om de informatieverstrekking aan de lezers te optimaliseren. Dit artikel duikt in het waarom, het hoe, en de resultaten van deze testen.

Optimalisatie op twee niveaus

Bij de A/B-testen die wij hebben uitgevoerd voor de Melkvee-nieuwsbrief focusten we ons op twee gebieden: redactionele inhoud en gebruiksvriendelijkheid. Hierbij vroegen wij ons af: hoe kunnen we onze redactionele artikelen nog effectiever overbrengen aan onze lezers? En, hoe kunnen we de gebruikerservaring en het ontwerp van onze nieuwsbrief verbeteren, vooral voor mobiele gebruikers? Vanuit deze vragen zijn de A/B-testen opgezet met als doel een verbeterde nieuwsbrief te ontwikkelen die zowel boeiend als gebruiksvriendelijk is.

De aanpak

In de A/B-testen hebben we specifieke elementen getest. Wij zijn gestart met aan- of afwezigheid van een lead, een introtekst, onder de titel van redactionele artikelen. Onze hypothese: het weglaten van de lead kan zorgen voor een hogere click-through rate (CTR).

Deze A/B test heeft vijf keer plaatsgevonden, bij dezelfde groep mailadressen. Dit bestand is gedeeld door twee: de ene helft ontving een mail met leads, de andere helft zonder leads.

De resultaten

De eerste A/B-test toonde aan dat het weglaten van de lead onder de artikelen resulteerde in een significante stijging van de click-through rate (CTR) van de gehele nieuwsbrief, met maar liefst 8,37%. Had dit ook invloed op de sessieduur van de lezers die hadden doorgeklikt naar het artikel? Dat onderzochten we in de tweede A/B-test, waarbij we de gemiddelde sessieduur analyseerden om het verschil in betrokkenheid te meten tussen ontvangers van de nieuwsbrief mét en zónder leads onder de titels. De gemiddelde sessieduur van in zowel de A-groep als de B-groep op de Melkvee-website werd gemeten. We constateerden dat bezoekers die via de nieuwsbrief zonder lead binnenkwamen gemiddeld 9,3 seconden langer op de site verbleven. Wauw! Dit resultaat bevestigde ons vermoeden dat het verfijnen van de Melkvee-nieuwsbrief niet alleen voor een visueel aantrekkelijker geheel zorgt, maar ook de aandacht van de lezer langer vasthoudt.

Bijna hetzelfde op één ding na

Bij A/B-testen draait het allemaal om het aanpassen van één enkel element. Nieuwsbrief A en nieuwsbrief B zijn dus compleet hetzelfde op één element na – dit is het element dat je wilt testen. Je kunt vervolgens kiezen de 50/50 aanpak, waarbij je nieuwsbrief A naar de ene helft van je database stuurt, en nieuwsbrief B naar de andere helft. Dat is wat wij deden om het meest betrouwbare resultaat te verkrijgen.

Andere optie is om nieuwbrief A en nieuwsbrief B eerst naar 10% van je database te sturen, om te zien welke variant beter presteert, waarna de winnende variant naar de overige 90% gaat. Deze methode van testen is vooral handig bij snelle aanpassingen of als je twijfelt tussen twee opties.

Zaken die je zou kunnen testen zijn o.a. de kleur van je call-to-action knop, de positie van afbeeldingen, of in ons geval: het al dan niet opnemen van tekst onder de titel van een artikel.

Tot slot: de betrouwbaarheid - hoe weet je dat iets echt werkt?

Als je iets test om te zien wat beter werkt, dan moet je wel zeker weten of de testresultaten kloppen. Soms kunnen de verschillen door puur toeval zijn, en dat wil je uitsluiten. Er zijn verschillende controlemethodes waardoor je voor 95% zeker kunt zijn dat wat je ziet, klopt. Wij hebben gebruik gemaakt van de Z-test, de T-test en de Chi-kwadraattoets, om de betrouwbaarheid van onze A/B-testen te meten. Een korte introductie:

• Z-test | Stel je voor dat je twee groepen hebt en daardoor twee testresultaten, bijvoorbeeld het conversiepercentage tussen de controle- en de variantgroep. De Z-test helpt je te zien of het verschil tussen de twee groepen groot genoeg is om te zeggen dat het niet door toeval komt. De Z-test houdt hierbij rekening met de grootte van de steekproef en de variantie van elke groep. Wij gebruikten deze test bij het A/B-testen van wél en géén lead. Tip! Handige gratis tool voor de Z-test.

• T-test | Als je gemiddelden wilt vergelijken, bijvoorbeeld de gemiddelde besteding tussen twee groepen, dan kun je de T-test gebruiken. Bij dit voorbeeld helpt de T-test je om te zien of het verschil in hoeveel geld mensen uitgeven groot genoeg is om te zeggen dat het niet toevallig is. Wij gebruikten de T-test om de betrouwbaarheid van onze A/B-test voor de gemiddelde sessieduur te meten. Tip! Excel heeft een aparte functie waarmee je de T-toets kunt doen.

• Chi-kwadraattoets | Deze test gebruik je om te zien of er een groot verschil is tussen twee keuzes, zoals "ja" of "nee". Het is handig als je wilt weten of een knop op de website helpt mensen te laten doen wat jij wil, zoals klikken voor meer informatie. De Chi-kwadraadtoets hebben wij gebruikt om de betrouwbaarheid te achterhalen van de testresultaten op wel/geen call to action knop. Ook de chi-kwadraattoets kun je in Excel uitvoeren met de functie CHITEST.

Het berekenen van de betrouwbaarheid van A/B-testen is cruciaal en tegelijkertijd ingewikkeld. Dit is geen gesneden koek voor de meesten van ons. Gelukkig hebben wij collega’s die hier goed in zijn en je graag hierbij ondersteunen; mail ons!

Het ABC van A/B-testen

En hoe staat het met jouw nieuwsbrief? Kunnen de inzichten van onze A/B-testen jou ook helpen om jouw nieuwsbriefmarketing te optimaliseren? Er is maar één manier om daar achter te komen: duik erin, analyseer en experimenteer. Je mailprogramma zit waarschijnlijk vol met tools die je nodig hebt om zelf A/B-testen uit te voeren.

Maar een goede voorbereiding is het halve werk. Zet, voordat je de diepte induikt, eerst je hypotheses op een rijtje. Verzamel ook de interne wensen voor het design van je nieuwsbrief en ga eens na wat anderen in jouw vakgebied doen – soms liggen de beste ideeën al voor het oprapen. Een mix van deze drie elementen biedt je een stevig startpunt voor jouw A/B-testen.

As easy as AB - C

A/B-testen bieden veel mogelijkheden om je nieuwsbrief continu te verbeteren. Benieuwd welke winst jij hierbij kunt behalen? Ga aan de slag: experimenteer, analyseer en optimaliseer. Wij denken graag met je mee, of het nu gaat om het design van jouw nieuwsbrief, de tekst of het A/B-testen van bepaalde elementen. Bij vragen, neem contact met ons op.