Testy A/B tematu wiadomości: jak nie oszukać samego siebie

Dlaczego większość testów A/B tematu nic nie dowodzi

Testy A/B tematu wiadomości najczęściej mierzą szum. Nie różnicę między wariantami. Dwie wersje lecą do zbyt małych grup, ktoś zagląda w statystyki po dwóch godzinach i ogłasza zwycięzcę. A kilka dni później ten sam temat przegrywa z wariantem, który wcześniej wygrał. To nie jest wiedza o odbiorcach, tylko odczyt losowego wahania.

Te same błędy widzę w kółko: za mała próba, przerwanie pomiaru przed pełnym cyklem, porównywanie dwóch wysyłek z różnych dni. No i sama metryka jest dziurawa. Otwarcia zaburza dziś pobieranie obrazków po stronie dostawców poczty, jeszcze zanim człowiek w ogóle otworzy wiadomość.

Mózg dokleja przyczynę do każdej różnicy - taki mamy sprzęt. Dlatego wynik trzeba weryfikować metodą, nie przeczuciem. Prowadzimy własną flotę serwerów wysyłkowych, więc mamy wgląd w kolejki. Część „wygranych” wariantów, które analizowaliśmy, brała się z kolejności wysyłki, a nie z treści tematu. Jeden wariant poszedł wcześniej, trafił w lepsze okno u odbiorców i wygrał bez żadnej zasługi copywritera.

Co naprawdę mierzysz, kiedy testujesz temat

Temat wpływa na otwarcie. Otwarcie nie jest celem biznesowym. Między wysyłką a pieniędzmi stoi cały łańcuch, a każde ogniwo może zerwać wynik.

• Dostarczenie - serwer odbiorcy przyjął wiadomość.
• Umieszczenie w Odebranych - trafiła do głównej skrzynki, nie do spamu ani zakładki promocji.
• Otwarcie - metryka najbardziej zaszumiona.
• Kliknięcie - liczone na unikalnych odbiorcach, odporniejsze na automatyczne pobieranie treści.
• Konwersja - zakup, rejestracja, umówiona rozmowa.
• Odpowiedź na wiadomość - najmocniejszy sygnał zaangażowania, także dla filtrów.

Metryka pośrednia potrafi kłamać w bardzo konkretny sposób. Agresywny temat podnosi otwarcia i przy okazji podnosi zgłoszenia spamu. Pierwsze widzisz w raporcie od razu. Drugie odbija się dopiero przy następnych kampaniach. Zgłoszenie spamu i wypis to koszt odroczony, płacony reputacją nadawcy. Wygrany test, po którym trzy kolejne wysyłki lądują gorzej, wygraną nie był.

Warunki, bez których test tematu jest bezwartościowy

Podział listy musi być losowy. Po ID, po dacie zapisu, alfabetycznie - wtedy testujesz segment, nie temat. Najstarsi subskrybenci zachowują się inaczej niż zapisani w zeszłym tygodniu, więc różnica, którą zobaczysz, opisze historię listy. Tyle.

Reszta warunków sprowadza się do jednego: oba warianty mają iść identyczną drogą techniczną.

• Losowanie odbiorców do grup, bez sortowania po jakimkolwiek atrybucie.
• Jeden zmieniany element - temat. Treść i preheader zostają bez ruchu.
• Ta sama domena nadawcy, ten sam adres From, ten sam Return-Path, ta sama pula IP.
• Wspólne okno czasowe, wysyłka przeplatana, nie wariant A rano i wariant B po południu.
• Minimalny rozmiar grupy ustalony przed startem, nie dobierany po fakcie.
• Ustalony z góry moment odczytu wyniku, ten sam dla obu grup.

Tip: zapisz kryterium sukcesu i godzinę odczytu, zanim klikniesz wyślij. Kryterium ustalane po zobaczeniu danych zawsze dopasuje się do wyniku, który ci pasuje.

Infrastruktura, która psuje wynik testu bardziej niż copywriting

SPF, DKIM i DMARC muszą być poprawne dla obu wariantów. Jeśli jeden idzie z innego hosta albo z inną konfiguracją podpisu, porównujesz uwierzytelnienie, nie temat. To samo z PTR i spójnością Return-Path z domeną nadawcy. Filtry patrzą na całą konfigurację, zanim w ogóle dojdą do tekstu w nagłówku.

Warmup i realny rozmiar grupy

Świeży adres IP w rozgrzewaniu ma inną charakterystykę dostarczenia niż pula z historią. Test w trakcie warmupu jest niemiarodajny, bo zmienna infrastrukturalna rusza się szybciej niż efekt treści. Licz wynik na dostarczonych, nie na wysłanych - to podstawa. Bounce twardy i miękki zmieniają realną wielkość grup, czasem asymetrycznie.

Blokady w trakcie wysyłki

Blokada u dużego filtra potrafi zatrzymać jeden wariant w połowie kolejki. Drugi idzie dalej i „wygrywa” bez związku z treścią. Z pierwszej ręki: przy wychodzeniu z blokady wstrzymujemy testy tematów. Dostarczenie zmienia się z godziny na godzinę, więc każdy pomiar z tego okresu opisuje stan filtra, nie reakcję odbiorcy.

Jak czytać wynik i kiedy uznać, że nie ma różnicy

„Brak różnicy” to pełnoprawny wynik. Znaczy, że testowany element nie decyduje, i pozwala przestać go dłubać. Traktowanie tego jako porażki prowadzi do naciągania danych, aż coś zacznie wyglądać na przewagę.

Zacznij od poznania własnego poziomu szumu. Test A/A: wysyłasz identyczny temat do dwóch losowych połówek tej samej listy. Różnica, którą zobaczysz między nimi, to twoje naturalne wahanie. Każdy wynik testu A/B mniejszy niż to wahanie nic nie znaczy. Nawet jeśli ładnie wygląda w raporcie.

I nie sumuj wielu drobnych testów w jeden wniosek, jeśli różniły się listą, porą albo treścią wiadomości. To nie jest większa próba, tylko zlepek różnych eksperymentów. Jeden wygrany temat też nie tworzy reguły. Reguła powstaje wtedy, gdy ten sam mechanizm powtórzy się na innym segmencie i w innym miesiącu.

Co testować, żeby wnioski dały się przenieść

Testuj mechanizmy, nie pojedyncze zdania. Wygrana konkretnego tematu nie przyda się w kolejnej kampanii, bo tego tematu drugi raz nie użyjesz. Przyda się wiedza o tym, jak działa długość tematu, obecność nazwy firmy, personalizacja, pytanie kontra stwierdzenie albo liczba w nagłówku.

Preheader traktuj jako osobną zmienną. Bywa, że waży więcej niż sam temat, bo w podglądzie zajmuje więcej miejsca. Emoji i wersaliki sprawdzaj szerzej niż przez otwarcia - w tej samej wysyłce popatrz na wypisy i zgłoszenia spamu. Segmentacja po zaangażowaniu też przesuwa wynik: nieaktywni reagują zupełnie inaczej niż ludzie, którzy klikają regularnie. Podział list, warianty wysyłki i raporty ogarniesz w module funkcji kampanii, bez sklejania tego z kilku narzędzi.

1. Zapisz hipotezę jednym zdaniem.
2. Ustal metrykę decyzyjną i minimalną wielkość grup.
3. Wylosuj podział i przygotuj oba warianty z jedną różnicą.
4. Wyślij w jednym oknie czasowym, przeplatanie.
5. Odczytaj wynik w ustalonym momencie, na dostarczonych.
6. Zapisz decyzję, także „brak rozstrzygnięcia”.
7. Powtórz na innym segmencie, zanim uznasz to za regułę.

Tip: prowadź rejestr testów z hipotezą, warunkami i wynikiem. Nierozstrzygnięte wpisuj tak samo starannie jak wygrane.

Zgoda, prawo i higiena listy jako tło każdego testu

Bez zgody nie ma czystego testu. RODO i artykuł 398 Prawa komunikacji elektronicznej wymagają zgody na komunikację handlową także w B2B. Adres firmowy z tego nie zwalnia.

Kupiona lista psuje każdy pomiar. Mieszasz ludzi, którzy nigdy o niczym nie decydowali, z tymi, którzy świadomie się zapisali. Reakcje obu grup różnią się tak mocno, że wpływ tematu ginie w tej różnicy. Do tego rosną zgłoszenia spamu, które obciążają reputację nadawcy długo po zakończeniu eksperymentu. Źródło zapisu warto trzymać po stronie systemu, z którego realnie zbierasz kontakty, dlatego zapisy z formularzy i sklepu wpina się przez gotowe integracje, zamiast wgrywać pliki z nieznanym pochodzeniem.

Wypis musi działać w jednym kliknięciu, w każdym wariancie testowym. Nagłówek List-Unsubscribe ogranicza liczbę zgłoszeń spamu, bo daje odbiorcy wyjście prostsze niż przycisk „to spam”. Zgodność z prawem nie jest osobnym działem obok dostarczalności - to jej część. Budujemy platformę do email marketingu MailCraft właśnie wokół tego założenia.

Podsumowanie: mniej testów, lepiej prowadzonych

Sensowny test wymaga pracy przed wysyłką, nie po niej. Po wysyłce zostaje już tylko odczyt i uczciwość wobec liczb, które widzisz.

Trzy rzeczy do zapamiętania: losowy podział listy, jedna zmienna naraz, kryterium sukcesu ustalone z góry. Reszta to dyscyplina i cierpliwość.

Mówimy wprost o własnych ograniczeniach. Część rzeczy, które chcielibyśmy dać w panelu, jest na roadmapie i tak je opisujemy, zamiast sprzedawać jako gotowe. Uczciwość wobec własnych danych daje więcej niż kolejny wariant tematu.

Zbuduj własny rejestr testów. Cudze „najlepsze praktyki” powstały na innej liście, innej infrastrukturze i w innym okresie. Twoje wnioski, powtórzone na twoich odbiorcach, są jedynym materiałem, na którym warto opierać decyzje.