Co to jest test A/B?
Test A/B to eksperyment, w którym ruch na stronie (albo odbiorców reklamy lub maila) dzieli się losowo na dwie grupy: jedna widzi obecną wersję (A, kontrolną), druga wersję zmienioną (B). Po zebraniu odpowiedniej liczby danych porównuje się, która wersja daje lepszy wynik, np. więcej zapytań lub zakupów. Ponieważ obie wersje działają w tym samym czasie i na podobnych użytkownikach, różnicę w wynikach można przypisać wprowadzonej zmianie.
Testy A/B są podstawowym narzędziem optymalizacji konwersji (CRO). Zamiast przebudowywać stronę na podstawie opinii zespołu czy gustu zarządu, sprawdzasz zmiany na prawdziwych użytkownikach i zostawiasz tylko te, które poprawiają wynik.
Test A/B, test A/B/n i test wielowymiarowy
| Rodzaj testu | Co porównuje | Ile ruchu potrzebuje | Kiedy stosować |
|---|---|---|---|
| Test A/B | Dwie wersje, jedna zmiana | Najmniej | Większość testów w małych i średnich firmach |
| Test A/B/n | Trzy lub więcej wersji tej samej zmiany | Więcej, bo ruch dzieli się na więcej grup | Gdy masz kilka mocnych pomysłów na ten sam element |
| Test wielowymiarowy (MVT) | Kombinacje kilku zmian naraz, np. nagłówek × zdjęcie × przycisk | Bardzo dużo | Duże sklepy i serwisy z dziesiątkami tysięcy konwersji |
| Test split URL | Dwie osobne strony pod różnymi adresami | Jak test A/B | Przy dużych zmianach układu lub całej strony docelowej |
Co warto testować, a czego nie
Najwięcej dają testy zmian, które wpływają na decyzję użytkownika: co obiecujesz, jak to udowadniasz i jak łatwo jest zrobić następny krok. Kolor przycisku to klasyczny przykład testu, który rzadko cokolwiek zmienia.
- Nagłówek i obietnica. Czy użytkownik od razu rozumie, co dostaje i dlaczego od Ciebie.
- Dowody. Case studies, liczby, logotypy klientów, opinie i ich miejsce na stronie.
- Formularz. Liczba pól, kolejność, opis tego, co stanie się po wysłaniu.
- Oferta i cena. Sposób przedstawienia pakietów, darmowa dostawa, gwarancja, okres próbny.
- Wezwanie do działania. Treść przycisku, np. "Umów bezpłatną konsultację" zamiast "Wyślij".
- Układ strony. Kolejność sekcji, długość strony, to, co widać bez przewijania.
Nie warto testować zmian, które i tak musisz wprowadzić (np. naprawa błędu w formularzu), ani drobiazgów na stronach z małym ruchem. Tam szybciej i taniej jest po prostu wdrożyć poprawkę opartą na dobrych praktykach i obserwować wynik.
Jak przeprowadzić test A/B krok po kroku
- 1Zbierz dane i znajdź problem
Sprawdź w GA4, na której stronie lub kroku odpada najwięcej osób. Nagrania sesji i mapy kliknięć, np. w Microsoft Clarity, pokazują, dlaczego tak się dzieje.
- 2Postaw hipotezę
Zapisz ją według wzoru: jeśli zmienimy [co], to [jaki wskaźnik] wzrośnie, ponieważ [dlaczego]. Na przykład: jeśli skrócimy formularz z 8 do 4 pól, liczba zapytań wzrośnie, bo użytkownicy porzucają go przy polach o budżet i NIP.
- 3Wybierz jeden główny wskaźnik
Najlepiej ten, który najbliżej wiąże się z pieniędzmi: wysłany formularz, zakup, umówiona rozmowa. Kliknięcia i czas na stronie to wskaźniki pomocnicze.
- 4Policz, ile ruchu potrzebujesz
Na podstawie obecnej konwersji i najmniejszej różnicy, jaką chcesz wykryć. Z tego wynika, jak długo test musi trwać. Tabela poniżej pokazuje rząd wielkości.
- 5Przygotuj wersję B i sprawdź ją technicznie
Przetestuj obie wersje na komputerze i telefonie, w kilku przeglądarkach. Upewnij się, że konwersje zapisują się poprawnie w obu grupach.
- 6Uruchom test i nie zaglądaj co godzinę
Test powinien trwać pełne tygodnie, minimum 2, żeby objąć różnice między dniami. Nie kończ go wcześniej tylko dlatego, że jedna wersja chwilowo prowadzi.
- 7Oceń wynik i zapisz wnioski
Sprawdź istotność statystyczną i wynik w ważnych grupach, np. telefon i komputer. Zapisz hipotezę, wynik i wnioski, także z testów przegranych.
Ile ruchu potrzeba do testu A/B?
To najważniejsze pytanie, które większość poradników pomija. Liczba użytkowników potrzebna do wiarygodnego testu zależy od dwóch rzeczy: obecnego współczynnika konwersji i tego, jak dużą poprawę chcesz wykryć. Im mniejsza różnica, tym więcej danych potrzebujesz.
| Obecna konwersja | Poprawa do wykrycia | Użytkowników na wersję | Łącznie w teście |
|---|---|---|---|
| 2% | o 10% (do 2,2%) | ok. 80 700 | ok. 161 400 |
| 2% | o 20% (do 2,4%) | ok. 21 100 | ok. 42 200 |
| 2% | o 30% (do 2,6%) | ok. 9 800 | ok. 19 600 |
| 5% | o 10% (do 5,5%) | ok. 31 200 | ok. 62 500 |
| 5% | o 20% (do 6%) | ok. 8 200 | ok. 16 300 |
| 5% | o 30% (do 6,5%) | ok. 3 800 | ok. 7 600 |
Wartości policzone dla standardowych założeń: poziom istotności 5% i moc testu 80%. Przykład: strona usługowa ma 4 000 odwiedzin miesięcznie i konwersję 2%. Żeby wykryć poprawę o 20%, potrzebuje ok. 42 000 użytkowników, czyli ponad 10 miesięcy testu. To za długo. W takiej sytuacji lepiej testować większe zmiany, testować na stronie z większym ruchem albo wdrażać poprawki bez testu i mierzyć efekt w dłuższym okresie.
Istotność statystyczna: jak czytać wynik testu
Istotność statystyczna mówi, jak mało prawdopodobne jest, że zaobserwowana różnica między wersjami powstała przypadkiem. Najczęściej przyjmuje się poziom 95%, co oznacza, że jeśli w rzeczywistości wersje działają tak samo, test pokaże fałszywą różnicę nie częściej niż w 5 na 100 przypadków.
- Istotność nie mówi, o ile wersja B jest lepsza. Warto patrzeć na przedział ufności: poprawa "od 2% do 25%" to coś innego niż "od 12% do 15%".
- 95% nie oznacza pewności. Przy kilkunastu testach rocznie część "zwycięzców" będzie przypadkowa. Dlatego ważne zmiany warto potwierdzić w dłuższym okresie.
- Wynik liczy się na koniec testu. Sprawdzanie istotności codziennie i kończenie testu przy pierwszym "zielonym" wyniku bardzo zwiększa ryzyko fałszywego zwycięzcy.
- Brak różnicy to też wynik. Mówi, że zmiana nie ma dużego wpływu, więc można ją wdrożyć lub odrzucić z innych powodów, np. kosztów.
Narzędzia do testów A/B w 2026 roku
Google Optimize, darmowe narzędzie, z którego korzystało wiele małych firm, zostało wyłączone we wrześniu 2023 roku. Dziś do testów stron używa się narzędzi zewnętrznych, a testy reklam i maili prowadzi się bezpośrednio w systemach reklamowych i platformach mailingowych.
| Narzędzie | Do czego | Dla kogo |
|---|---|---|
| VWO, Optimizely, AB Tasty, Convert | Testy stron z edytorem wizualnym, segmentacja, raporty | Firmy z dużym ruchem i budżetem na narzędzia |
| PostHog, GrowthBook | Testy stron i aplikacji, także w kodzie, darmowe plany lub wersja open source | Firmy z dostępem do programisty |
| Eksperymenty w Google Ads | Testy strategii ustalania stawek, reklam i stron docelowych w kampaniach | Każdy, kto prowadzi Google Ads |
| Testy A/B w Meta Ads | Porównanie kreacji, grup odbiorców i umiejscowień | Każdy, kto prowadzi Meta Ads |
| Platformy mailingowe | Testy tematów, nadawcy, treści i godziny wysyłki | Firmy wysyłające newsletter lub kampanie mailowe |
| Microsoft Clarity | Nagrania sesji i mapy kliknięć (nie test, ale źródło hipotez) | Każdy, bezpłatnie |
Testy A/B w reklamach i mailach
Testy nie dotyczą tylko stron. W kampaniach płatnych warto testować reklamy i strony docelowe, bo nawet niewielka poprawa współczynnika klikalności i konwersji obniża koszt pozyskania klienta. Jak to przekłada się na budżet, pokazujemy w artykule ile kosztuje Google Ads. W Meta Ads najczęściej testuje się kreacje, bo to one decydują o wyniku kampanii w największym stopniu.
W mailach najłatwiej testować temat wiadomości, bo wpływa na otwarcia, a wynik widać po kilku godzinach. Pamiętaj jednak, że otwarcia są mierzone coraz mniej dokładnie z powodu ochrony prywatności w programach pocztowych. Lepszym wskaźnikiem są kliknięcia i konwersje z maila.
Najczęstsze błędy w testach A/B
- Kończenie testu zbyt wcześnie. Pierwsze dni często pokazują dużą różnicę, która potem znika.
- Za mały ruch. Test na kilkuset użytkownikach prawie zawsze da przypadkowy wynik.
- Kilka zmian naraz bez planu. Jeśli wersja B ma nowy nagłówek, zdjęcie i formularz, nie wiesz, co zadziałało. To dopuszczalne tylko przy świadomym teście dużej zmiany.
- Zmiany w trakcie testu. Nowa kampania, promocja albo poprawka na stronie w czasie testu zaburzają wynik.
- Mierzenie złego wskaźnika. Więcej kliknięć w przycisk nie musi oznaczać więcej zapytań.
- Brak podziału na urządzenia. Wersja, która wygrywa na komputerach, może przegrywać na telefonach.
- Brak zapisu wniosków. Bez historii testów zespół po roku testuje te same pomysły ponownie.
Testy A/B a SEO
Google dopuszcza testy A/B i nie traktuje ich jako próby manipulacji, jeśli przestrzegasz kilku zasad. Nie pokazuj robotom Google innej treści niż użytkownikom, przy testach split URL oznacz wersję B tagiem canonical wskazującym na oryginał i używaj przekierowań tymczasowych (302), a nie stałych. Po zakończeniu testu wdroż zwycięską wersję i usuń kod testowy. Więcej o technicznych aspektach widoczności piszemy w artykule o audycie SEO.
Masz pytanie o testów A/B? Zapytaj autora
Paweł Smygulski, Head of UX, Design & CRO ViziSee · odpowiadamy w ciągu 24h roboczych
Dziękujemy, wiadomość wysłana
Odezwiemy się w ciągu 24 godzin roboczych. Pilne sprawy: +48 603 548 179.
Najczęstsze pytania
Co to jest test A/B?
To eksperyment, w którym ruch dzieli się losowo na dwie grupy: jedna widzi obecną wersję strony, reklamy lub maila, druga wersję zmienioną. Po zebraniu odpowiedniej liczby danych porównuje się, która wersja daje lepszy wynik.
Jak długo powinien trwać test A/B?
Tyle, ile potrzeba do zebrania wyliczonej wcześniej liczby użytkowników, ale nie krócej niż 2 pełne tygodnie. Dzięki temu test obejmuje różnice między dniami tygodnia i nie kończy się na przypadkowym wyniku z pierwszych dni.
Ile ruchu potrzeba do testu A/B?
Zależy od obecnej konwersji i poprawy, którą chcesz wykryć. Przy konwersji 5% i poprawie o 20% potrzeba ok. 8 200 użytkowników na każdą wersję. Przy konwersji 2% i poprawie o 10% już ok. 80 700 na wersję.
Co to jest istotność statystyczna w teście A/B?
To miara tego, jak mało prawdopodobne jest, że różnica między wersjami powstała przypadkiem. Standardowo przyjmuje się 95%. Istotność nie mówi jednak, o ile wersja B jest lepsza, do tego służy przedział ufności.
Czym różni się test A/B od testu wielowymiarowego?
Test A/B porównuje dwie wersje z jedną zmianą. Test wielowymiarowy sprawdza jednocześnie kombinacje kilku zmian, np. nagłówka, zdjęcia i przycisku, dlatego potrzebuje wielokrotnie więcej ruchu.
Jakie narzędzie do testów A/B wybrać po wyłączeniu Google Optimize?
Do testów stron: VWO, Optimizely, AB Tasty lub Convert, a przy dostępie do programisty PostHog lub GrowthBook. Testy reklam prowadzi się w Eksperymentach Google Ads i testach A/B w Meta Ads, a testy maili w platformie mailingowej.
Czy testy A/B szkodzą SEO?
Nie, jeśli przestrzegasz zasad Google: nie pokazujesz robotom innej treści niż użytkownikom, przy testach na osobnych adresach używasz tagu canonical i przekierowań 302, a po teście usuwasz kod testowy i wdrażasz zwycięską wersję.
Co zrobić, gdy strona ma za mały ruch na testy A/B?
Testuj większe zmiany, które mogą dać dużą różnicę, testuj na stronach z największym ruchem albo wdrażaj poprawki oparte na analizie zachowań użytkowników i mierz efekt w dłuższym okresie, porównując wyniki przed i po zmianie.
Projektuje strony i ścieżki zakupowe, które konwertują. Łączy badania z użytkownikami, testy A/B i dopracowany design.