Zielony przycisk wygrał z czerwonym o 1,4 procent. Próbka 380 użytkowników, tydzień ruchu z weekendem promocji w środku. Zespół wstawia wynik do raportu, ktoś klika „rollout”. Patrzę na wykres i mam dziwne uczucie, że właśnie podjęliśmy decyzję na podstawie pogody. A/B test bez mocy statystycznej to bardziej rytuał niż nauka — wygląda jak dowód, brzmi jak dowód, ale w środku jest losowość ubrana w tabelkę. Czasem najuczciwsze, co mogę napisać w podsumowaniu, to dwa słowa: nie wiemy.
Dodaj komentarz