12.2 Metryki: co mierzyć i czego nie

Każda platforma pokazuje czterdzieści liczb. Pięć z nich zmienia decyzje, a pozostałe trzydzieści pięć zjada czterdzieści pięć minut tygodniowo, które przeznaczyłeś na przegląd.

Ten rozdział to krótka lista, arkusz tygodniowy i dwa błędy pomiaru, przez które zdrowe skądinąd konto wygląda na przegrywające.

Pięć metryk operacyjnych

Dlaczego te pięć. Każda ma przypisaną decyzję. Koszt na post decyduje, czy zmiana tieru jest warta zachodu. Koszt na obserwującego decyduje, czy płatna promocja jest testem, czy zakładem. Zapisy decydują o formacie. Konwersja lejka mówi, który krok naprawić. ARPU mówi, który strumień przychodu pchać.

Metryka bez przypisanej decyzji to metryka próżności, cokolwiek mierzy. To jedyna definicja, która się liczy, i dlatego rozdział 8.3 każe ci przestać patrzeć na polubienia: nie dlatego, że polubienia nic nie znaczą, ale dlatego, że nie wynika z nich żadna decyzja.

Arkusz tygodniowy: osiem liczb

Jeden arkusz, jeden wiersz na tydzień, osiem kolumn. Dziesięć minut na wypełnienie i to cały system raportowania.

Cztery liczby pochodne, liczone w tym samym wierszu: follow rate (5 ÷ 4), click rate (6 ÷ 4), capture rate (7 ÷ 6) i przychód na obserwującego (8 ÷ 5). Ruszają się właśnie te cztery, bo normalizują zasięg, czyli liczbę, którą kontrolujesz najsłabiej.

Po co jest arkusz. Nie do raportowania — do diagnozy. Gdy zasięg się podwaja, a przychód nie, kolumny 6 i 7 pokazują, gdzie pękł lejek. Gdy przychód się podwaja, a zasięg nie, kolumna 8 zestawiona z kolumną 5 pokazuje, że publiczność stała się lepsza, a nie większa, i właściwa odpowiedź to robić więcej tego, co konwertowało, a nie więcej postów.

Co ignorować

Sześć liczb, które zjadają uwagę i nic nie zmieniają.

Liczba obserwujących jako metryka tygodniowa. Wskaźnik opóźniony (8.2), napędzany zasięgiem i wiralem, którego nie planowałeś. Śledź ją co najwyżej miesięcznie.

Polubienia. Słabo skorelowane z dystrybucją i najłatwiejsze do zdobycia.

Impressions kontra zasięg. Dwie nazwy na prawie to samo; ta różnica rzadko zmienia decyzję.

Współczynnik zaangażowania jako jedna liczba. Uśrednianie po formatach ukrywa, który format zadziałał, a to jedyna rzecz, którą ta liczba mogła ci powiedzieć. Licz go osobno dla każdego formatu albo wcale.

Ranking najlepszego posta. Ciekawe raz, bezużyteczne jako trend.

Jakakolwiek liczba z publicznego profilu konkurenta. To inne konto, z innym pipeline'em, innym budżetem, a często z zespołem. Ostrzeżenie z rozdziału 8.1 o wybieraniu platformy dlatego, że jest tam duże konto, dotyczy też metryk.

Analityka na personę, nie na konto

Błąd pomiaru, który rzadko jest robiony poprawnie, a zaczyna mieć znaczenie, gdy powierzchni jest więcej niż jedna.

Problem. Persona publikuje natywnie na platformie głównej, recyklinguje na platformę dodatkową, ma kanał własny i zbiera przychód na platformie monetyzacji. Każda powierzchnia raportuje własne liczby i żadna z nich nie jest liczbami persony.

Zasada: buduj arkusz na personę i agreguj w nim powierzchnie, a nie trzymaj jednego arkusza na platformę. Persona, której przychód stoi, gdy zasięg jej platformy głównej spada, może rosnąć przez platformę dodatkową albo przez kanał — a jeśli arkusze są osobne, tego nie widać. Odwrotny przypadek jest gorszy: persona, której przychód wygląda zdrowo, bo jedna powierzchnia kompensuje zapaść na innej.

Co „na personę" znaczy w praktyce. Jeden arkusz na personę, z kolumnami na wkład każdej powierzchni w zasięg i w captures. To te same osiem kolumn z etykietą źródła, a nie nowy system.

Ta sama zasada dotyczy kosztu. Podział kosztu wspólnego pipeline'u między dwie persony to osąd alokacyjny, a rozdział 12.3 podaje podział, który myli najmniej: przypisz całą wspólną infrastrukturę personie, która istniała pierwsza, a drugiej policz tylko koszt krańcowy. Ten wybór sprawia, że druga persona wygląda na tańszą, niż jest, i to jest kierunek, w którym chcesz mieć błąd, gdy decyzja dotyczy tego, czy ją zostawić.

Wypełniony wiersz

Jeden tydzień, wypełniony, z liczbami pochodnymi, żeby pokazać, jak arkusz wygląda w użyciu. Liczby są ilustracyjne. [UNVERIFIED]

Co ten wiersz mówi, a czego nie. Capture rate na 22% przy click rate na 14% mówi, że lejek działa, a ograniczeniem jest zasięg. Odpowiedzią jest większy zasięg — test formatu albo praca nad kanałem — a nie przepisywanie landing page. Gdyby capture rate wynosił 8%, odpowiedź byłaby odwrotna, i w tym jest cała wartość liczenia wskaźników zamiast czytania samych liczb.

Dlaczego jeden wiersz bije dashboard. Dashboard pokazuje czterdzieści liczb naraz i zaprasza do wpatrywania się. Jeden wiersz na tydzień, wypełniany świadomie, daje trend w ciągu kwartału i decyzję w ciągu dwóch, a kosztuje dziesięć minut. Wykresy mogą przyjść później, jeśli w ogóle.

Progi interwencji

Reguła decyzyjna, która chroni i przed paniką, i przed dryfem. Cztery progi, każdy z inną reakcją.

Dlaczego trzy tygodnie dla zasięgu, a miesiąc dla formatów. Zasięg ma zwykłą wariancję; dwudniowy spadek to szum. Wynik formatu to wolniejszy sygnał, bo potrzebuje próby. A przychód zostaje za oboma, dlatego jego próg mierzy się w miesiącach, a nie w tygodniach — zanim przychód się ruszy, przyczyna ma zwykle dwa miesiące.

Reguła, która wynika z tabeli: nigdy nie zmieniaj dwóch rzeczy w odpowiedzi na jeden sygnał. Jeśli zasięg spada, diagnoza z 8.3 daje jedną przyczynę; naprawianie naraz formatu, niszy i pory publikowania gwarantuje, że nie nauczysz się niczego — to ta sama dyscyplina jednej zmiennej co reguła debugowania z 7.2.

Gdzie to się psuje

Czterdzieści liczb przeglądanych co tydzień. Slot na przegląd się zużywa i nie wynika z niego żadna decyzja.

Liczba obserwujących jako metryka główna. Opóźniona i napędzana rzeczami, których nie kontrolujesz.

Współczynnik zaangażowania uśredniony po formatach. Ukrywa jedyną informację, na której można działać.

Jeden arkusz na platformę. Realny wynik persony jest niewidoczny.

Wspólny koszt rozłożony równo na persony. Sprawia, że druga wygląda drogo, a pierwsza tanio — dokładnie odwrotnie dla decyzji o zostawieniu albo wycięciu.

Naprawianie trzech rzeczy naraz. Zero nauki i mylący wynik tak czy inaczej.

Brak liczb pochodnych. Surowe liczby rosną razem z zasięgiem i nie mówią nic o jakości.

Zmiana niszy przy pierwszym spadku. Pięciostopniowa diagnoza z 8.3 istnieje właśnie po to, żeby temu zapobiec.

Bramka

1. Czy potrafisz nazwać pięć metryk operacyjnych i decyzję, którą każda z nich napędza?
2. Czy wypełniasz jeden wiersz na tydzień ośmioma liczbami w dziesięć minut albo mniej?
3. Czy liczysz follow rate, click rate, capture rate i przychód na obserwującego?
4. Czy twoja analityka jest ułożona na personę, a nie na konto?
5. Czy znasz swoje cztery progi interwencji i czy ostatnim razem zmieniłeś tylko jedną rzecz?
6. Czy potrafisz nazwać metrykę, którą przestałeś śledzić, bo nie wynikała z niej żadna decyzja?

Z czym wychodzisz

Pięć metryk operacyjnych, każda związana z decyzją; ośmiokolumnowy arkusz tygodniowy z czterema liczbami pochodnymi i diagnostycznym zastosowaniem każdej z nich; sześć liczb, które przestajesz śledzić, z powodem dla każdej; reguła agregacji na personę, która czyni widocznym wynik na wielu powierzchniach, plus wybór alokacji kosztu, który myli się w użytecznym kierunku; oraz cztery progi interwencji z dyscypliną jednej zmiennej, która nie pozwala, żeby reakcja zniszczyła własny dowód.