Wracamy do tematu metryk produktowych i spróbujmy pogadać o tym co robić, gdy metryki w Twoim produkcie… właściwie nie wpływają na Wasze decyzje:

• Jakimi wskaźnikami posługiwać się przy podejmowaniu produktowych decyzji oraz oceny rezultatów Twoich działań. I dlaczego MRR, przychody, koszty czy churn to za mało.

• Poznasz wskaźniki typu lagging i leading indicators - czyli podstawowe rozróżnienie w świecie analityki produktowej,

• Zobaczysz, jak leading indicators powinny wpływać na pracę Twoje zespołu.

Dzisiaj materiał w formie video (12 min) 🎦, a dla tych, co wolą czytać - zaraz pod video znajdziesz tekstowy skrót z najważniejszymi punktami.

Masz czasem wrażenie, że patrzysz na swoje metryki produktowe i… kompletnie nie wiesz, jak przełożyć to na decyzje produktowe? Wypuszczacie nową funkcję, zespół haruje, a Ty nerwowo odświeżasz dashboardy, czekając, aż główny wskaźnik drgnie.

Znam to uczucie 🤬.

W poprawie tej sytuacji pomogła mi znajomość koncepcji lagging i leading indicators. Pokażę Ci, jak je rozróżniać te typy wskaźników, dlaczego te drugie są tak kluczowe dla Product Managera i jak możesz je wykorzystać do podejmowania mądrzejszych decyzji - szybciej.

🎦 WIDEO: Wskaźniki Lagging vs Leading indicators (12 min)

• 0:00 - Co to są wskaźniki produktowe

• 1:54 - Wskaźniki typu Lagging vs Leading

• 5:46 - Przykłady

• 9:10 - Zastosowanie w pracy produktowej

📕 Lagging vs Leading - najważniejsze punkty

Dla tych, co wolą czytać - znajdziesz tu tekstowe podsumowanie najważniejszych punktów z lekcji wideo.

1. Co w ogóle możemy mierzyć w produkcie?

Zanim zagłębimy się w leading i lagging, musimy sobie jasno powiedzieć, co tak naprawdę mierzymy w produkcie.

• Output (Wynik): To jest to, co budujemy. Nowa funkcja, nowa wersja, zmiana w interfejsie. Na przykład: Wprowadzenie nowego onboarding flow dla użytkowników Slacka.

• Outcome (Rezultat): To wpływ, jaki nasz Output ma na użytkowników. Czy zaczęli korzystać z funkcji? Czy są bardziej zaangażowani? Czy są usatysfakcjonowani? Na przykład: Użytkownicy Slacka chętniej zapraszają współpracowników po przejściu nowego onboardingu.

• Impact (Wpływ Biznesowy): To wpływ Outcome’u na naszą organizację. Czy to przekłada się na przychody? Zwiększenie retencji? Obniżenie kosztów? Na przykład: Zwiększenie miesięcznego powtarzalnego przychodu (MRR) dla Slacka.

Dlaczego to ważne? Bo chcemy osiągnąć wpływ na użytkowników i na nasz biznes. Jeśli chcemy ten wpływ, to chcemy oczywiście móc ocenić ten wpływ na użytkowników i na nasz biznes. Potrzebujemy pewnego rodzaju metryk, pewnego rodzaju wskaźników, które będą nam to oceniały.

2. LAGGING Indicators (opóźnione)

Lagging indicators (wskaźniki opóźnione) to metryki, które mówią nam o tym, co już się stało. Pokazują rezultat naszych działań, ale z opóźnieniem. wykle są to KPI ogólnofirmowe, takie jak przychody, MRR, Lifetime Value (LTV).

Dlaczego są "lagging"? Bo ich zmiana następuje po jakimś czasie od wprowadzenia zmiany w produkcie. Na przykład, jeśli zmienisz onboarding w Slacku, to wzrost MRR zobaczysz dopiero po tygodniach, a nawet miesiącach. Użytkownik musi skończyć onboarding, dzięki lepszemu doświadczeniu być może więcej użytkowników skorzystać z wersji płatnej, ale zwykle na początku nie, dopiero może po jakimś czasie się do tego przekona.

Problemy z lagging indicators jako głównymi metrykami dla zespołu:

• Opóźniona informacja zwrotna: Nie wiesz, czy Twoja ostatnia iteracja zadziałała, bo na efekty musisz czekać długo.

• Trudność w przypisaniu wpływu: Po kilku miesiącach, jeśli MRR wzrośnie, trudno stwierdzić, czy to wynik Twojej zmiany w onboardingu, czy innej funkcji, którą w międzyczasie wprowadziłeś. A może wręcz działań innego działa.

• Brak możliwości szybkiej reakcji: Jeśli efekty widzisz z dużym opóźnieniem, nie możesz szybko podjąć decyzji o zmianie kierunku.

3. LEADING Indicators (wyprzedzające)

Leading indicators (wskaźniki wyprzedzające) to metryki, które przewidują przyszłe rezultaty i reagują dużo szybciej na Twoje działania.

To wskaźniki, które dużo szybciej reagują na Twoje zmiany, a jednocześnie będą przewidywały to, co się może zdarzyć z tą naszą laggingową metryką. Są to często nasze OUTCOMES produktowe, czyli zmiany zachowań użytkowników. Bo to na nie mamy dużo bardziej bezpośredni wpływ naszymi zmianami w produkcie.

Dlaczego są „leading"? Bo ich zmiana wskazuje na potencjalną zmianę w lagging indicatorze w przyszłości. Jeśli leading indicator rośnie, to prawdopodobnie lagging też wzrośnie.

Charakterystyka leading indicators:

• Szybko zmieniające się: Pozwalają Ci zobaczyć wpływ Twoich działań niemal natychmiast.

• Możliwość szybkiego podejmowania decyzji: Dzięki nim możesz na bieżąco oceniać, czy idziesz w dobrą stronę i szybko korygować kurs.

• Często trudne do zidentyfikowania: Znalezienie dobrego leading indicatora, który faktycznie koreluje z laggingiem, wymaga analizy i eksperymentowania.

4. Wykorzystanie Leading i Lagging w produkcie

Czy to znaczy, że powinniśmy mierzyć tylko leading indicators? Niekoniecznie. Tak naprawdę powinniśmy mierzyć jedno i drugie, tylko do zupełnie czego innego.

• Lagging Indicator - Ogólna ocena naszych działań i strategii, czy idziemy w dobrą stronę, bo przecież o to nam chodzi, żeby wzrastały przychody w naszej firmie, albo wartość pojedynczego użytkownika czy klienta. Regularnie sprawdzamy ten długoterminowy wynik produktu i biznesu.

  • Poziom: Strategiczny, zarządczy (poziom firmy)

  • Częstotliwość monitorowania: cyklicznie (raz na miesiąc, raz na kwartał w zależnie od naszych potrzeb).

• Leading Indicator - Ocena efektów naszych prac, wpływ na te nasze codzienne decyzje. Pozwalają nam szybciej podejmować decyzję.

  • Poziom: Operacyjny (poziom zespołu produktowego)

  • Częstotliwość monitorowania: Ciągły monitoring. Po każdym wydaniu jesteś w stanie zobaczyć, czy leading indicator się zmienił.

Dzięki leading indicators, iteracyjnie rozwijając produkt (np. co sprint), jesteś w stanie podejmować decyzje na podstawie danych. Jeśli masz leading indicators jako cele dla swojego zespołu, to po każdym wydaniu jesteś w stanie zobaczyć, czy ten leading indicator się zmienił, czy poszedł w dobrą stronę i na tej podstawie decydować, czy idziemy właśnie w dobrą stronę w naszym rozwiązaniu, czy jednak coś musimy zmienić

🛠️ Moja praktyka - jak przekładam tę koncepcję na działania

Wiesz już, czym są lagging i leading indicators. Teraz pora na to, jak to konkretnie możesz przełożyć się to na codzienną pracę jako Product Managera. Będę bazować tu na swoich doświadczeniach.

Wykorzystanie Lagging Indicators na poziomie strategicznym

• Dla zarządu i całej firmy - to są metryki, którymi operuje zarząd, inwestorzy, i na ich podstawie rozliczają cały biznes. Jeśli model biznesowy Twojego produktu opiera się na MRR (miesięczny powtarzalny przychód), to właśnie MRR będzie Twoim kluczowym lagging indicatorem i musisz być go świadomy.

• To właśnie te wskaźniki były podstawą do tworzenia strategii produktowej. Dawały nam obraz ogólnej kondycji produktu i firmy - i w strategii produktowej starałem się odpowiadać na pytanie - to na jakich obszarach (tzw “betach”) chcemy się skupić, by wspierać te biznesowe KPI. I one nas wprost prowadziły do potencjalnych zmian zachowań użytkowników i wynikających z nicj leading indicators.

• To więc strategia produktowa pozwalała mi przejść od leading do lagging indicators.

• Do określenia najważniejszych lagging można do tego wykorzystać → Lista najważniejszych metryk produktowych 

• Nie jest to jednak wskaźnik na którym możesz oprzeć swoją operacyjną pracę. Powinien on grać mocną rolę przy określeniu strategii produktowej, ale nie operacyjnej pracy.

Leading Indicators jako cele kwartalne / cele produktu

• Dla moich zespołów produktowych lagging indicators były zbyt odległe i zbyt mało działaniowe. Nie mogliśmy czekać miesiącami na feedback. Dlatego zawsze dążyłem do tego, by zespół miał zdefiniowany jasny leading indicator, który był bezpośrednio związany z ich codziennymi działaniami i na który mieli realny wpływ.

• Wykorzystując leading indicators definiowaliśmy cele produktu (w scrumie) i OKR-y dla zespołów. Pozwalało to na szybkie iteracje i weryfikację hipotez.

• Jeśli po tygodniu czy dwóch od wdrożenia nowej funkcji widzieliśmy pozytywną zmianę w leading indicatorze, wiedzieliśmy, że idziemy w dobrą stronę i możemy kontynuować pracę nad kolejnymi usprawnieniami. Jeśli nie, to był sygnał do szybkiej rewizji.

Komunikacja ze stakeholderami:

• Kluczem było nauczenie stakeholderów, że choć patrzymy na lagging indicators (np. przychody), to żeby je osiągnąć, musimy skupić się na leading indicators.

• Edukacja, edukacja i jeszcze raz edukacja - wyjaśniałem im, że te leadigin indicators są jak termometr, który pozwala nam szybko sprawdzić, czy produkt ma gorączkę, zanim wylądujemy w szpitalu (czyli zanim zobaczymy spadek przychodów).

• Narzędziem, które pomagało mi przechodzic na pracę na outcomach i leading indicators był Impact Mapping. Fajnie mapuje ono KPI lagujące i leadujące dla zepsołu produktowego. Mocno otwierało też głowę interesariuszom.

• Prezentując wyniki, zawsze zaczynałem od leading indicators (co zrobiliśmy, jak to wpłynęło na zachowanie użytkowników i te wczesne sygnały), a dopiero potem przechodziłem do lagging indicators, do których kontrybuowaliśmy.

Oczywiście to nie zawsze kończyło się sukcesem. Naturalne dla większości stakeholderów jest odowłanie do celów przychodowych / kosztowych. Zawsze to był długi proces budowania produktowych mindsetu w orgnizacji (i pokazywania dlaczego potrzebujemy celów outcomowych i leadujących.

P.S. Materiał przygotowałem do Akademii Analityki Produktowej 📈. Jeśli chcesz pogłębić tę więdzę i lepiej wykorzystywać metryki, frameworki i narzędzia analityki produktowej do podejmowania produktowych decyzji - możesz dołączyć do 27 maja.