Są takie pomysły, które brzmią rozsądnie dopóki nikt nie zapyta o szczegóły. Ten jest z kategorii tych, które naprawdę się zdarzają.
Radek nie jest złym człowiekiem. Chce dobrze. Ma tytuł Head of People & Productivity, a to go zobowiązuje do ciągłej gonitwy o zwiększenie produktywności swoich pracowników, by klienci byli zadowoleni.
Rynek się zmienia bardzo dynamicznie, a nawet za bardzo odkąd pojawił się ChatGPT.
Kiedy w zeszłym kwartale przeczytał raport o tym, jak sztuczna inteligencja zmienia produktywność, poczuł coś w rodzaju objawienia. Dane. Konkretne. Mierzalne. Nareszcie.
Na najbliższym spotkaniu z zarządem zapowiedział zmianę. Firma wdraża narzędzia AI dla wszystkich zespołów. Każde użycie jest logowane. Liczba tokenów na pracownika będzie jednym ze wskaźników efektywności w następnym cyklu ocen.
Sala klasnęła. Kilka osób naprawdę się ucieszyło.
Raport obiecywał przyrost od 100 do 400% nawet dla szeregowego pracownika. Zwykły QA sam ogarnie projekt dla klienta, niezależnie od poziomu wiedzy i umiejętności. I od razu jak na dłoni będzie możliwość zidentyfikowania tych, którzy sobie gorzej radzą, a w przypadku braku poprawy zakończyć z nimi współpracę.
Nikt nie zapytał czym jest token.
Podobną historię słyszałem już kilkanaście lat temu. Microsoft w latach 90. miał swój własny pomysł na mierzenie produktywności ludzi. Nazywało się to stack ranking.
Każdy zespół musiał co roku wskazać najsłabszych pracowników, niezależnie od tego jak dobry był ten zespół. System działał precyzyjnie. Mierzył dokładnie to, co mierzył. A dokładniej to, co kazali mu mierzyć jego twórcy.
Jak ludzie odkryli na czym polega gra i jakie są jej konsekwencje, zaczęli kombinować. Współpraca stała się ryzykiem. Nie warto było pomagać słabszym kolegom, by nie pozwalać im zyskiwać punktów. Nie warto było pracować z najlepszymi, by za bardzo się nie oddalali w rankingu. 10% najgorszych z każdego zespołu było zwalnianych.
Nadella to zabił gdy przejął stery w 2014. Ale szkoda wyrządzona kulturze organizacyjnej ciągnęła się jeszcze długo.
Ekonomiści mają na to nazwę. Prawo Goodharta: kiedy miara staje się celem, przestaje być dobrą miarą.
Wróćmy do Radka.
Tokeny to nie jest jednostka pracy. Token to kawałek słowa. Jedno zdanie to mniej więcej dwadzieścia tokenów. Długi, rozbudowany prompt który pyta AI o coś bez sensu zużywa ich zdecydowanie więcej niż zwięzłe pytanie o konkretny problem.
Dobry pracownik, który zna narzędzie, wie jak efektywnie tworzyć prompty i w mniejszej liczbie tokenów uzyskać odpowiedź. Ale po co oszczędzać, skoro system ocenia produktywność przez ich liczbę?
Ktoś kto poprosi AI o “esej o rozwoju pustułki pospolitej w stylu Adama Mickiewicza” zużyje ich zdecydowanie więcej niż osoba, która w ramach wykonywanego zadania zapyta jak napisać formułę w Excelu.
Pracownicy Radka nie zrobią tego ze złośliwości. Zrobią to, by dobrze wypaść w ocenie.
Co mierzysz, to dostajesz. Radek dostanie tokeny. Dużo tokenów. I rachunek. rzadko wyglądają jak bohaterowie. Częściej wyglądają jak ktoś kto ma zawsze schowane to czego akurat potrzebujesz.
