Noc, w której kolejka skończyła się o 1:40

Jest jedna zasada, na której wisi cała reszta: ten, kto coś zbudował, nigdy sam nie ogłasza, że jest gotowe.
U nas każda robota przechodzi przez trzy ręce. Jedna pisze specyfikację: co znaczy „gotowe”, rozpisane na punkty, które da się sprawdzić. Druga buduje według niej. Potem autorka specyfikacji wraca jako odbierająca i sama mierzy wynik, własnymi komendami, a nie na słowo budującego. Budujący może być genialny. Może też być cicho i pewnie w błędzie. Odbiór jest od tego, żeby złapać ten drugi przypadek.
Dobry odbiór nie kończy się na „testy przechodzą”. Celowo psuje kod, żeby sprawdzić, czy testy to zauważą. Przy jednej z ostatnich funkcji odbierająca wrzuciła do kopii kodu dziesięć drobnych błędów, na przykład usunięte sprawdzenie albo odwróconą odpowiedź, a testy złapały wszystkie dziesięć. Gdyby choć jeden przeżył, funkcja wróciłaby do poprawki.
Odbiór zaczął się od samej nocnej maszynerii, zanim ta w ogóle ruszyła, i znalazł trzy błędy we własnej specyfikacji. Jeden z nich to punkt „teraz ≥ 8:00”, który czytany dosłownie kończyłby każdą noc rozpoczętą poprzedniego wieczoru, bo godzina na zegarze to nie termin. W trakcie napraw testów przybyło z 43 do 68.
Prośba
Na początku października zapisałem sobie coś prostego: przestań wybierać pracę na noc ręcznie, każdy wieczór. Trzymaj jeden wspólny backlog dla wszystkich projektów, daj nocy sygnał, że śpię, i pozwól jej pracować do rana. Jeden twardy warunek: o 8:00 okno zużycia, które wtedy jeszcze będzie otwarte, ma mieć co najmniej połowę wolną.
Reszta projektu wynikła z tego. Jest jeden plik backlogu. Każde zadanie ma projekt, status, linijkę stops-at z ostatnim krokiem, na który możemy sobie pozwolić bez człowieka, oraz datę i autora, który je dodał. Lista statusów jest zamknięta: proposed, ready, in-flight, parked, done, dropped. I jedna zasada ważniejsza od reszty: tylko odbierająca może oznaczyć zadanie jako ready. Nocny runner nie bierze niczego innego. Ta zasada jest powodem, dla którego noc jest bezpieczna — i powodem, dla którego bywa płytka.
Były dwa wyzwalacze: polecenie w wierszu poleceń i fizyczny tag przy łóżku. Ścieżka z tagiem działała — tag zeskanowano 112 razy — ale ostatnie skanowanie było we wrześniu i żadne w następne 23 dni, więc po cichu wypadł z mojej rutyny. Demon taga zabijał też przypiętą komendę po 30 sekundach, więc komenda musiała stać sama o sobie. Supervisor działa w tle, a blokada to plikowy lock w Pythonie.
Jeden tik to jedno zadanie od początku do końca: sprawdzenie specyfikacji, jedno budowanie, odbiór, zmiana statusu i linijka w porannym raporcie. Dwa nieudane tiki z rzędu kończą noc. Tik, który staje i prosi o zgodę, liczy się jako nieudany, a nie jako coś, co po cichu się ponawia.
Bramka budżetu
Runner nie rusza roboty, nie wiedząc, ile ona kosztuje, a bramka budżetu jest uczciwa tak długo, jak uczciwy jest miernik pod nią. Wieczorem przed pierwszym uruchomieniem miernika nie było w ogóle. Skrypt użycia zwracał „status: unknown”. Konsola proxy’ego pokazywała puste pięciogodzinne okno. Bezpośrednie wywołanie endpointu kończyło się 401.
Przyczyna okazała się nudniejsza niż błąd. Skrypt wolał plik z poświadczeniami na dysku, o ile taki w ogóle istniał, a ten plik był stary — zapisany ostatnio na początku września, z tokenem dawno po terminie — podczas gdy żywy token leżał w keychainie. 401 pochodziło od martwego tokenu; późniejszy limit z długim Retry-After również od tego samego martwego tokenu. Zapytanie przez keychain od razu odpowiedziało 200. Naprawą było spojrzenie we właściwe miejsce i zauważenie, że dwie różne odpowiedzi („unknown” i „puste”) to jeden problem w dwóch przebranach.
Wyszło z tego jedno pollingowe zadanie: jeden proces zapisuje jeden plik miernika i tylko on woła endpoint użycia według harmonogramu. Pozwala sobie najwyżej jedno zapytanie na cykl; po limicie czeka na Retry-After od serwera, a w innych razach odracza zapytanie, podwajając przerwę. Pierwsze uruchomienie, późnym wieczorem, odpowiedziało 200 niewielkimi liczbami, a własny parser runnera przeczytał to jako „GO”.
Przekazanie miernika do runnera to miejsce, w którym noc się potknęła. Runner wystartował tuż po północy bez zmiennej wskazującej plik miernika, a jego pierwsza bramka powiedziała HOLD: gauge unknown. Po restarcie ze zmienną ustawioną odczytał GO. Raport, który przetrwał, otwiera się o 01:04 i ten start był mój, a nie czyjaś pomyłka. Jeden szczegół miernika pozostał nierozwiązany: wszystkie trzy bramki tej nocy czytały te same liczby, a wiek odczytu rósł w trakcie nocy — 30 minut, potem 44, potem 58 — choć polling miał odświeżać co kilka minut. Dłuższa noc zatrzymałaby się z braku świeżego odczytu, a nie z braku budżetu.
Co się wydarzyło
Gotowe były trzy zadania. Wszystkie trzy poszły, z kodem 0, wszystkie zakończone ready→done, wszystkie przyjęte za pierwszym razem. Zajęły 13, 14 i 8 minut. Jedno naprawiło baner z przypomnieniem, który po przeładowaniu zapominał, że go zamknięto. Drugie przygotowało ścieżkę wydania aplikacji mobilnej i uruchomiło ją tylko na sucho: zgłosiło sukces i wyprodukowało archiwum w ogóle bez podpisu — czyli dokładnie po to jest suchy przebieg.
Sekcja „czeka na człowieka” w raporcie trzymała dwie linijki i obie bariery robiły swoją robotę: wdrożenie, które musiało poczekać na datę, i prawdziwy upload, który potrzebuje zalogowanego płatnego zespołu deweloperskiego. Ostatnia linijka nocnego raportu brzmiała: 01:40 — queue empty. Termin był na 8:00. Do limitu budżetu było daleko.
Noc skończyła się, bo nie było już nic do zrobienia — projekt działał dokładnie tak, jak go zapisano. Zasada „tylko odbierająca robi ready” istnieje po to, żeby nic niesprawdzonego nie ruszało, kiedy nikt nie patrzy. Ceną jest to, że noc sięga tylko tak głęboko, jak głęboko sięgnęło sprawdzanie za dnia. Brama zbudowana po to, żeby noc nie rozbiegła się za szybko, nie zdążyła zadziałać ani razu.
Co się zmieniło potem
Rano zapisałem: backlog trzeba przemyśleć znacznie dalej, powinny być w nim też zadania badawcze, zbierania materiałów i pisania — może nawet książka — żeby przy zablokowaniu jednego zadania było na co przełączyć. Potem to zawęziłem: to był pomysł do przemyślenia razem, a nie polecenie. Nic nowego nie otwierano. O dziesiątej rano zerknąłem na to, co wróciło, i powiedziałem, żeby zostawić w takiej formie.
Najpierw ruszyła strona backlogu. Przed tym przebiegiem gotowych było zero; po nim trzydzieści pięć zadań: trzy proposed, dwadzieścia dwa ready, cztery parked, sześć done. Gotowe rozłożono na cztery szyny: pięć budowań, osiem badań, cztery zbierania materiałów, pięć pisania — i przeplatano tak, żeby żadne dwa sąsiednie nie należały do tego samego projektu. Skrypt to sprawdził: zero sąsiednich par. Podłoga piętnastu gotowych zadań stała się linią ostrzegawczą. Zadania niekoderskie mają własny próg odbioru: źródła, zapisane statusy, jawną listę Unknown i żadnych decyzji podejmowanych w moim imieniu.
Strona runnera dostała pola, które to umożliwiają: opcjonalne szyna, poprzednik i budowniczy przy zadaniu; lint, który rzuca błędem na złą szynę albo na poprzednika wskazującego nieistniejące zadanie; jedna funkcja wspólna dla supervisora, lintu i suchego przebiegu, żeby te trzy nie mogły się ze sobą nie zgadzać co do tego, co jest gotowe. Potem doszła reguła przełączania: blokada całego projektu — czerwone CI, brudne drzewo, nieosiągalny host, wygasłe uwierzytelnienie — odstawia wszystkie gotowe zadania tego projektu w jednym tiku, jedną linijką czekania, żeby noc szła dalej, zamiast dwa razy się wywrócić i stanąć. Shim zaczął też eksportować zmienną z plikiem miernika, co zamyka pozycję, która kosztowała pierwszą godzinę. Testów przybyło z 68 do 90, a sama bramka budżetu i jej wiersze zostały nietknięte co do bajtu, co sprawdzono porównaniem drzew składni, nie na oko.
Przewidywanie, które się nie sprawdziło
Przy mniej więce dwunastu minutach na tik dwadzieścia dwa zadania to około czterech i pół godziny; badania i pisanie ciągną się dłużej. Po uzupełnieniu oczekiwaliśmy, że większość nocy będzie kończył budżet, a nie pusta kolejka. Nocy, które nastały potem, skończyły się tak jak pierwsza. 22 gotowe, 23 tiki, kolejka pusta o 05:36. 25 gotowych, 25 tików, pusto o 04:19. 19 gotowych, 19 tików. 31 gotowych, 31 tików. Ani jedna nie zatrzymała się na budżecie.
Przewidywanie to jeszcze nie pomiar, a pomiar powiedział, że ścianą wciąż była kolejka — uzupełnienie kupiło głębię, nie odporność. Głębsza kolejka kończy się tak samo, tylko później.


