Poprawka, którą przyjęto i nigdy nie wdrożono

Dwa razy w ciągu trzech dni nasz nocny runner nadpisał pełny raport świeżym, pustym. Za drugim razem poprawka na pierwszy raz była już zbudowana, przetestowana i przyjęta. Tyle że nikt jej nie zainstalował.
Skąd raport bierze nazwę
Przez większość nocy nasz runner przerabia kolejkę, kiedy śpię: jedno zadanie na tick, każde zbudowane, a potem sprawdzone przez kogoś, kto go nie budował. Każdy tick trafia do raportu, a rano raport na mnie czeka.
Raport dostaje nazwę od terminu przebiegu, czyli od 08:00 następnego ranka. Brzmi niewinnie. Oznacza jednak, że każdy przebieg uruchomiony przed tą samą 08:00 dostaje tę samą nazwę pliku. A runner przy starcie, zanim zrobi cokolwiek innego, zanim w ogóle zajrzy do kolejki, zapisuje świeży raport.
Dwie małe decyzje, każda w porządku sama w sobie. Razem znaczą tyle: uruchom runnera dwa razy przed tym samym rankiem, a drugi start zetrze zapis pierwszego.
Pierwszy raz: 05:41
11 października poranny start o 05:41 zrobił dokładnie to. Zapis nocy, 34 ticki od 23:25 do 04:17, zastąpił nowy plik. Odzyskaliśmy go z gita i zapisaliśmy jako część 1.
Poprawka była mała: jeśli raport już istnieje, zapisz nowy plik z godziną startu w nazwie, zamiast nadpisywać. Trafiła do większej zmiany, która uczyła też runnera kończyć pracę o zadanej godzinie. Tę zmianę zbudowano w kopii roboczej, przetestowano i przyjęto.
I tam została. Instalacja w żywym runnerze była krokiem na dzień i wymagała mojego słowa. Ostatnia zmiana żywego pliku wciąż pochodziła z 5 października.
Drugi raz: 00:17
W poniedziałek 12 października puściliśmy kolejkę wieczorem, ręcznie. Runner normalnie odmawia startu przed 18:00, więc ten start był wymuszony, a osobny timer miał go zatrzymać o 21:30. Ruszył o 17:13 i skończył o 21:36: 23 ticki, 104 linie raportu. Ponieważ termin wypadał o 08:00 następnego dnia, raport trafił pod datę 13 października.
Ktoś z nas zwrócił na to uwagę o 17:14, jako na dziwactwo w nazewnictwie. Z perspektywy czasu był to cały błąd, opisany siedem godzin wcześniej.
O 00:17 ktoś uruchomił nocny przebieg. Kolejka była pusta, więc przebieg skończył się w tej samej minucie. Ale start zdążył już zapisać swój świeży raport na wieczornych 104 liniach. O 00:24 ruszyła prawdziwa noc i nadpisała również ten.
Dlaczego wciąż go mamy
Vault co noc o 23:30 sam robi commit. Tamtej nocy commit wszedł o 23:31:10, 46 minut przed pustym startem, i zawierał wieczorny raport. Odtworzyliśmy go z tego commitu, a porównanie z plikiem z commitu nie pokazało żadnej różnicy. Poprzedni commit, z 17:30, miał tylko pierwsze 17 minut przebiegu. Gdyby pusty start przyszedł przed 23:30, tylko tyle by nam zostało.
Drugie ocalenie było więc szczęściem z sygnaturą czasu. Kopia zapasowa, której nikt nie planował, to wciąż kopia, ale nie budowałbym na niej procesu.
Druga poprawka
Pierwszym zadaniem tamtej nocy była druga poprawka tego samego błędu, napisana z oboma incydentami przed oczami. Trzy zasady.
Nigdy nie dotykaj istniejącego raportu. Zajmij kolejną wolną nazwę, część 2, część 3 i tak dalej, jednym atomowym krokiem, żeby dwa starty nie mogły obu naraz uznać tej samej nazwy za wolną. A przy pustej kolejce nie zapisuj raportu wcale: przebieg, który nic nie zrobił, nie ma nic do powiedzenia.
Najciekawszy jest ten atomowy krok. „Sprawdź, czy plik istnieje, a potem go utwórz” ma szczelinę między sprawdzeniem a utworzeniem. Poproszenie systemu operacyjnego, żeby utworzył plik tylko wtedy, gdy jeszcze go nie ma, zamyka tę szczelinę. W Pythonie ten pomysł mieści się w kilku linijkach. To szkic pomysłu, nie kod runnera:
import os
def claim(base):
n = 1
while True:
name = base + ".md" if n == 1 else f"{base}-part{n}.md"
try:
fd = os.open(name, os.O_CREAT | os.O_EXCL | os.O_WRONLY)
except FileExistsError:
n += 1
continue
os.close(fd)
return name
print(claim("report")) # report.md
print(claim("report")) # report-part2.md
print(claim("report")) # report-part3.md
Przyjęto ją za pierwszym podejściem, ze 126 zielonymi testami wobec bazowych 117. I znowu instalację zostawiono na dzień i na moje słowo.
Dokąd zniknęła pierwsza
Mieliśmy więc dwie przyjęte poprawki jednego błędu. Obie zmieniały ten sam kod startu i nigdy nie były testowane razem. Która ma wejść pierwsza? Czy w ogóle do siebie pasują? Nikt tego nie zmierzył.
14 października poszliśmy je zainstalować i nie znaleźliśmy niczego. Obie zbudowano w przestrzeni roboczej, którą czyści się po 24 godzinach. Przyjęta praca zniknęła. Zostały tylko notatki, które ją opisywały: bardzo dobre notatki, z liczbą testów i werdyktami, opisujące kod, którego już nigdzie nie było.
Zbudowano ją więc jeszcze raz, tym razem jako jedną łatkę, trzymaną tam, dokąd sprzątanie nie sięga, z oboma zachowaniami i ich testami razem. To przy okazji odpowiedziało na pytanie, którego nikt nie zmierzył: jedna łatka, jedno uruchomienie testów, oba zachowania w środku. Zainstalowano ją tego samego dnia, kiedy runner stał bezczynnie: przed instalacją przechodziło 117 testów, po niej 165, a zainstalowane pliki zgadzały się z wynikiem łatki bajt w bajt. Żywy runner zajmuje teraz nazwę raportu przez wyłączne utworzenie pliku.
Co znaczy „gotowe”
Akceptacja odpowiada na pytanie „czy to działa?”. Nie odpowiada na pytanie „czy to jest uruchomione?”. Traktowaliśmy pierwszą odpowiedź tak, jakby załatwiała drugą.
Obie odpowiedzi się liczą i przychodzą z różnych miejsc. Pierwsza pochodzi z zestawu testów na kopii. Druga tylko z patrzenia na żywą rzecz: co jest zainstalowane, kiedy ostatnio się zmieniło i ile testów tam przechodzi. Między jednym incydentem a drugim ta druga odpowiedź leżała na widoku, jako data pliku: 5 października. Nikt o nią nie zapytał.
Przyjęta poprawka, której nikt nie instaluje, to po prostu dobrze udokumentowany błąd, który czeka na kolejną okazję.
— Maks


