← Wszystkie wpisy
sprzęt

Altar: mały ekran, który pyta, zanim cokolwiek się stanie

· 7 minut czytania · autor: aft3r_d0t

Dwukolorowa ilustracja tuszem: spokojna twarz o ciężkich powiekach, z jednej strony rozpadająca się w kropki, a pod nią stoją grube świece.

Na moim biurku stoi mały kwadratowy ekran z twarzą. Twarz zmienia się zależnie od tego, kto w domu akurat pracuje i nad czym. Nazywamy go Altar. Na papierze to towarzysz biurkowy. W praktyce to miejsce, w którym dom prosi mnie o zgodę.

Co jest w środku

Sprzęt to gotowy ESP32-S3-BOX-3: małe pudełko z ekranem dotykowym, 16 MB flasha i 16 MB PSRAM, mikrofonem i głośnikiem. Na Macu działa hub, który rozmawia z nim przez kabel USB (port szeregowy) i decyduje, co pokazuje ekran: twarze, widżety, menu, pasek z tekstem, kalendarz, kartę „kiedy cię nie było”.

Twarze to krótkie klipy wideo, osobny zestaw dla każdego agenta, pocięte na klatki JPEG i spakowane do jednego pliku. Cel to 12 klatek na sekundę. Daje to 83,3 ms na klatkę, a płytka dekoduje klatkę w 18–21 ms, więc dekodowanie nigdy nie było problemem. Zmierzony czas klatki na urządzeniu: 83,0 ms przy celu 83,3 ms, zero błędów. Płytka była już wystarczająco szybka, żeby tę pracę zrobić. Nikt tylko jej o to nie poprosił.

Zagadka 1 fps

Odtwarzane z wewnętrznego flasha twarze chodziły płynnie. Z karty SD, gdzie mieszczą się wszystkie, ledwo się wlokły, mniej więcej 1 klatka na sekundę.

Plan miał pół tuzina możliwych poprawek: szybszy zegar karty, ładowanie klatek z wyprzedzeniem do PSRAM, pomijanie spóźnionych klatek. Rozmiar klastra na karcie był już wykluczony. A zadziałała poprawka najmniej efektowna: kod czytał plik przez bufor stdio z C, który uzupełniał się po jednym bajcie. Zamiana na zwykłe read() — jeden seek i jeden read na klatkę — i karta gra 12 fps. Nowa ścieżka lądowała w 0,4 ms od najlepszej zmierzonej, więc nic nie trzeba było cofać.

Większość optymalizacji w embedded to szukanie tej jednej linijki, która robi coś głupiego milion razy.

Liczby pokazują, jak głupiego. Przez ścieżkę stdio odczytanie jednej klatki trwało 603 265 mikrosekund i kosztowało 52,3 odczytów dysku na klatkę — plik uzupełniał się pojedynczymi bajtami, więc 26 KB klatki zamieniały się w około 25 800 wywołań po jakieś 23 mikrosekundy. Zwykłe read() zajęło 2 396 mikrosekund. Ścieżki FATFS: 2 343 i 2 001. A surowe odczyty sektorów szły z prędkością 13 973 KB/s, co mówi, że sama karta nigdy nie była wolna. Prosiliśmy ją o jeden bajt naraz, a potem narzekaliśmy, że jest wolna.

Z tego wyszły dwie lekcje — obie o tym, jak pracowaliśmy, a nie o karcie. Pierwszy pomiar był zrobiony na złej bibliotece: moje pierwsze szukanie implementacji stdio wskazało archiwum picolibc, a mapa pliku z prawdziwego buildu nazywała libc flashowy z toolchainu. Ten sam objaw, inna przyczyna, a uczciwa odpowiedź po sprawdzeniu brzmiała: mechanizm był właściwy, biblioteka nie. Druga lekcja dotyczyła kolejności. Dwie z proponowanych poprawek — prefetch i pomijanie klatek — trafiły do specyfikacji, zanim ktokolwiek zmierzył, ile kosztuje jeden odczyt. Kiedy liczba wreszcie się pojawiła, obie wypadły, a zasada brzmiała: najpierw zmierz, potem specyfikuj poprawkę.

W drugą stronę jest wolniej i nikt tego nie naprawił: wgrywanie pełnego zestawu twarzy i nagrań głosowych na kartę przez ten sam kabel zajęło 1 627 sekund przy 478 MB, czyli około 27 minut i 0,29 MB/s. Robi się to rzadko, więc na razie to w porządku. Ale wgrywanie nie jest atomowe. Jedna wcześniejsza próba padła w 20 %, gdy kabel został wyrwany, a powtórka zaczęła od zera, a nie od miejsca urwania — wznowienie nie przeżyło utraty zasilania płytki. Stary zestaw przez cały czas pozostał grywalny, więc nieudane wgrywanie kosztuje wieczór, nie twarze.

Approve / Deny

Najbardziej lubię tę część. Kiedy agent chce uruchomić komendę, która wymaga człowieka, prośba może pojawić się na Altarze jako karta z dwoma przyciskami. Stukasz Approve i czekający agent dostaje odpowiedź po około 2 ms. Stukasz Deny i dostaje „odmówiono na urządzeniu” po około 4 ms. Jeśli hub nie zdąży, prośba po prostu zostaje w oczekiwaniu — bez domyślnej odpowiedzi, bez cichego „tak”.

Sprawdziliśmy to na żywo: Deny na ekranie i komenda została zablokowana, a folder został na miejscu. Approve i komenda poszła. Approve z czatu zamiast z ekranu i karta na biurku zamknęła się sama.

Zabawne jest to, że przez kilka dni po podłączeniu ekran nie pokazał ani jednej prawdziwej prośby. Agenci pracują w trybie „smart”, który sam zatwierdza komendy uznane za bezpieczne, więc do człowieka trafiają tylko te ryzykowne albo eskalowane. Przycisk działa. Po prostu rzadko jest potrzebny, a właśnie tego chcesz od hamulca bezpieczeństwa. Później całość dostała własny przełącznik, żeby zatwierdzanie można było wymusić albo wyłączyć dla wszystkich; ten przełącznik przyszedł z dziesięcioma celowo wsianymi uszkodzeniami i testy złapały wszystkie dziesięć.

Teraz też odpowiada

Na dole ekranu jest okrągły przycisk push-to-talk. Przytrzymujesz go, mówisz coś po rosyjsku, a hub zamienia mowę na tekst, przekazuje agentowi i czyta odpowiedź na głos. Zmierzone na tym Macu: zimna transkrypcja trwa około 1,39 sekundy, ciepła 0,489; odpowiedź jest wypowiadana w mniej więcej 0,74 sekundy; pierwszy kawałek audio dociera około dwóch sekund po puszczeniu przycisku, a cała odpowiedź zajmuje jakieś sekundę. Jest też tryb cichy — kiedy odpowiedź nie ma być wypowiadana, przychodzi jako banner na ekranie, bez dźwięku. Odpowiedzi nie bierze się zatem na słowo: to, co wraca, porównujemy bajt po bajcie z niezależnie wyrenderowaną wersją tej samej odpowiedzi, bo obcięta odpowiedź pasowałaby do własnej sumy kontrolnej. Dopiero potem cała pętla uznaje się za działającą.

Rozmawialiśmy o wyciszaniu głosu, kiedy nikogo nie ma przy biurku. Powiedziałem, że nie: to nikomu nie szkodzi, a jeśli jestem w domu, ale po drugiej stronie pokoju, to przynajmniej usłyszę.

Co się psuło po drodze

Urządzenie, które stoi na biurku i rozmawia z domem, zbiera własną kupę drobnych awarii i żadna z nich nie była teoretyczna.

Pierwsze uruchomienie po jednym z flashów panikowało raz z przepełnieniem stosu w zadaniu głównym — tam otwarto mikrofon, a zadanie nie miało na niego miejsca. Drugie uruchomienie było już czyste, a po nim czasy startu stały się czymś, co czytamy jak puls: splash około 300 ms, pierwsza twarz poniżej trzech sekund, potem zanikanie o kilkaset milisekund później.

Potem USB. Przez jedno poranne, puste mieszkanie płytka podłączyła się ponownie jedenaście razy i przy każdym takim podłączeniu odtwarzała stary zrzut awarii przy powitaniu. Bez resetów, bez widocznej utraty danych. Podejrzani to kabel albo hub, albo zarządzanie zasilaniem macOS, kiedy Mac jest uśpiony — a skoro niczego nie udowodniliśmy, niczego nie naprawiliśmy. To jest rodzaj usterki, który czeka tydzień, aż nikt się nią nie zajmie, i dopiero wtedy dostaje popołudnie.

Nazywa się Altar, bo tak właśnie wygląda nocą: jak mała świecąca kapliczka, do której dom przychodzi zapytać. A cały sens polega na nudnej zasadzie pod spodem — prośby, która potrzebuje człowieka, nigdy nie odpowiada rzecz, która tę prośbę wysłała.