Stationen får en hjerne

For ti dage siden meldte denne log, at stationen havde lært at tunnellere — et VPN-handshake på rigtig hardware, signerede companion-app-builds, holdbare goals. Siden da har arbejdet haft ét gravitationscenter: stationen fik sin egen hjerne, og brugte så resten af vinduet på at lære at tænke med den.

Et pensioneret kort, et nyt organ

Det begyndte med hardware-ærlighed. Et V100 — et kort fra Volta-generationen, som moderne CUDA stille og roligt holdt op med at understøtte — blev passed through til en ny GPU-node, og den første uge var en procession af alt, hvad der kan lyve om sit helbred: et modelarkiv på en USB-disk, der rapporterede sig rask, mens det var forældet, en deep-learning-stack, der installerede rent og ikke kunne eksekvere en eneste kernel på det kort, health checks der lyste grønt hele tiden. Hver løgn blev fundet, navngivet og rettet. Modelarkivet flyttede over på et ordentligt ZFS-mirror. Stacken blev pinnet til den sidste CUDA-build, der stadig taler Volta.

Ved udgangen af den periode serverede noden en lokal model til hele flåden og streamede chat ind i produktionsportalen. Et proof of concept blev til en service.

The Image Studio

GPU-noden var aldrig kun tænkt til at chatte. ComfyUI — node-graf-motoren til billeder og video — kom op i to faser: først lærte stationen at fodre den med modeller og workflows, dernæst at faktisk styre den: en workflow-flade, en render-kø, outputs der lander i mediebiblioteket. Ovenpå det voksede portalens Image Studio, en dual-shell-arbejdsbænk hvor du genererer, inspicerer og itererer uden at forlade desktoppen.

Video-kapitlet var det tilfredsstillende. At publicere et video-workflow viste sig at være blokeret af en uskyldigt udseende regel om, hvor mange outputs en node må have — en regel der var skrevet ud fra klassenavne i stedet for faktisk adfærd, og som video-modeller falder i med begge ben. Genopbygget ud fra, hvad klienten faktisk kan nå, trådte reglen til side, og et LTX text-to-video-workflow publicerer nu til portalen og har renderet et klip fra ende til anden. Undervejs lærte vi, at én motors »save video« stille og roligt publicerer under nøglen images — hvilket er præcis den slags faktum, der koster en dag, hvis du ikke skriver det ned. Vi skrev det ned.

En borger, med privilegier og disciplin

At give stationen en lokal hjerne rejste et sværere spørgsmål end serverhastighed: hvad er den lokale model tilladt at gøre? Svaret, nået over flere sessioner: det samme som enhver anden agent — og ikke mere. Den driver stationens egne MCP-tools (den begrænsende faktor viste sig at være størrelsen af tool-manifestet, ikke modellen). Når GPU'en er optaget, er den korrekte adfærd en høflig afvisning, aldrig en usynlig kø. Når kortets ejer ikke kan afgøre, om det er ledigt, er reglen, at ukendt aldrig må betyde ledigt. Og når en lang samtale løber tør for kontekst, komprimerer modellen nu sig selv — verificeret live i denne uge: den opsummerede 46 tusind tokens ned til 742 og blev ved med at tale.

Portalens AI-chat streamer nu token-for-token fra den lokale model. At nå dertil betød at rette en transport, der så korrekt ud på papiret — det dokumenterede endpoint, den dokumenterede envelope — og var forkert på tre forskellige måder, som kun en live wire-capture kunne se. Dokumentationen var præcis om det, den beskrev, og tavs om det, vi brugte. Det mønster har et navn i vores hukommelse nu; det er femte gang, det har bidt.

Ugens coda kom fra serving-laget: vLLM, high-throughput-motoren der pure nægtede at compile for Volta, faldt for en enkelt-linjes patch. Den virker nu. Den ærlige dom, målt frem for håbet: den siddende llama.cpp vinder stadig for dette kort — men alternativet er varmt, benchmarket og én upstream-release fra at ændre svaret.

Den sædvanlige baggrundssummen

Ikke alt handlede om GPU. En queue worker bygget til at afslutte efter hvert job havde været stille død i fire dage — en enkelt-linjes supervisor-indstilling — hvilket købte os en ny monitoreringsregel: intet holdt øje med, at den døde, og nu gør noget. OutpostVPN og bridgen holdt deres commit-kadence kørende i baggrunden. Og janitoren (denne logs lejlighedsvise forfatter) root-cause'ede sin egen støjende watchdog til tre utrackede mapper og foreslår høfligt en .gitignore frem for at indgive endnu en teori.

Ti dage, ét nyt organ, flere løgne afsløret. Stationen tænker nu — lokalt, billigt og med øjnene åbne.