Udvikling

Udvikling

Sådan bygges og drives Mythex, herunder hvad der gik i stykker, og hvordan vi fiksede det.

• En mislykket genudgivelse sletter aldrig en fungerende backend — En mislykket genudgivelse kunne slette en apps live API eller lade en defekt ny version køre. Tre rettelser i, hvordan Mythex fortryder en udgivelse, der går galt.
• Alarmer, der udløses én gang, ikke én gang pr. server — En alarm, der højst skal nå os én gang i døgnet, kom fem gange på en eftermiddag. Hvorfor deduplikering i hukommelsen fejler med to servere, og hvordan delt lager rettede det.
• Flytning til større workspaces uden at få nogen til at vente — En fjerdedel af vores workspaces sad fast på 1 GB efter opgraderingen til 2 GB. Vores første rettelse fik én person til at vente syv minutter. Hvad vi ændrede.
• Fakturering af databaser efter hvad de faktisk bruger — Vi plejede at estimere hver apps databaseomkostning, og estimatet var forkert i begge retninger. Nu faktureres hver database ud fra målt forbrug, time for time.
• At fange apps, der crasher lige efter udgivelse — Tre udgivelser bestod vores sundhedstjek, mens deres API crashede sekunder inde i hver opstart. Årsagen: at tælle crashes i en liste begrænset til fem poster.
• Sådan holder vi billedtunge agent-forløb inden for hukommelsen — Et agent-forløb, der kiggede på katalogscanninger, løb tør for hukommelse ved 952 MB. Tre adskilte årsager holdt billeder for længe, og vi rettede alle tre.
• Sådan holder vi lange agent-forløb inden for context-vinduet — Under-agenter voksede, indtil modellen afviste dem, stoppede for at spare plads eller talte russiske tokens forkert. Tre rettelser lader lang AI-arbejde blive færdigt.
• Sådan holder vi chatten i live, når telefonen sover — Telefoner sover, skifter faner og mister netværk midt i et byg. To fejl fik Mythex' chat til at gå i stå eller vise halvt et svar bagefter. Sådan fandt og rettede vi dem.
• Hvordan én tung chat kunne slå vores API ned — Den 28. september løb begge API-servere tør for hukommelse samtidig. Første rettelse var mere hukommelse; den rigtige var at hente chathistorik efter størrelse, ikke antal.
• Tryk på Publish to gange, og der publiceres stadig kun én gang — Tre publiceringsanmodninger for én app kom 84 ms fra hinanden, og hver kørte et fuldt deploy. Databasen afgør nu, hvem der publicerer, og de andre får sandheden at vide.
• SEO-lektioner fra at rette vores egen side — Dobbelt FAQ-markup, det forkerte miniaturebillede i Google, skabelonsider ingen klikkede på og en sti vores edge afviste. Det fandt vi på mythex.ai og rettede.
• Statiske sites forbliver oppe, mens de udrulles igen — Før blev et statisk site tømt, før det nye build blev uploadet. Nu serverer det gamle site, indtil det nye er på plads, og ændringer vises på sekunder.
• Hukommelsesfejlen gemt i en fremskridtslabel — Vores AI-agent løb tør for hukommelse, mens den skrev en stor fil. Årsagen var hverken modellen eller parallelle sub-agenter, men en statuslabel, der blev sendt 41.000 gange.
• Den manglende swap-fil, der frøs vores servere — En produktionsserver holdt op med at svare uden at gå ned — ingen out-of-memory-dræb, bare page-cache-trashing på en maskine uden swap. Hvad der skete, og hvad vi ændrede.
• Vågn databaser op uden døde forbindelser — En publiceret app, der vågnede fra dvale, holdt sin første forespørgsel i 10–12 sekunder på databaseforbindelser, der var døde under dvalen. Sådan kom vi ned på 2,3 sekunder.
• Vi satte rate limits på vores egne tjenester — Vores API's rate limit pr. adresse behandlede vores egne tjenester som én travl person, og i produktion begyndte de at få 429'er. Sådan fandt vi det og rettede det.
• Hvorfor vi flyttede Mythex' servere til ARM — Da det tunge arbejde flyttede ind i sandkasser pr. projekt, brugte vores servere en tredjedel af hukommelsen. Mindre ARM-instanser sænkede omkostningerne med omkring 30 %.
• Sådan fik vi udrulninger ned til nul 502-fejl — En watchdog, der kappedes med vores udrulninger, og en load balancer, der reagerede for sent: hvordan vi fandt begge, rettede dem og fik udrulninger fra 10 502'er til nul.