Razvoj

Razvoj

Kako se Mythex pravi i održava, uključujući ono što se pokvarilo i kako smo to popravili.

• Neuspjelo ponovno objavljivanje nikada ne briše backend koji radi — Neuspjelo ponovno objavljivanje moglo je izbrisati živi API aplikacije ili ostaviti pokvarenu verziju u radu. Tri ispravke načina na koji Mythex poništava loše objave.
• Upozorenja koja se aktiviraju jednom, a ne jednom po serveru — Dnevno upozorenje stiglo nam je pet puta u jednom popodnevu. Zašto deduplikacija u memoriji puca sa dva servera i deployom, i kako je dijeljeno stanje to riješilo.
• Prelazak na veće radne prostore bez čekanja za bilo koga — Četvrtina radnih prostora ostala je na 1 GB nakon prelaska na 2 GB. Naša prva ispravka natjerala je jednog korisnika da čeka sedam minuta. Šta smo promijenili.
• Naplata baza podataka prema onome što zaista koriste — Nekada smo procjenjivali trošak baze podataka svake aplikacije, a procjena je bila pogrešna u oba smjera. Sada se svaka baza naplaćuje prema izmjerenoj potrošnji, sat po sat.
• Hvatanje aplikacija koje se sruše odmah nakon objavljivanja — Tri objave prošle su naš health check dok se njihov API rušio nekoliko sekundi nakon svakog pokretanja. Uzrok: brojanje padova u listi ograničenoj na pet unosa.
• Držanje zahtjevnih poteza agenta sa slikama u okviru memorije — Potez agenta koji je stalno gledao skenirane kataloge ostao je bez memorije na 952 MB. Tri zasebna uzroka, od kojih je svaki predugo držao slike, i kako smo ih popravili.
• Držanje dugih poteza agenta unutar kontekstnog prozora — Pod-agenti su mogli narasti dok ih model ne odbije, stati ranije da uštede prostor ili pogrešno brojati tokene na ruskom. Tri popravke koje omogućavaju završetak dugog rada.
• Održavanje chata živim kada telefon zaspi — Telefoni se uspavaju, mijenjaju tabove i gube mrežu usred izgradnje. Dvije greške su zaustavljale chat ili prikazivale pola odgovora. Kako smo ih našli i popravili.
• Kako jedan težak chat može srušiti naš API — Dana 28. septembra oba API servera ostala su bez memorije istovremeno. Prvo rješenje bilo je više memorije; pravo je bilo učitavanje historije po veličini, a ne po broju.
• Pritisak na Objavi dvaput sada objavljuje jednom — Tri zahtjeva za objavu jedne aplikacije stigla su s 84 ms razmaka i svaki je pokrenuo punu izgradnju. Kako smo bazi dali odluku ko objavljuje i kako smo ostalima rekli istinu.
• Lekcije o SEO-u iz popravke vlastitog sajta — Duplirani FAQ markup, pogrešna sličica u Googleu, stranice šablona na koje niko nije kliknuo i put koji je naš edge odbijao: šta smo našli na mythex.ai i popravili.
• Statički sajtovi ostaju aktivni dok se ponovo objavljuju — Ponovno objavljivanje statičkog sajta nekada ga je praznilo prije upload-a novog builda. Sada stari sajt radi dok novi nije na mjestu, a promjene se vide za nekoliko sekundi.
• Pad memorije skriven u oznaci napretka — Naš AI agent ostao je bez memorije dok je pisao veliki fajl. Uzrok nije bio model ni paralelni pod-agenti, nego oznaka statusa koja je poslana 41.000 puta.
• Nedostajuća swap datoteka koja je zamrznula naše servere — Produkcijski server prestao je odgovarati bez pada, bez kill-a zbog memorije, samo uz page-cache thrashing na mašini bez swapa. Šta se dogodilo i šta smo promijenili.
• Buđenje baza podataka bez mrtvih konekcija — Objavljena aplikacija koja se budila iz sna prvi zahtjev držala je 10 do 12 sekundi na konekcijama ka bazi koje su umrle dok je spavala. Kako smo to spustili na 2,3 sekunde.
• Sami smo ograničavali naše vlastite servise — Ograničenje po adresi na našem API-ju tretiralo je naše servise kao jednog zauzetog korisnika, pa su dobijali 429 greške. Kako smo to otkrili i popravili.
• Zašto smo Mythex servere preselili na ARM — Nakon što su teški poslovi preseljeni u sandboxe po projektu, naši serveri koristili su trećinu memorije. Manji ARM primjerci smanjili su troškove za oko 30 %. Evo kako.
• Kako smo došli do nula 502 grešaka pri deployu — Watchdog koji se takmičio s našim deployima i load balancer koji je primijetio prekasno: kako smo pronašli oba, popravili ih i izmjerili deploy s 10 502 grešaka na nula.