Razvoj

Razvoj

Kako se Mythex gradi i održava, uključujući ono što se pokvarilo i kako smo to popravili.

• Neuspjelo ponovno objavljivanje nikad ne briše radni backend — Neuspjelo ponovno objavljivanje moglo je izbrisati živi API aplikacije ili ostaviti pokvarenu verziju. Tri ispravka kako Mythex poništava neuspjelu objavu.
• Upozorenja koja se šalju jednom, a ne jednom po serveru — Dnevno upozorenje stiglo nam je pet puta. Zašto deduplikacija u memoriji puca s dvije replike i deployima, i kako ju je popravilo dijeljeno stanje.
• Prelazak na veće radne prostore bez čekanja nikoga — Četvrtina radnih prostora ostala je na 1 GB nakon prelaska na 2 GB. Prvi popravak natjerao je jednu osobu da čeka sedam minuta. Što smo promijenili.
• Naplata baza podataka prema stvarnoj potrošnji — Nekad smo procjenjivali trošak baze svake aplikacije, a procjena je griješila u oba smjera. Sada se svaka baza naplaćuje prema izmjerenoj potrošnji, sat po sat.
• Hvatanje aplikacija koje se sruše odmah nakon objave — Tri objave prošle su provjeru zdravlja dok se API ruši pri svakom pokretanju. Uzrok: brojanje padova u listi ograničenoj na pet unosa.
• Zadržavanje agentskih koraka bogatih slikama unutar memorije — Jedan agentski korak koji je stalno gledao skenove kataloga ostao je bez memorije na 952 MB. Tri zasebna uzroka, svaki je zadržavao slike predugo, i kako smo ih popravili.
• Dugi agentski koraci unutar kontekstnog prozora — Naši pod-agenti rasli su dok ih model nije odbio, zaustavljali se rano da sačuvaju mjesto ili krivo brojali tokene na ruskom. Tri popravka za dovršetak dugog rada.
• Chat ostaje živ kad telefon zaspi — Telefoni zaspu, prebacuju kartice i gube mrežu usred builda. Dvije greške su uzrokovale da se chat zaustavi ili kasnije prikaže pola odgovora. Kako smo ih našli i popravili.
• Kako jedan težak chat može srušiti naš API — Dana 28. rujna oba API servera ostala su bez memorije u isto vrijeme. Prvi popravak bila je veća memorija, a pravi učitavanje povijesti chata po veličini, ne po broju.
• Pritisak na Publish dvaput sada objavljuje jednom — Tri zahtjeva za objavu iste aplikacije stigla su s razmakom od 84 ms i svaki je pokrenuo puni deploy. Kako smo naveli bazu da odluči tko objavljuje i rekli ostalima istinu.
• SEO lekcije iz popravljanja vlastite stranice — Dupli FAQ označni kod, kriva sličica u Googleu, stranice predložaka koje nitko nije kliknuo i put koji je naš rub odbio: što smo našli na mythex.ai i popravili.
• Statične stranice sada ostaju aktivne dok se ponovno objavljuju — Ponovno objavljivanje statične stranice više ne prazni živu stranicu. Stara verzija radi dok nova nije na mjestu, a promjene se vide za nekoliko sekundi.
• Greška nedostatka memorije skrivena u oznaci napretka — Naš AI agent ostao je bez memorije dok je pisao jednu veliku datoteku. Uzrok nije bio model ni paralelni pod-agenti, nego oznaka statusa koja je poslana 41.000 puta.
• Nedostajuća swap datoteka koja je zamrznula naše servere — Produkcijski server prestao je odgovarati bez rušenja, bez ubijanja zbog memorije, samo thrashing page cachea na stroju bez swapa. Što se dogodilo i što smo promijenili.
• Buđenje baza podataka bez mrtvih veza — Objavljena aplikacija koja se budi iz spavanja držala je prvi zahtjev 10–12 sekundi na vezama prema bazi koje su umrle dok je spavala. Kako smo to smanjili na 2,3 sekunde.
• Sami smo ograničavali vlastite servise — Ograničenje API-ja po adresi tretiralo je naše servise kao jednu zauzetu osobu, pa su u produkciji počeli dobivati 429 greške. Kako smo to pronašli i popravili.
• Zašto smo servere Mythexa prebacili na ARM — Kad je teški posao prešao u sandboxove po projektu, naši glavni serveri koristili su trećinu memorije. Manje ARM instance smanjile su trošak za oko 30%. Kako smo to napravili.
• Kako smo došli do nula 502 grešaka pri deployu — Watchdog koji se natjecao s našim deployevima i load balancer koji je prekasno primijetio: kako smo ih pronašli, popravili i izmjerili deployeve s 10 502 grešaka na nula.