Inženjerstvo

Inženjerstvo

Kako se Mythex pravi i održava, uključujući šta se pokvarilo i kako smo popravili.

• Neuspelo ponovno objavljivanje nikad ne briše radni backend — Neuspelo ponovno objavljivanje moglo je da obriše živi API aplikacije ili ostavi pokvarenu verziju da radi. Tri ispravke načina poništavanja neuspele objave.
• Upozorenja koja se šalju jednom, a ne jednom po serveru — Dnevno upozorenje stiglo nam je pet puta za jedno popodne. Zašto deduplikacija u memoriji ne radi sa dva servera i deployom i kako ju je Redis popravio.
• Prelazak na veće radne prostore bez čekanja za bilo koga — Četvrtina radnih prostora ostala je na 1 GB posle prelaska na 2 GB. Prva popravka naterala je jednu osobu da čeka sedam minuta. Šta smo promenili i šta smo ponovo promenili.
• Naplaćivanje baza podataka prema onome što zaista koriste — Ranije smo procenjivali trošak baze svake aplikacije, a procena je grešila u oba smera. Sada se svaka baza naplaćuje prema izmerenoj potrošnji, sat po sat.
• Hvatanje aplikacija koje padaju odmah posle objavljivanja — Tri objave prošle su našu proveru zdravlja dok je njihov API padao nekoliko sekundi posle svakog pokretanja. Uzrok: brojanje padova u listi ograničenoj na pet unosa.
• Kako agentske radnje sa puno slika ostaju u okviru memorije — Radnja agenta koja je gledala skenirane kataloge ostala je bez memorije na 952 MB. Tri uzroka su zadržavala slike predugo. Evo kako smo ih popravili.
• Kako duge agentske radnje ostaju u kontekstnom prozoru — Podagenti su mogli da rastu dok ih model ne odbije, da rano stanu ili pogrešno broje tokene na ruskom. Tri ispravke za dug AI rad.
• Kako čet ostaje aktivan kada telefon spava — Telefoni se uspavaju, menjaju tabove i gube mrežu usred pravljenja. Dve greške su čet ostavljale zaglavljen ili sa pola odgovora. Kako smo ih popravili.
• Kako je jedno teško ćaskanje moglo da obori naš API — Dana 28. septembra oba naša API servera ostala su bez memorije istovremeno. Prava ispravka: istorija ćaskanja se učitava po veličini, a ne samo po broju.
• Dvostruki pritisak na Publish sada objavljuje jednom — Tri zahteva za objavu iste aplikacije stigla su 84 ms jedan za drugim, pa je svaki pokrenuo pun deploy. Kako sada baza odlučuje ko objavljuje i kako smo ostalima rekli istinu.
• SEO lekcije iz popravljanja sopstvenog sajta — Dupli FAQ markup, pogrešna sličica u Googleu, stranice šablona na koje niko nije kliknuo i putanja koju je naša ivica odbijala: šta smo našli na mythex.ai i popravili.
• Statički sajtovi sada ostaju aktivni dok se ponovo objavljuju — Statički sajt više ne ostaje prazan dok se ponovo objavljuje. Stari sajt radi dok novi ne stigne, a promene se vide za nekoliko sekundi.
• Crash zbog nedostatka memorije skriven u oznaci napretka — Naš AI agent ostao je bez memorije dok je pisao jedan veliki fajl. Uzrok nisu bili model ni paralelni podagenti, već oznaka statusa poslata 41.000 puta.
• Nedostajući swap fajl koji je zamrznuo naše servere — Produkcioni server prestao je da odgovara bez pada i bez greške zbog memorije, samo od trešenja keš stranica na mašini bez swap prostora. Šta se desilo i šta smo promenili.
• Buđenje baza podataka bez mrtvih konekcija — Objavljena aplikacija koja se budila iz sna držala je prvi zahtev 10–12 sekundi zbog konekcija ka bazi koje su umrle dok je spavala. Kako smo to svele na 2,3 sekunde.
• Ograničavali smo sopstvene servise — Limit zahteva po adresi u našem API-ju tretirao je naše servise kao jednu zauzetu osobu, pa su u produkciji počeli da dobijaju 429 greške. Kako smo to otkrili i popravili.
• Zašto smo prebacili Mythex servere na ARM — Kada je teški posao prešao u sandbox-ove po projektu, naši serveri su koristili trećinu memorije. Manji ARM serveri smanjili su troškove za oko 30%. Evo kako.
• Kako smo spustili deploy na nula grešaka 502 — Watchdog koji se utrkivao sa deployima i balanser koji je prekasno primetio: kako smo ih pronašli, popravili i izmerili deploy sa 10 grešaka 502 na nula.