Inžinerija

Inžinerija

Kaip kuriamas ir veikia Mythex, įskaitant tai, kas sugedo ir kaip tai sutvarkėme.

• Nepavykusi pakartotinė publikacija niekada neištrina veikiančio backend'o — Nepavykusi pakartotinė publikacija galėjo ištrinti gyvą API arba palikti veikti sugedusią versiją. Trys pataisymai, kaip Mythex atšaukia nepavykusias publikacijas.
• Įspėjimai, kurie suveikia vieną kartą, o ne kartą kiekviename serveryje — Vienas kasdienis įspėjimas per popietę atėjo penkis kartus. Kodėl atmintyje saugomas dedupe lūžta su dviem serveriais ir diegimais, ir kaip bendra saugykla tai ištaisė.
• Perkėlimas į didesnes darbo erdves be ilgesnio laukimo kam nors — Ketvirtadalis darbo erdvių liko su 1 GB, kai perėjome prie 2 GB. Pirmasis sprendimas vienam žmogui sukėlė septynių minučių laukimą. Ką pakeitėme ir kodėl.
• Duomenų bazių apmokestinimas pagal tai, ką jos iš tikrųjų naudoja — Anksčiau įvertindavome duomenų bazių kainas ir klydome abiem kryptimis. Dabar kiekviena duomenų bazė mokama pagal išmatuotą naudojimą, valandą po valandos.
• Programėlių, kurios sugenda iškart po publikavimo, sugavimas — Trys publikavimai praėjo sveikatos patikrą, nors jų API sugedo kiekvieno paleidimo metu. Priežastis: gedimų skaičiavimas penkių įrašų sąraše.
• Vaizdais gausius agento ciklus išlaikome atmintyje — Agento ciklas, nuolat žiūrėjęs į katalogo nuskaitymus, pasiekė 952 MB ir ištuštino atmintį. Trys atskiros priežastys laikė vaizdus per ilgai. Kaip jas ištaisėme.
• Ilgi agento darbai telpa į konteksto langą — Sub-agentai augo, kol modelis juos atmetė, sustojo anksti taupydami vietą arba klaidingai skaičiavo žetonus rusų kalba. Trys pataisymai ilgiems darbams.
• Pokalbis išlieka gyvas, kai telefonas miega — Telefonai užmiega, persijungia skirtukus ir praranda tinklą kurdami. Dvi klaidos sustabdydavo pokalbį arba rodydavo pusę atsakymo. Kaip jas ištaisėme.
• Vienas sunkus pokalbis galėjo numušti mūsų API — Rugsėjo 28 d. abu API serveriai vienu metu išseko atmintis. Pirmas taisymas buvo daugiau atminties, o tikras – istorija kraunama pagal dydį, ne skaičių.
• Dukart spaudus Publish, dabar publikuojama tik kartą — Trys tos pačios programėlės publikavimo užklausos atkeliavo per 84 ms, ir kiekviena paleido diegimą. Dabar duomenų bazė nusprendžia, kuri užklausa laimi.
• SEO pamokos iš savo svetainės taisymo — Dubliuotas DUK žymėjimas, neteisinga Google miniatiūra, šablonų puslapiai be paspaudimų ir kelias, kurio kraštinis serveris neįleido. Ką radome mythex.ai ir ką pataisėme.
• Statinės svetainės lieka veikiančios, kol jos publikuojamos iš naujo — Anksčiau statinės svetainės pakartotinis publikavimas ištuštindavo svetainę. Dabar sena versija veikia, kol nauja įdiegta, o pakeitimai matomi per kelias sekundes.
• Atminties perpildymo klaida, paslėpta progreso etiketėje — Mūsų AI agentui pritrūko atminties rašant vieną didelį failą. Priežastis nebuvo modelis ar lygiagretūs subagentai – tai buvo būsenos etiketė, siųsta 41 000 kartų.
• Trūkstamas swap failas, kuris sustabdė mūsų serverius — Gamybos serveris nustojo atsakinėti, nors nenulūžo ir nebuvo nužudytas dėl atminties – tik puslapių talpyklos trikdžiai serveryje be swap. Kas nutiko ir ką pakeitėme.
• Duomenų bazių pabudimas be negyvų ryšių — Publikuota programėlė, pabudusi iš miego, pirmą užklausą laikė 10–12 sekundžių dėl duomenų bazės ryšių, kurie miego metu nutrūko. Kaip sumažinome iki 2,3 sekundės.
• Patys ribojome savo paslaugas — Mūsų API riba vienam adresui traktavo mūsų pačių paslaugas kaip vieną asmenį, todėl gamyboje jos gavo 429 klaidas. Kaip tai radome ir ištaisėme.
• Kodėl perkėlėme Mythex serverius į ARM — Perkėlus sunkų darbą į projektų smėlio dėžes, serveriai naudojo trečdalį atminties. Mažesni ARM egzemplioriai sumažino sąskaitą maždaug 30%.
• Kaip pasiekėme, kad diegimai neturėtų 502 klaidų — Sargiklis lenktyniavo su diegimais, o balansuotojas pastebėjo per vėlai. Kaip radome abu, ištaisėme ir diegimus sumažinome nuo 10 502 klaidų iki nulio.