Ինժեներիա

Ինժեներիա

Ինչպես է ստեղծված և աշխատում Mythex-ը, ներառյալ այն, ինչ կոտրվեց, և ինչպես ուղղեցինք։

• Ձախողված վերահրապարակումը երբեք չի ջնջում աշխատող backend-ը — Ձախողված վերահրապարակումը կարող էր ջնջել ակտիվ API-ն։ Երեք շտկում, թե ինչպես է Mythex-ը հետ շրջում ձախողված հրապարակումը։
• Ահազանգեր, որոնք գործում են մեկ անգամ, ոչ թե մեկ անգամ յուրաքանչյուր սերվերի համար — Ահազանգը, որ պետք է գար օրական մեկ անգամ, մի կեսօրվա ընթացքում հասավ հինգ անգամ։ Ինչու և ինչպես շտկվեց։
• Անցում ավելի մեծ աշխատանքային տարածքների՝ առանց որևէ մեկին սպասեցնելու — Մեր աշխատանքային տարածքների քառորդը մնաց 1 ԳԲ, երբ մենք անցանք 2 ԳԲ-ի։ Մեր առաջին շտկումը մի մարդու սպասեցրեց յոթ րոպե։ Ինչ փոխեցինք և նորից փոխեցինք։
• Տվյալների բազաների վճարումը՝ ըստ իրական օգտագործման — Մեր նախկին գնահատումը սխալ էր։ Այժմ յուրաքանչյուր տվյալների բազա վճարվում է չափված օգտագործումից՝ ժամ առ ժամ։
• Բռնել հավելվածները, որոնք խափանվում են հրապարակումից անմիջապես հետո — Երեք հրապարակում անցան health check-ը, թեև API-ն խափանվում էր ամեն գործարկման ժամանակ։ Պատճառը. խափանումները հաշվվում էին սահմանափակ ցուցակում։
• Պատկերներով ծանր agent-ի քայլերը պահել հիշողության սահմաններում — Agent-ի մի քայլ, որը դիտում էր կատալոգի սկանները, սպառեց 952 ՄԲ հիշողություն։ Երեք առանձին պատճառ և ինչպես շտկեցինք դրանք։
• Երկար agent-ի քայլերը պահել context window-ի սահմաններում — Մեր ենթա-agent-ները կարող էին աճել այնքան, որ մոդելը մերժեր դրանք, կանգ առնել տեղը խնայելու համար, կամ սխալ հաշվել ռուսերեն թոքենները։ Երեք շտկում։
• Չատը կենդանի պահել, երբ հեռախոսը քնում է — Հեռախոսները քնում են, փոխում են ներդիրները և կորցնում ցանցը կառուցման մեջտեղում։ Երկու սխալ թողնում էին չատը կանգնած կամ կիսատ պատասխանով։ Ինչպես գտանք և շտկեցինք դրանք։
• Մեկ ծանր չատը կարող էր API-ն վթարի ենթարկել — Սեպտեմբերի 28-ին մեր երկու API սերվերները միաժամանակ սպառեցին հիշողությունը։ Առաջին շտկումը ավելի հիշողություն էր, իրականը՝ չատի պատմության բեռնումն ըստ չափի, ոչ թե քանակի։
• Publish-ը երկու անգամ սեղմելիս այժմ հրապարակվում է մեկ անգամ — Նույն հավելվածի երեք հրապարակման հարցում 84 մվ ընդմիջումով հասավ, և յուրաքանչյուրն աշխատեցրեց լրիվ deploy։ Ինչպես բազան դարձավ կողպում և ասաց ճշմարտությունը։
• SEO դասեր մեր սեփական կայքը շտկելուց — Կրկնվող FAQ նշումներ, սխալ մանրապատկեր Google-ում, շաբլոնային էջեր առանց սեղմումների և եզր, որ մերժում էր ուղի։ Ինչ գտանք mythex.ai-ում և ինչ շտկեցինք։
• Ստատիկ կայքերը մնում են ակտիվ նորից հրապարակելու ընթացքում — Ստատիկ կայքի նորից հրապարակումը նախկինում դատարկում էր այն։ Այժմ հին տարբերակը մնում է ակտիվ, մինչև նորը գա, և փոփոխությունները երևում են վայրկյաններում։
• Հիշողության սպառման վթարը, որը թաքնված է առաջընթացի պիտակում — Մեր AI agent-ը հիշողությունը սպառեց մեծ ֆայլ գրելիս։ Պատճառը ոչ մոդելն էր, ոչ ենթա-agent-ները, այլ կարգավիճակի պիտակը, որ 41,000 անգամ էր ուղարկվել։
• Բացակայող swap ֆայլը, որը սառեցրեց մեր սերվերները — Արտադրական սերվերը դադարեց պատասխանել առանց խափանվելու՝ առանց OOM սպանության, միայն page cache-ի թրեշինգ swap չունեցող սարքի վրա։ Ինչ եղավ և ինչ փոխեցինք։
• Բազաները արթնացնելը՝ առանց մեռած կապերի — Հրապարակված հավելվածը քնից արթնանալիս առաջին հարցումը 10–12 վայրկյան էր պահում մեռած բազայի կապերի վրա։ Ինչպես իջեցրինք այն մինչև 2.3 վայրկյան։
• Մենք սահմանափակում էինք մեր սեփական ծառայությունները — Մեր API-ի հասցեով սահմանափակումը սխալմամբ վարվեց մեր սեփական ծառայությունների հետ որպես մեկ զբաղված անձի, և արտադրության մեջ նրանք 429 սխալ ստացան։
• Ինչու տեղափոխեցինք Mythex-ի սերվերները ARM-ի վրա — Ծանր աշխատանքը sandbox-ներ տեղափոխելուց հետո սերվերները օգտագործում էին հիշողության մեկ երրորդը։ ARM ինստանսները կրճատեցին արժեքը մոտ 30%-ով։ Ինչպես։
• Ինչպես հասանք deploy-ների զրո 502 սխալի — Watchdog-ը, որ մրցում էր մեր deploy-ների հետ, և load balancer, որ շատ ուշ նկատեց։ Ինչպես գտանք երկուսն էլ, շտկեցինք և չափեցինք՝ 10 502-ից մինչև զրո։