Инженерство

Инженерство

Како се гради и одржува Mythex – вклучително и што се расипа и како го поправивме.

• Неуспешно повторно објавување никогаш не брише работечки backend — Неуспешно повторно објавување можеше да ја избрише живата API на апликација. Три поправки во тоа како Mythex го поништува неуспешното објавување.
• Аларми што се активираат еднаш, а не еднаш на секој сервер — Дневен аларм дојде до нас пет пати за едно поподне. Зошто дедупликацијата во меморија пропаѓа со два сервери и распоредувања и како ја поправивме.
• Преместување на поголеми работни простори без да чека никој — Четвртина од работните простори беа заглавени на 1 GB откако поставивме 2 GB. Нашата прва поправка натера едно лице да чека седум минути. Што променивме и повторно променивме.
• Наплата за бази на податоци според тоа што навистина ги користат — Порано ја проценувавме цената на базата на секоја апликација, а проценката беше погрешна во двете насоки. Сега секоја база се наплаќа според измерената употреба, час по час.
• Откривање апликации што паѓаат веднаш по објавувањето — Три објавувања ја поминаа нашата проверка на здравјето иако нивниот API паѓаше неколку секунди по секое стартување. Причината: броење паѓања во листа ограничена на пет записи.
• Агентски кругови со многу слики во рамките на меморијата — Агентски круг што гледаше скенови на каталог истроши меморија на 952 MB. Три одделни причини, секоја држеше слики предолго, и како ги поправивме.
• Долги агентски кругови во рамките на контекстниот прозорец — Под-агентите растеа додека моделот не ги одбиваше, застануваа рано или погрешно броеја руски токени. Три поправки што ја овозможуваат долгата AI работа.
• Чатот да остане жив кога телефонот спие — Телефоните спијат, менуваат картички и ги губат мрежите додека се гради. Два бага го правеа чатот да застане или да прикаже половина одговор. Како ги поправивме.
• Како еден тежок разговор можеше да го сруши нашиот API — На 28 септември двата наши API сервери истовремено останаа без меморија. Првото решение беше повеќе меморија; вистинското беше вчитување на историјата по големина, не по број.
• Двоен притисок на Publish сега објавува еднаш — Три барања за објавување на иста апликација стигнаа на 84 милисекунди едно од друго. Како базата одлучува кој објавува и ги известува останатите.
• SEO лекции од поправањето на нашата сопствена страница — Дуплициран FAQ маркап, погрешна мини-слика во Google, страници со шаблони што никој не ги кликнал и патека што нашиот edge ја одби: што најдовме на mythex.ai и поправивме.
• Статичните сајтови сега остануваат достапни додека се објавуваат повторно — Порано повторното објавување прво го празнеше статичниот сајт. Сега стариот останува достапен додека новата верзија не се постави, а промените се видливи за секунди.
• Падот од недостиг на меморија скриен во една статусна лабела — Нашиот AI агент остана без меморија додека пишуваше една голема датотека. Причината не беа моделот ниту паралелните под-агенти, туку статусна лабела испратена 41.000 пати.
• Недостасувачката swap датотека што ги замрзна нашите сервери — Продукциски сервер престана да одговара, но не падна: без убивање од недостиг на меморија, само thrashing на page cache на машина без swap. Што се случи и што променивме.
• Будење бази на податоци без мртви конекции — Објавена апликација што се буди од спиење ја задржуваше првото барање 10–12 секунди на конекции кон базата што умреа додека спиеше. Како стигнавме до 2,3 секунди.
• Ги ограничувавме сопствените сервиси — Ограничувањето по мрежна адреса на нашиот API третираше наши сервиси како еден зафатен човек, а во продукција почнаа да добиваат 429 грешки. Како го најдовме и поправивме.
• Зошто ги префрливме серверите на Mythex на ARM — Откако тешката работа се префрли во sandbox средини по проект, нашите сервери користеа една третина од меморијата. Помали ARM инстанци ги намалија трошоците за околу 30%.
• Како стигнавме до нула 502 грешки при објавувања — Watchdog што се трка со објавувањата и балансер што предоцна забележал проблем: како ги најдовме, поправивме и измеривме објавувања од 10 грешки до нула.