Engenharia

Engenharia

Como o Mythex é construído e operado, incluindo o que quebrou e como corrigimos.

• Uma republicação com falha nunca apaga um backend que funciona — Uma republicação com falha poderia apagar a API ativa de um app ou deixar uma versão quebrada rodando. Três correções em como a Mythex desfaz publicações que falham.
• Alertas que disparam uma vez, e não uma vez por servidor — Um alerta diário chegou cinco vezes em uma única tarde. Por que a deduplicação em memória quebra com dois servidores e um deploy, e como um estado compartilhado resolveu.
• Migrar para workspaces maiores sem fazer ninguém esperar — Um quarto dos workspaces ficou preso em 1 GB depois da troca para 2 GB. Nossa primeira correção fez uma pessoa esperar sete minutos. O que mudamos, e mudamos de novo.
• Cobrar os bancos de dados pelo que eles realmente usam — Antes estimávamos o custo do banco de dados de cada app, e a estimativa errava para os dois lados. Agora cada banco é cobrado pelo uso medido, hora a hora.
• Pegando apps que travam logo depois de publicar — Três publicações passaram no health check enquanto a API travava segundos após cada inicialização. A causa: contar falhas em uma lista limitada a cinco entradas.
• Mantendo os turnos do agente com muitas imagens dentro da memória — Um turno do agente analisando digitalizações de catálogo ficou sem memória com 952 MB. Três causas separadas mantinham imagens por tempo demais, e cada uma foi corrigida.
• Mantendo turnos longos do agente dentro da janela de contexto — Sub-agentes cresciam até o modelo recusá-los, paravam cedo para economizar espaço ou contavam tokens errado em russo. Três correções fazem o trabalho longo de IA terminar.
• Mantendo o chat ativo quando o celular entra em suspensão — Celulares suspendem, trocam de aba e perdem a rede durante uma criação. Dois bugs faziam o chat travar ou mostrar metade da resposta. Veja como os corrigimos.
• Como um único chat pesado poderia derrubar nossa API — Em 28 de setembro, os dois servidores da API ficaram sem memória juntos. A primeira correção deu mais memória; a real foi carregar o histórico por tamanho, não por quantidade.
• Clicar em Publicar duas vezes agora publica uma vez só — Três pedidos para publicar o mesmo app chegaram com 84 ms de diferença, e cada um rodou um deploy completo. Agora o banco decide quem publica e os outros são avisados.
• Lições de SEO ao corrigir o nosso próprio site — Marcação de FAQ duplicada, miniatura errada no Google, páginas de modelos sem cliques e um caminho recusado pela nossa borda: o que achamos no mythex.ai e corrigimos.
• Sites estáticos agora continuam no ar enquanto são publicados de novo — Republicar um site estático não o esvazia mais antes do upload. O site antigo continua no ar até o novo estar no lugar, e as mudanças aparecem em segundos.
• A falta de memória escondida em um rótulo de progresso — Nosso agente de IA ficou sem memória ao escrever um arquivo grande. A causa não era o modelo nem os subagentes em paralelo: era um rótulo de status reenviado 41.000 vezes.
• O arquivo de swap que faltava e travou os nossos servidores — Um servidor de produção parou de responder sem travar: nem morte por falta de memória, só thrashing do cache de páginas numa máquina sem swap. O que aconteceu e o que mudamos.
• Acordar bancos de dados sem conexões mortas — Um app publicado que acordava do repouso segurava a primeira requisição por 10 a 12 segundos em conexões mortas. Reduzimos isso para 2,3 segundos.
• Estávamos limitando a taxa dos nossos próprios serviços — O limite de taxa por endereço da API tratava nossos próprios serviços como uma pessoa ocupada, e em produção eles recebiam 429. Como encontramos e corrigimos.
• Por que movemos os servidores do Mythex para ARM — Com o trabalho pesado em sandboxes por projeto, nossos servidores usavam um terço da memória. Instâncias ARM menores cortaram o custo em cerca de 30%. Veja como.
• Como zeramos os erros 502 nos deploys — Um watchdog que competia com os deploys e um balanceador que percebeu tarde demais. Como achamos os dois problemas e fomos de 10 erros 502 para zero.