Ingénierie

Ingénierie

Comment Mythex est conçu et exploité, y compris ce qui a cassé et comment nous l’avons réparé.

• Une republication ratée ne supprime jamais un backend qui fonctionne — Une republication ratée pouvait supprimer l'API en service d'une appli ou garder une version cassée. Trois correctifs sur l'annulation d'une publication en échec.
• Des alertes qui ne se déclenchent qu'une fois, et non une fois par serveur — Une alerte prévue une fois par jour est arrivée cinq fois en un après-midi. Pourquoi la mémoire locale échoue avec deux serveurs, et ce qui a corrigé le problème.
• Passer à des espaces de travail plus grands sans faire attendre personne — Un quart des espaces étaient restés à 1 Go après le passage à 2 Go. La première correction a fait attendre une personne sept minutes. Voici ce que nous avons changé.
• Facturer les bases de données selon ce qu'elles utilisent réellement — Nous estimions le coût de base de données de chaque application, et l'estimation était fausse. Chaque base est désormais facturée d'après l'usage mesuré, heure par heure.
• Détecter les applications qui plantent juste après la publication — Trois publications ont passé le contrôle de santé alors que leur API plantait quelques secondes après chaque démarrage : compter les plantages dans une liste limitée.
• Garder les tours d'agent riches en images dans la mémoire — Un tour d'agent a saturé la mémoire à 952 Mo sur des scans de catalogue. Trois causes gardaient les images trop longtemps. Voici les corrections.
• Garder les longs tours d'agent dans la fenêtre de contexte — Nos sous-agents pouvaient grossir jusqu'au refus du modèle, s'arrêter tôt pour gagner de la place ou mal compter les tokens en russe. Trois corrections.
• Garder le chat actif quand un téléphone se met en veille — Veille du téléphone, changement d'onglet, réseau coupé : deux bugs bloquaient le chat ou tronquaient la réponse. Voici comment nous les avons corrigés.
• Comment un seul chat chargé pouvait faire tomber notre API — Le 28 septembre, nos deux serveurs API ont manqué de mémoire en même temps. Le vrai correctif : charger l'historique par taille, pas par nombre de messages.
• Appuyer deux fois sur Publish ne publie plus qu'une fois — Trois publications d'une même app arrivées à 84 ms d'écart lançaient chacune un déploiement complet. La base de données décide désormais qui publie.
• Leçons SEO tirées de la correction de notre propre site — FAQ en double, mauvaise vignette dans Google, pages de modèles mal ciblées et un chemin bloqué par notre edge : ce que nous avons trouvé sur mythex.ai et corrigé.
• Les sites statiques restent en ligne pendant leur republication — Republier un site statique le vidait avant l'envoi. Désormais, l'ancien reste en ligne jusqu'au nouveau, et les changements apparaissent en secondes.
• Le crash de mémoire caché dans une étiquette de progression — Notre agent IA a manqué de mémoire en écrivant un gros fichier. La cause : une étiquette de statut renvoyée 41 000 fois, et ni le modèle ni les sous-agents.
• Le fichier de swap manquant qui a figé nos serveurs — Un serveur de production a cessé de répondre sans planter, à cause du thrashing du cache sur une machine sans swap. Ce qui s'est passé et ce que nous avons changé.
• Réveiller les bases de données sans connexions mortes — Une application publiée qui se réveillait retenait sa première requête 10 à 12 s sur des connexions mortes. Nous l'avons ramenée à 2,3 secondes.
• Nous nous limitions nous-mêmes en débit — La limite de débit par adresse de notre API traitait nos propres services comme une seule personne, et ils recevaient des 429. Comment nous l'avons corrigé.
• Pourquoi nous avons migré les serveurs de Mythex vers ARM — Le travail lourd étant passé en bacs à sable, nos serveurs n'utilisaient qu'un tiers de leur mémoire. Des instances ARM : environ 30 % d'économies.
• Comment nous sommes arrivés à zéro erreur 502 lors des déploiements — Un watchdog en conflit avec nos déploiements et un répartiteur de charge trop lent à réagir : comment nous avons corrigé les deux et ramené les 502 de 10 à zéro.