Τεχνολογία

Τεχνολογία

Πώς φτιάχνεται και λειτουργεί το Mythex, μαζί με όσα χάλασαν και πώς τα διορθώσαμε.

• Μια αποτυχημένη επανάπτυξη δεν διαγράφει ποτέ ένα backend που δουλεύει — Μια αποτυχημένη επανάπτυξη δεν πρέπει να διαγράφει το ζωντανό API μιας εφαρμογής. Τρεις διορθώσεις στον τρόπο που το Mythex αναιρεί μια δημοσίευση που πάει στραβά.
• Ειδοποιήσεις που χτυπούν μία φορά, όχι μία φορά ανά διακομιστή — Μια ειδοποίηση που έπρεπε να έρθει μία φορά την ημέρα ήρθε πέντε φορές σε ένα απόγευμα. Γιατί η μνήμη κάθε διακομιστή δεν αρκεί και πώς η κοινή αποθήκευση το διόρθωσε.
• Μεγαλύτεροι χώροι εργασίας χωρίς να περιμένει κανείς — Ένας στους τέσσερις χώρους εργασίας έμεινε στο 1 GB μετά τη μετάβαση στα 2 GB. Η πρώτη διόρθωση έκανε έναν χρήστη να περιμένει επτά λεπτά. Τι αλλάξαμε και τι ξαναλλάξαμε.
• Χρέωση βάσεων δεδομένων με βάση τη χρήση τους — Το κόστος της βάσης κάθε εφαρμογής ήταν εκτίμηση και έπεφτε λάθος και προς τις δύο κατευθύνσεις. Τώρα κάθε βάση χρεώνεται από μετρημένη χρήση, ώρα προς ώρα.
• Εντοπισμός εφαρμογών που κρασάρουν αμέσως μετά τη δημοσίευση — Τρεις δημοσιεύσεις πέρασαν τον έλεγχο υγείας ενώ το API τους κρασάριζε δευτερόλεπτα μετά την εκκίνηση. Η αιτία: μετρούσαμε τα κρασαρίσματα σε λίστα πέντε καταχωρίσεων.
• Οι σειρές του agent με πολλές εικόνες χωρούν στη μνήμη — Μια σειρά που εξέταζε σαρώσεις καταλόγου έφτασε τα 952 MB μνήμης. Τρεις αιτίες που κρατούσαν τις εικόνες πολύ καιρό, και πώς τις διορθώσαμε.
• Διατήρηση μεγάλων σειρών εργασίας του agent μέσα στο παράθυρο συμφραζομένων — Οι υπο-agent μεγάλωναν μέχρι να τους απορρίψει το μοντέλο. Τρεις διορθώσεις: καθαρισμός παλιών αποτελεσμάτων, ολόκληρες σειρές και σωστή μέτρηση tokens.
• Η συνομιλία διατηρεί τη σύνδεση όταν ο τηλέφωνο κοιμάται — Τα τηλέφωνα κλειδώνουν και αλλάζουν δίκτυα. Δύο σφάλματα έκαναν τη συνομιλία να κολλάει ή να δείχνει μισή απάντηση. Πώς τα βρήκαμε και τα διορθώσαμε.
• Πώς μία βαριά συνομιλία θα μπορούσε να ρίξει το API μας — Στις 28 Σεπτεμβρίου και οι δύο servers του API εξαντλήθηκαν από μνήμη μαζί. Η αιτία ήταν η φόρτωση ιστορικού με βάση το πλήθος, όχι το μέγεθος.
• Το πάτημα της Δημοσίευσης δύο φορές πλέον δημοσιεύει μία φορά — Τρία αιτήματα δημοσίευσης για την ίδια εφαρμογή ξεκίνησαν τρία deploys. Πώς η βάση αποφασίζει ποιος δημοσιεύει, και πώς λέμε στους υπόλοιπους την αλήθεια.
• Τα μαθήματα SEO από τη διόρθωση του δικού μας site — Διπλό markup FAQ, λάθος μικρογραφία στο Google, σελίδες προτύπων χωρίς κλικ και μια διαδρομή που το edge απέρριπτε. Τι βρήκαμε και τι διορθώσαμε.
• Οι στατικοί ιστότοποι μένουν online όσο ξαναδημοσιεύονται — Η ξαναδημοσίευση στατικού site δεν το αδειάζει πια. Το παλιό μένει online μέχρι να μπει το νέο, και οι αλλαγές φαίνονται σε δευτερόλεπτα.
• Η κρυφή κατάρρευση μνήμης σε μια ετικέτα προόδου — Ο πράκτορας εξαντλήθηκε από μνήμη σε ένα μεγάλο αρχείο. Η αιτία δεν ήταν το μοντέλο ή οι υποπράκτορες, αλλά μια ετικέτα προόδου που στάλθηκε 41.000 φορές.
• Το λείπον αρχείο swap που πάγωνε τους διακομιστές μας — Ένας διακομιστής παραγωγής σταμάτησε να απαντά χωρίς να καταρρεύσει. Χωρίς swap, η page cache μπήκε σε thrashing. Τι συνέβη και τι αλλάξαμε.
• Ξύπνημα βάσεων δεδομένων χωρίς νεκρές συνδέσεις — Μια δημοσιευμένη εφαρμογή που ξυπνούσε κρατούσε το πρώτο αίτημα 10–12 δευτερόλεπτα σε συνδέσεις που πέθαναν όσο κοιμόταν. Πώς φτάσαμε στα 2,3 δευτερόλεπτα.
• Περιορίζαμε τις δικές μας υπηρεσίες — Το όριο αιτημάτων ανά διεύθυνση αντιμετώπιζε τις δικές μας υπηρεσίες σαν έναν χρήστη και έπαιρναν 429 στην παραγωγή. Πώς το βρήκαμε και το διορθώσαμε.
• Γιατί μεταφέραμε τους διακομιστές του Mythex σε ARM — Με τα βαριά φορτία σε sandboxes ανά έργο, οι διακομιστές μας χρησιμοποιούσαν ένα τρίτο της μνήμης. Τα μικρότερα ARM μηχανήματα μείωσαν το κόστος κατά 30%.
• Πώς φτάσαμε σε μηδέν σφάλματα 502 στις αναπτύξεις — Ένα watchdog που συγκρουόταν με τις αναπτύξεις και ένας load balancer που το κατάλαβε αργά. Πώς τα διορθώσαμε και πώς τα 10 σφάλματα 502 έγιναν μηδέν.