Η OpenAI περιγράφει πώς το Habitat μετατράπηκε από μια μικρή βιβλιοθήκη Python σε κεντρική πλατφόρμα αποθήκευσης που εξυπηρετεί περισσότερα από 70 εκατομμύρια αιτήματα το δευτερόλεπτο, πάνω από 1 δισεκατομμύριο ανθρώπους την εβδομάδα και περισσότερα από 500 petabytes δεδομένων. Η ιστορία δεν είναι μόνο μια άσκηση υποδομής· δείχνει τι συμβαίνει όταν οι AI υπηρεσίες μεγαλώνουν ταχύτερα από τον συνήθη σχεδιασμό των συστημάτων.
Από βιβλιοθήκη σε κοινή υποδομή
Το Habitat ξεκίνησε στο DevDay του 2023 ως μια μικρή βιβλιοθήκη Python, ώστε οι ομάδες προϊόντων να αποθηκεύουν και να ανακτούν δεδομένα χωρίς να διαχειρίζονται οι ίδιες βάσεις, routing, εξουσιοδότηση, κρυπτογράφηση και connection pooling. Στην αρχή συνδεόταν με την Azure Cosmos DB και λειτουργούσε ως απλό επίπεδο αφαίρεσης πάνω από το ChatGPT.
Καθώς αυξάνονταν τα προϊόντα και οι υπηρεσίες της OpenAI, οι αλλαγές στη βιβλιοθήκη απαιτούσαν συντονισμό δεκάδων ομάδων. Μια αλλαγή στο routing, για παράδειγμα, έπρεπε να κυκλοφορήσει σε όλους τους clients και να ενεργοποιηθεί προσεκτικά. Η εταιρεία αποφάσισε έτσι να μεταφέρει το Habitat σε αυτόνομη υπηρεσία, με ένα κεντρικό σημείο για deployments, παρατηρησιμότητα, ελέγχους πρόσβασης και προστασία των δεδομένων.
Η επιλογή αυτή έχει και διάσταση ασφάλειας. Η πλατφόρμα μπορεί να εφαρμόζει ενιαίες πολιτικές πρόσβασης, να καταγράφει ενέργειες και να περιορίζει την επαφή με τις υποκείμενες αποθήκες. Σε ένα οικοσύστημα όπου δεδομένα χρησιμοποιούνται από ChatGPT, API, Codex και εσωτερικές υπηρεσίες, ο κεντρικός έλεγχος μειώνει τον κίνδυνο διαφορετικών και ασύμβατων πρακτικών.
Η δύσκολη πλευρά της Python σε μεγάλη κλίμακα
Η OpenAI κράτησε αρχικά την Python, παρότι γνώριζε ότι μια υπηρεσία υψηλής διακίνησης θα είχε μεγαλύτερο κόστος σε CPU, μνήμη και network latency από μια τοπική βιβλιοθήκη. Η προτεραιότητα ήταν να σταθεροποιηθεί γρήγορα η πλατφόρμα και να απελευθερωθούν οι ομάδες προϊόντων, ακόμη κι αν αυτό δημιουργούσε τεχνικό χρέος για αργότερα.
Το βασικό πρόβλημα δεν ήταν απλώς ο μέσος χρόνος απόκρισης. Επειδή ένα αίτημα χρήστη μπορεί να προκαλεί εκατοντάδες κλήσεις σε βάσεις δεδομένων, η εμπειρία επηρεάζεται από την πιο αργή κλήση. Η asyncio επιτρέπει ταυτόχρονη διαχείριση I/O, αλλά δεν παρέχει παράλληλη εκτέλεση CPU λόγω του GIL. Εργασίες όπως routing, συμπίεση, κρυπτογράφηση και έλεγχοι υγείας μπορούσαν επομένως να καθυστερήσουν την επεξεργασία άλλων αιτημάτων.
Η λύση ήταν να μετρώνται συστηματικά οι καθυστερήσεις του event loop και να εκτελούνται λίγα αιτήματα ανά process, με πολύ περισσότερα processes συνολικά. Η ομάδα εντόπισε επίσης προβλήματα στο polling μεγάλων ρυθμίσεων feature flags και σε έναν μηχανισμό LIFO επαναχρησιμοποίησης συνδέσεων, ο οποίος μπορούσε να στέλνει περισσότερη δουλειά σε ήδη επιβαρυμένους servers. Μικρότερες ρυθμίσεις, jitter στις ανανεώσεις και FIFO επαναχρησιμοποίηση περιόρισαν αυτούς τους φαύλους κύκλους.
Γιατί το σύστημα «κάνει λιγότερα»
Η κλιμάκωση δεν βασίστηκε σε ένα API που επιτρέπει κάθε πιθανό query. Το Habitat προσφέρει περιορισμένο NoSQL μοντέλο με προβλέψιμη εργασία, αντί για αυθαίρετα SQL queries, μεγάλα joins και απεριόριστες αναζητήσεις. Αυτό δυσκολεύει ορισμένες ομάδες, αλλά προστατεύει την online υπηρεσία από απρόβλεπτα φορτία και από latency cliffs.
Για πιο σύνθετες αναλύσεις, οι αλλαγές μεταφέρονται μέσω change data capture σε ξεχωριστές Rockset εγκαταστάσεις. Έτσι η online αποθήκευση δεν χρειάζεται να ανταγωνιστεί workloads αναζήτησης και analytics. Πρόκειται για έναν παλιό αλλά κρίσιμο κανόνα της υποδομής: οι γρήγορες συναλλαγές και η βαριά ανάλυση δεν χρειάζεται να μοιράζονται το ίδιο μονοπάτι.
Η μετάβαση στη Rust
Το δεύτερο τρίμηνο του 2026, δύο μηχανικοί, το Codex και το GPT‑5.5 ξαναέγραψαν ολόκληρη την υπηρεσία σε Rust. Σύμφωνα με την OpenAI, η νέα έκδοση χειρίζεται πλέον το 95% των production αιτημάτων, είναι έξι φορές αποδοτικότερη σε CPU και δεκαπέντε φορές αποδοτικότερη σε μνήμη από την έκδοση Python, ενώ εμφανίζει χαμηλότερες μέσες και tail latencies.
Η αναφορά δεν σημαίνει ότι η Python ήταν «λάθος» επιλογή. Η ίδια η OpenAI παρουσιάζει την αρχική υλοποίηση ως συνειδητό συμβιβασμό: η ταχύτητα ανάπτυξης και η σταθεροποίηση της πλατφόρμας προείχαν της τελικής αποδοτικότητας. Το ενδιαφέρον βρίσκεται στη σειρά των αποφάσεων — πρώτα μια απλή διεπαφή, έπειτα κεντρική υπηρεσία και τέλος αλλαγή serving stack, όταν η κλίμακα έκανε το κόστος του συμβιβασμού πολύ μεγάλο.
Το Habitat δείχνει επίσης ότι το «πάνω από ένα δισεκατομμύριο χρήστες» δεν είναι μόνο πρόβλημα χωρητικότητας. Είναι πρόβλημα συντονισμού, απομόνωσης, data residency, ελέγχου πρόσβασης και ουρών καθυστέρησης. Η υποδομή πρέπει να παραμένει προβλέψιμη ακόμη και όταν η ζήτηση, οι περιοχές και τα προϊόντα αλλάζουν συνεχώς.
Η OpenAI αναφέρει ότι στο επόμενο μέρος θα παρουσιάσει περισσότερες λεπτομέρειες για το multi-tenancy, τη βελτιστοποίηση των read paths και τη συνεργασία με την Azure Cosmos DB. Αυτά τα στοιχεία θα δείξουν αν τα κέρδη της νέας υπηρεσίας διατηρούνται όταν το βάρος μεταφέρεται από τον κώδικα αποθήκευσης στη βάση και στην παγκόσμια κατανομή δεδομένων.