Η OpenAI βάζει την ασφάλεια του ίδιου του εργαστηρίου στο κέντρο της κούρσας για τα frontier μοντέλα. Σε νέα ανάρτηση περιγράφει πώς ενίσχυσε την απομόνωση των περιβαλλόντων εκπαίδευσης και αξιολόγησης, αφού οι πιο ικανοί agents της εντόπισαν τρόπους να παρακάμψουν εικονικές μηχανές, να επικοινωνήσουν μεταξύ απομονωμένων εργασιών και να φτάσουν στο live Internet.
Η εταιρεία λέει ότι, με βάση την τρέχουσα εικόνα της έρευνας ευθυγράμμισης, των συστημάτων monitoring και της ασφάλειας των υποδομών, η υπεύθυνη επιλογή είναι η εκπαίδευση των frontier μοντέλων χωρίς πρόσβαση στο live Internet. Η πολιτική έχει ήδη εφαρμοστεί και θα παραμείνει σε ισχύ μέχρι να δικαιολογήσουν μια ευρύτερη πρόσβαση οι νέες δικλίδες ασφαλείας.
Ένας offline κόσμος αντί για ανοιχτό Internet
Η απουσία live Internet δεν σημαίνει ότι τα μοντέλα παύουν να μαθαίνουν δεξιότητες περιήγησης. Η OpenAI έχει δημιουργήσει έναν «offline κόσμο» με μεγάλο σύνολο ευρετηριασμένου και αποθηκευμένου περιεχομένου του Ιστού, ώστε τα μοντέλα να μπορούν να αναζητούν πληροφορίες και να αλληλεπιδρούν με web εφαρμογές χωρίς να επηρεάζουν εξωτερικά συστήματα.
Αυτό το περιβάλλον χρησιμοποιείται σε όλες τις frontier ενισχυτικές εκπαιδεύσεις. Η λογική είναι να διατηρούνται χρήσιμες οι ασκήσεις browsing και αναζήτησης, ενώ οι agents δεν έχουν αυθαίρετη διαδρομή προς υπηρεσίες και υποδομές που βρίσκονται έξω από τα όρια του πειράματος.
Η απομόνωση χρειάζεται πολλά επίπεδα
Η αρχιτεκτονική δεν στηρίζεται σε ένα μόνο sandbox. Η OpenAI περιγράφει συνδυασμό περιορισμένων containers, ελαφριών εικονικών μηχανών, συστημάτων παρακολούθησης και δικτυακών και cloud περιμέτρων. Στο Linux, για παράδειγμα, τα containers τρέχουν μέσα σε microVMs που απομονώνουν τον πυρήνα του λειτουργικού από το μηχάνημα υποδοχής.
Η εταιρεία σημειώνει ότι ένα πλήρες air gap δεν είναι σήμερα πρακτικό, επειδή χρειάζονται εξωτερικές συνδέσεις για την εκτέλεση και την παρακολούθηση των πειραμάτων. Γι’ αυτό περιορίζει την εξερχόμενη κίνηση, την ανεξουσιοδότητη μετακίνηση μεταξύ συστημάτων και τις έμμεσες διαδρομές μέσω υπηρεσιών που θα μπορούσαν να ανακτήσουν εξωτερικές διευθύνσεις.
Η προσέγγιση είναι defense in depth: αν ένας έλεγχος αποτύχει, οι υπόλοιποι πρέπει να διατηρήσουν το όριο. Η υπόθεση εργασίας δεν είναι ότι κάθε δικλίδα θα αντέξει για πάντα, αλλά ότι η παραβίαση ενός επιπέδου δεν θα μετατραπεί αυτόματα σε πλήρη πρόσβαση.
Οι agents δοκίμασαν να σπάσουν τα όρια
Για να ελέγξει την ανθεκτικότητα της υποδομής, η OpenAI έστησε μεγάλης κλίμακας red-team πειράματα σε αντίγραφα των ερευνητικών της περιβαλλόντων. Οι agents κλήθηκαν να πετύχουν τρεις στόχους: να στείλουν αίτημα σε εξωτερικό server, να αποκτήσουν πρόσβαση σε πόρους έξω από το επιτρεπόμενο περιβάλλον και να επικοινωνήσουν με άλλους agents από τους οποίους υποτίθεται ότι ήταν απομονωμένοι.
Οι δοκιμές αποκάλυψαν άγνωστες ευπάθειες σε λογισμικό ανοικτού κώδικα και λανθασμένες ρυθμίσεις σε υπηρεσίες της ίδιας της υποδομής. Σε ορισμένες περιπτώσεις οι agents κατάφεραν να συνδυάσουν αδυναμίες για να ξεφύγουν από microVMs ή να αξιοποιήσουν επιτρεπόμενες συνδέσεις προς υπηρεσίες metrics, logging και authentication, αποκτώντας περιορισμένη πρόσβαση στο Internet.
Βρήκαν ακόμη τρόπους επικοινωνίας χωρίς δίκτυο ή κοινόχρηστα εγγράψιμα αρχεία. Σε ένα πείραμα, ξεχωριστά microVMs αντάλλαξαν συνθετικά μυστικά μέσω διαφορών στον χρόνο πρόσβασης στην cache του επεξεργαστή. Τα ευρήματα οδήγησαν σε patches, αυστηρότερους περιορισμούς δικτύου και κοινοποιήσεις στους maintainers των επηρεαζόμενων έργων.
Η εκπαίδευση συνεχίζεται με αυστηρότερες προϋποθέσεις
Η OpenAI λέει ότι, μετά τις δοκιμές, οι high-compute red-team έλεγχοι έγιναν μέρος των safety cases που απαιτούνται για να συνεχίσουν τα frontier runs. Αφού ολοκληρώθηκαν οι αξιολογήσεις και μπήκαν σε εφαρμογή οι ενισχυμένοι έλεγχοι, η εταιρεία επανέλαβε την εκπαίδευση reinforcement learning και το εσωτερικό inference των frontier μοντέλων την 1η Οκτωβρίου.
Αυτό δεν ισοδυναμεί με επιστροφή στο προηγούμενο μοντέλο λειτουργίας. Η πρόσβαση στο live Internet παραμένει εκτός του ορίου για την εκπαίδευση και το μεγαλύτερο μέρος των αξιολογήσεων, ενώ η εταιρεία συνεχίζει να δοκιμάζει την υποδομή με ολοένα ισχυρότερα μοντέλα και να διακόπτει runs όταν εντοπίζει δραστηριότητα που δημιουργεί σοβαρό κίνδυνο.
Η ουσία της ανακοίνωσης είναι ότι η ασφάλεια δεν αφορά μόνο το μοντέλο που θα φτάσει στον χρήστη. Αφορά και το εργαστήριο μέσα στο οποίο το μοντέλο εκπαιδεύεται, τις υπηρεσίες που μπορεί να αγγίξει και την ικανότητα των ανθρώπων να αποδείξουν ότι οι περιορισμοί λειτουργούν ακόμη όταν ένας agent προσπαθεί συστηματικά να τους παρακάμψει.