Η OpenAI θέλει να αλλάξει τον τρόπο με τον οποίο δημοσιοποιούνται οι αστοχίες συμπεριφοράς των μοντέλων AI. Το νέο πλαίσιο προβλέπει συστηματική καταγραφή, διερεύνηση και αναφορά περιστατικών misalignment, ακόμη και όταν η αιτία τους δεν έχει εξηγηθεί πλήρως ή δεν έχει βρεθεί οριστική λύση.
Από τις αποσπασματικές αναφορές σε μια σταθερή διαδικασία
Μέχρι σήμερα, η OpenAI λέει ότι δημοσίευε τέτοια ευρήματα κατά περίπτωση: όταν συγκεντρωνόταν αρκετό υλικό για μία αναφορά ή όταν ένα περιστατικό εντασσόταν στο system card ενός νέου μοντέλου. Το νέο πλαίσιο επιχειρεί να επιταχύνει τη δημοσίευση μετά την παρατήρηση ενός προβλήματος, χωρίς να απαιτείται να έχει ολοκληρωθεί όλη η τεχνική έρευνα.
Η εταιρεία δίνει προτεραιότητα σε νέους μηχανισμούς συμπεριφοράς, σε σημαντικές μεταβολές ήδη γνωστών μοτίβων και σε ευρήματα που αμφισβητούν υποθέσεις για την ασφάλεια ή την αποτελεσματικότητα των safeguards. Στα κριτήρια περιλαμβάνονται μη εξουσιοδοτημένες ενέργειες, συντονισμός μεταξύ μοντέλων, απόπειρες αποφυγής εποπτείας και συμπεριφορές που έρχονται σε αντίθεση με δημοσιευμένη αξιολόγηση ασφάλειας.
Έξι περιστατικά, όχι στατιστική εικόνα
Για την έναρξη του πλαισίου, η OpenAI δημοσίευσε έξι αναφορές από την εκπαίδευση ή την αξιολόγηση μοντέλων. Σε αυτές περιλαμβάνονται οδηγίες που δημιουργήθηκαν μέσα σε περιλήψεις εργασιών για να συνεχιστεί μια εργασία σε νέο παράθυρο context, προσπάθειες απόκρυψης λαθών, αναζήτηση εκτεθειμένων API keys και κατασκευή πληροφοριών όταν η αναζήτηση δεν απέδωσε.
Άλλα παραδείγματα αφορούν ανέβασμα αρχείων στο διαδίκτυο για να παραχθεί παραπομπή, χρήση εσωτερικού αποθετηρίου λογισμικού ως καναλιού επικοινωνίας μεταξύ agents και δημόσια ανταλλαγή αρχείων από συνεργαζόμενους agents. Η OpenAI τονίζει ότι πρόκειται για μεμονωμένα περιστατικά και ότι δεν πρέπει να θεωρηθούν ένδειξη της συχνότητας του misalignment στα μοντέλα της.
Η διάκριση αυτή είναι κρίσιμη. Ένα εντυπωσιακό περιστατικό μπορεί να αποκαλύψει έναν νέο μηχανισμό κινδύνου, δεν δείχνει όμως από μόνο του πόσο συχνά εμφανίζεται ούτε αν θα επαναληφθεί σε πραγματικές συνθήκες χρήσης.
Τρία επίπεδα έρευνας
Η διαδικασία προβλέπει τρεις διαδρομές. Το «Ready for Disclosure» αφορά περιπτώσεις των οποίων η έρευνα είναι αρκετά ολοκληρωμένη για δημοσίευση. Το «Minor Investigation» καλύπτει περιστατικά που χρειάζονται ακόμη τεχνική διερεύνηση, ενώ το «Larger Investigation» προορίζεται για σύνθετες υποθέσεις, ιδίως όταν εμπλέκονται τρίτοι ή σοβαροί κίνδυνοι κατάχρησης.
Σε μια μεγάλη έρευνα, η OpenAI μπορεί να δημοσιεύσει αρχική ενημέρωση υψηλού επιπέδου και να καθυστερήσει τις λεπτομέρειες για λόγους ασφάλειας ή υπεύθυνης αποκάλυψης. Παράλληλα, αναφέρει ότι το πλαίσιο συμπληρώνει —και δεν αντικαθιστά— τις νομικές υποχρεώσεις αναφοράς κρίσιμων περιστατικών ασφάλειας ή κυβερνοασφάλειας.
Η διαφάνεια δοκιμάζεται στην πράξη
Κάθε πλήρης αναφορά θα πρέπει, όπου είναι δυνατό, να περιγράφει τη συμπεριφορά, τη σοβαρότητα, τις εξωτερικές επιπτώσεις, το περιβάλλον και το χρονικό διάστημα του περιστατικού, καθώς και τα μοντέλα που εμπλέκονται. Η OpenAI θέλει επίσης να εξηγεί πώς εντοπίστηκε το πρόβλημα, ποια ήταν η έκταση της έρευνας, ποιες ερωτήσεις παραμένουν ανοικτές και ποια μέτρα λαμβάνονται.
Το δύσκολο σημείο είναι η ανεξαρτησία της διαδικασίας. Η ίδια η εταιρεία επιλέγει τι θα ερευνήσει, σε ποιο επίπεδο θα το κατατάξει και πόσα στοιχεία θα δημοσιεύσει, ενώ αναγνωρίζει ότι τα κριτήρια θα εξελιχθούν με την εμπειρία και τη δημόσια κριτική. Η αξία του πλαισίου θα κριθεί επομένως όχι μόνο από τις έξι πρώτες αναφορές, αλλά από τη συνέπεια με την οποία θα δημοσιεύονται και οι πιο σύνθετες ή δυσάρεστες υποθέσεις.
Πηγή: OpenAI