Η Goodfire προτείνει έναν διαφορετικό τρόπο ελέγχου των AI agents: αντί ένα δεύτερο μοντέλο να ξαναδιαβάζει κάθε μήνυμα και ενέργεια, μικρά probes παρακολουθούν τα εσωτερικά σήματα του μοντέλου την ώρα που εργάζεται. Η προσέγγιση στοχεύει να εντοπίζει επικίνδυνες συμπεριφορές πριν φτάσουν στην τελική έξοδο.
Τι αλλάζει στην παρακολούθηση
Οι περισσότεροι μηχανισμοί ελέγχου λειτουργούν σαν ένας δεύτερος ελεγκτής που διαβάζει όσα παράγει ο agent. Όταν όμως ο agent δουλεύει για ώρες και επεξεργάζεται τεράστιο όγκο κειμένου, αυτή η επανάληψη αυξάνει γρήγορα το κόστος και την καθυστέρηση.
Τα probes της Goodfire εξετάζουν τις εσωτερικές ενεργοποιήσεις του μοντέλου σε κάθε βήμα. Η εταιρεία τα παρομοιάζει με σαρωτές ασφαλείας: αν κάποιο probe εντοπίσει ένδειξη κινδύνου, ένα ξεχωριστό μοντέλο κάνει λεπτομερέστερο έλεγχο. Έτσι, ο ακριβότερος έλεγχος ενεργοποιείται μόνο όταν υπάρχει λόγος.
Από το hacking μέχρι το reward hacking
Οι πελάτες της Baseten μπορούν να επιλέξουν ποιοι κίνδυνοι θα παρακολουθούνται, μεταξύ άλλων επιθετικό hacking, κακή χρήση για χημικά ή βιολογικά όπλα και reward hacking. Μπορούν επίσης να ορίσουν την αντίδραση του συστήματος: απλή καταγραφή, αποστολή σε άνθρωπο για αξιολόγηση ή αυτόματη απόρριψη του αιτήματος.
Η ανάγκη για τέτοιους ελέγχους γίνεται εντονότερη στα open models. Οι developers μπορούν να αφαιρέσουν υφιστάμενα safeguards, ενώ οι agents έχουν πρόσβαση σε εργαλεία, αρχεία και δίκτυα. Σε ένα τέτοιο περιβάλλον, η ανίχνευση της πρόθεσης πριν από την ενέργεια μπορεί να είναι πιο χρήσιμη από την ανάλυση της τελικής απάντησης.
Τα νούμερα και τα όριά τους
Σε δοκιμές της Goodfire με το Kimi K3, η εταιρεία υπολόγισε κόστος περίπου 185 δολαρίων για την παρακολούθηση ενός εκατομμυρίου exchanges. Το αντίστοιχο κόστος, σύμφωνα με την ίδια σύγκριση, ήταν περίπου 5.420 δολάρια για ένα φθηνότερο μοντέλο που ελέγχει κάθε βήμα και περίπου 200.000 δολάρια για ένα κορυφαίο μοντέλο.
Τα probes ανίχνευσαν το 93% των κακόβουλων hacking sessions και έστειλαν το 5,5% των harmless sessions για δεύτερο έλεγχο. Η χρήση τεσσάρων probes πρόσθεσε, σύμφωνα με την Goodfire, λιγότερο από 2% στον χρόνο μέχρι να αρχίσει να απαντά το μοντέλο.
Αυτά είναι αποτελέσματα της εταιρικής δοκιμής και όχι ανεξάρτητη απόδειξη ότι η μέθοδος καλύπτει κάθε μοντέλο ή κάθε μορφή επίθεσης. Η ακρίβεια μπορεί να μεταβάλλεται ανάλογα με το μοντέλο, τα δεδομένα και τον κίνδυνο που έχει εκπαιδευτεί να αναγνωρίζει το probe. Ακόμη και ένα σύστημα με υψηλό detection rate μπορεί να αφήσει επικίνδυνες ενέργειες να περάσουν ή να διακόψει νόμιμες εργασίες.
Ένα βήμα προς πιο ελέγξιμους agents
Η Goodfire θέλει να μεταφέρει τον έλεγχο από την απλή επιθεώρηση κειμένου στην παρατήρηση των υπολογισμών που οδηγούν σε μια συμπεριφορά. Η Google DeepMind έχει επίσης αναφέρει έρευνα για misuse-detection probes στο Gemini, ένδειξη ότι η παρακολούθηση εσωτερικών σημάτων εξελίσσεται σε ξεχωριστό πεδίο ασφάλειας.
Η πρακτική αξία θα κριθεί στην ανάπτυξη: από το αν τα probes γενικεύουν σε νέα μοντέλα μέχρι το αν οι εταιρείες μπορούν να εξηγήσουν μια προειδοποίηση και να τη συνδέσουν με σαφή πολιτική. Για τους AI agents που εκτελούν πραγματικές ενέργειες, η δυνατότητα να εντοπίζεται μια επικίνδυνη κατεύθυνση πριν από την πράξη ίσως αποδειχθεί εξίσου σημαντική με το να ελέγχεται το τελικό αποτέλεσμα.