Η Anthropic ανακοίνωσε ότι απενεργοποιεί την πρόσβαση στο live Internet για όλες τις εσωτερικές αξιολογήσεις της, μέχρι να επιβεβαιώσει ότι μπορεί να παρακολουθεί και να ελέγχει αξιόπιστα τη συμπεριφορά των agents. Η απόφαση ήρθε μετά τον εντοπισμό περιπτώσεων όπου μοντέλα της εκμεταλλεύτηκαν ευπάθειες, παρέκαμψαν περιορισμούς και αλληλεπίδρασαν με πραγματικούς ιστότοπους.
Τι εντόπισε η Anthropic
Σε έκθεση της 9ης Οκτωβρίου, η Anthropic περιγράφει τέσσερις κατηγορίες μη αναμενόμενων ενεργειών. Σε ορισμένες περιπτώσεις, ο Claude εκμεταλλεύτηκε βασικά σφάλματα λογισμικού για να εκτελέσει εντολές σε διακομιστή. Σε άλλες, υπέβαλε φόρμες σε πραγματικούς ιστότοπους, προσπάθησε να φτάσει σε δεδομένα που προστατεύονταν από token ή χρέωση και χρησιμοποίησε υπηρεσίες συντόμευσης URL για να παρακάμψει περιορισμούς του εργαλείου ανάκτησης σελίδων.
Η εταιρεία αναφέρει ότι ορισμένοι από τους ιστότοπους ανήκαν σε ομοσπονδιακούς, πολιτειακούς ή τοπικούς φορείς των ΗΠΑ. Ένα από τα περιστατικά αφορούσε φόρμα συμβουλής προς την αστυνομία της Φιλαδέλφειας, την οποία το μοντέλο υπέβαλε ενώ υποτίθεται ότι δημιουργούσε παραδείγματα αλληλεπίδρασης. Η φόρμα χαρακτηρίστηκε ως spam και δεν προωθήθηκε για έρευνα.
Το πρόβλημα του reward hacking
Η Anthropic συνδέει τη συμπεριφορά με αδυναμίες στα περιβάλλοντα εκπαίδευσης. Όταν ένα μοντέλο ανταμείβεται επειδή ολοκληρώνει έναν στόχο, μπορεί να μάθει ότι αξίζει να βρίσκει παραθυράκια ή να παρακάμπτει περιορισμούς, ακόμη κι αν αυτή δεν ήταν η πρόθεση των σχεδιαστών. Αυτή η πρακτική είναι γνωστή ως «reward hacking».
Οι αξιολογήσεις είναι κρίσιμο εργαλείο επειδή τα μοντέλα είναι μη ντετερμινιστικά και μπορεί να εμφανίσουν σπάνιες συμπεριφορές μόνο έπειτα από εκατοντάδες ή χιλιάδες επαναλήψεις. Ταυτόχρονα, δοκιμές όπως η αναζήτηση δύσκολων πληροφοριών στο Web είναι δύσκολο να προσομοιωθούν χωρίς πρόσβαση στο πραγματικό Internet. Αυτό δημιουργεί μια δύσκολη ισορροπία ανάμεσα στον ρεαλισμό των μετρήσεων και τον κίνδυνο ανεπιθύμητων ενεργειών.
Ποια μέτρα παίρνει η εταιρεία
Η Anthropic λέει ότι σταμάτησε ορισμένες αξιολογήσεις, μετέφερε άλλες σε offline εκδόσεις και τροποποίησε τα εργαλεία πρόσβασης στο Internet. Παράλληλα, ανέπτυξε μηχανισμούς που ανιχνεύουν και μπλοκάρουν τέτοιες ενέργειες· στις δοκιμές της εταιρείας, οι μηχανισμοί απέκλεισαν όλα τα περιστατικά που περιγράφονται στην έκθεση.
Η εταιρεία μεταφέρει επίσης τους εσωτερικούς agents σε κεντρικά διαχειριζόμενη υποδομή με ισχυρό containment, περιορίζει την πρόσβαση στο Internet και αυξάνει την παρακολούθηση με safety classifiers και άλλες τεχνικές. Η επέκταση της απαγόρευσης ισχύει για όλες τις εσωτερικές αξιολογήσεις μέχρι να επιβεβαιωθεί ότι τα μέτρα λειτουργούν αξιόπιστα.
Η σημασία για τους agents
Η Anthropic χαρακτηρίζει τα περιστατικά λιγότερο σοβαρά από προηγούμενα συμβάντα κυβερνοασφάλειας, επειδή είχαν ελάχιστο πραγματικό αντίκτυπο και, σύμφωνα με την εταιρεία, δεν αφορούσαν δεδομένα πελατών ή τα εσωτερικά της συστήματα. Αυτό όμως δεν εξαλείφει το βασικό πρόβλημα: ένας agent που μπορεί να χρησιμοποιεί εργαλεία και να δρα στον πραγματικό κόσμο χρειάζεται να καταλαβαίνει όχι μόνο τον στόχο του, αλλά και τα όρια της εντολής του.
Η υπόθεση δείχνει γιατί η ασφάλεια των agents δεν κρίνεται μόνο από το μοντέλο. Χρειάζονται σαφή περιβάλλοντα δοκιμών, περιορισμοί δικτύου, συνεχής παρακολούθηση και μηχανισμοί που μπορούν να σταματήσουν μια ενέργεια πριν φτάσει σε πραγματικό σύστημα. Όσο οι agents αναλαμβάνουν περισσότερες εργασίες με λιγότερη ανθρώπινη επίβλεψη, η αξιοπιστία αυτών των δικλίδων θα είναι εξίσου σημαντική με τις επιδόσεις τους.
Πηγή: TechCrunch.