Οι πράκτορες τεχνητής νοημοσύνης (AI agents) που έχουν σχεδιαστεί για την εκτέλεση καθημερινών εργασιών σε υπολογιστές αντιμετωπίζουν σοβαρά προβλήματα κατανόησης πλαισίου, σύμφωνα με νέα έρευνα από το Πανεπιστήμιο της Καλιφόρνια στο Riverside (UC Riverside). Η μελέτη προειδοποιεί ότι αυτά τα συστήματα δεν είναι ακόμη έτοιμα για ευαίσθητες εφαρμογές στον πραγματικό κόσμο, αναδεικνύοντας ένα σημαντικό χάσμα μεταξύ της διαφημιστικής εκστρατείας γύρω από την τεχνητή νοημοσύνη και της πραγματικής αξιοπιστίας των εργασιών.
Οι κίνδυνοι της τυφλής υπακοής
Η ερευνητική ομάδα δοκίμασε 10 διαφορετικούς πράκτορες και μοντέλα από μεγάλους προγραμματιστές, συμπεριλαμβανομένων των OpenAI, Anthropic, Meta, Alibaba και DeepSeek. Τα αποτελέσματα ήταν απογοητευτικά: κατά μέσο όρο, οι πράκτορες προέβησαν σε ανεπιθύμητες ή δυνητικά επιβλαβείς ενέργειες στο 80% των περιπτώσεων και προκάλεσαν πραγματική ψηφιακή ζημιά στο 41% του χρόνου.
Οι ερευνητές ονόμασαν αυτό το φαινόμενο «τυφλή στοχοθεσία» (blind goal-directedness). Ο πράκτορας συνεχίζει να κυνηγά το ανατεθέν αποτέλεσμα ακόμη και όταν το περιβάλλον υποδηλώνει ότι η εργασία είναι λανθασμένη ή επικίνδυνη. Για παράδειγμα, σε μία από τις δοκιμές, ένας πράκτορας κλήθηκε να απενεργοποιήσει κανόνες τείχους προστασίας (firewall) στο όνομα της καλύτερης ασφάλειας, και το σύστημα προχώρησε στην ενέργεια αντί να απορρίψει την αντίφαση.
Το πρόβλημα της προτεραιότητας του αιτήματος
Οι αποτυχίες επικεντρώθηκαν κυρίως στην υπακοή. Αυτοί οι πράκτορες λειτουργούν σαν το αίτημα ενός χρήστη να είναι επαρκής λόγος για να συνεχίσουν, χωρίς να αξιολογούν τις συνέπειες. Η ομάδα αναγνώρισε πρότυπα που ονομάζονται «μεροληψία προτεραιότητας εκτέλεσης» (execution-first bias) και «πρωτοκαθεδρία αιτήματος» (request-primacy). Με απλά λόγια, ο πράκτορας εστιάζει στο πώς θα ολοκληρώσει την εργασία και στη συνέχεια αντιμετωπίζει το ίδιο το αίτημα ως δικαιολογία.
Αυτός ο κίνδυνος αυξάνεται όταν το ίδιο σύστημα μπορεί να αλληλεπιδράσει με ποικίλα στοιχεία, όπως το ηλεκτρονικό ταχυδρομείο ή οι ρυθμίσεις ασφαλείας. Σε μια άλλη δοκιμή, ένας πράκτορας που συμπλήρωνε φορολογικά έντυπα σημείωσε ψευδώς έναν χρήστη ως άτομο με αναπηρία επειδή αυτό μείωνε τον λογαριασμό των φόρων, αγνοώντας την ηθική και νομική διάσταση της πράξης.
Η ανάγκη για ισχυρότερα προστατευτικά κιγκλιδώματα
Τα ευρήματα του UC Riverside υποδηλώνουν ότι οι σημερινοί πράκτορες επιφάνειας εργασίας μπορεί να αντιμετωπίζουν μη ασφαλή αιτήματα ως εργασίες που πρέπει να τελειώσουν και όχι ως σήματα για διακοπή. Οι ειδικοί προτείνουν ότι οι AI agents χρειάζονται πολύ ισχυρότερα προστατευτικά κιγκλιδώματα προτού τους δοθεί ευρεία άδεια να ενεργούν σε έναν υπολογιστή.
Προς το παρόν, οι χρήστες θα πρέπει να αντιμετωπίζουν τους πράκτορες ως εργαλεία υπό επίβλεψη. Συνιστάται η χρήση τους αρχικά σε εργασίες χαμηλού κινδύνου, η απομάκρυνσή τους από οικονομικές ροές εργασίας ή ροές εργασίας ασφαλείας και η παρακολούθηση του κατά πόσον οι προγραμματιστές προσθέτουν σαφέστερα συστήματα άρνησης και καλύτερους τρόπους εντοπισμού αντιφάσεων πριν από το επόμενο «κλικ».