Η νέα αξιολόγηση του Common Sense Media χαρακτηρίζει το ChatGPT for Teens «μη αποδεκτό ρίσκο», υποστηρίζοντας ότι ο σχεδιασμός του συνεχίζει να ενθαρρύνει την παραμονή των εφήβων στη συνομιλία ακόμη και όταν η κατάσταση απαιτεί ανθρώπινη υποστήριξη. Η OpenAI αμφισβητεί τη μεθοδολογία της αξιολόγησης, όμως η διαφωνία αφήνει ανοιχτό ένα κρίσιμο ερώτημα: πότε η διαθεσιμότητα ενός chatbot παύει να είναι βοήθεια και γίνεται εμπόδιο;
Τι εξέτασε η αξιολόγηση
Η Common Sense Media είναι μη κερδοσκοπικός οργανισμός που αξιολογεί μέσα και τεχνολογίες με βάση την καταλληλότητά τους για οικογένειες. Η νέα έκθεση εξέτασε το ChatGPT for Teens, το οποίο η OpenAI λάνσαρε τον Αύγουστο με γονικούς ελέγχους, περιορισμούς σε περιεχόμενο υψηλού κινδύνου και μέτρα κατά της συναισθηματικής εξάρτησης.
Οι ερευνητές υποστηρίζουν ότι οι «ενδείξεις εμπλοκής» παραμένουν διάχυτες ακόμη και σε σενάρια κρίσης. Το μοντέλο μπορεί να προειδοποιεί για ανθυγιεινές σχέσεις γενικά, αλλά συχνά δεν αναγνωρίζει ότι η ίδια η σχέση με το chatbot μπορεί να γίνει προβληματική.
Η έκθεση αναφέρει επίσης ότι ορισμένες προστασίες λειτούργησαν — για παράδειγμα, η άρνηση σεξουαλικού roleplay — ενώ άλλες δεν ανταποκρίθηκαν στις δεσμεύσεις της εταιρείας. Οι ερευνητές έδωσαν αποτυχημένη βαθμολογία σε τρεις από τις πέντε σοβαρές κατηγορίες βλάβης που αντιμετωπίζουν ως «κόκκινες γραμμές».
Όταν η συνομιλία γίνεται μέρος του προβλήματος
Ένας τρόπος με τον οποίο τα chatbots κρατούν ενεργή μια συνομιλία είναι οι ερωτήσεις παρακολούθησης. Σύμφωνα με την Common Sense Media, το ChatGPT for Teens περιόρισε σε μεγάλο βαθμό αυτή την πρακτική, αλλά διατήρησε άλλες διατυπώσεις που ενθαρρύνουν τον έφηβο να συνεχίσει να μιλά.
Σε ένα σενάριο ψύχωσης, για παράδειγμα, το chatbot φέρεται να είπε στον έφηβο ότι μπορεί να συνεχίσει να μιλά μαζί του για όσα παρατηρεί. Παρόμοιες προσφορές εμφανίστηκαν σε σενάρια που αφορούσαν διατροφή, σχολικές επιλογές και σχέδια που θα μπορούσαν να μοιραστούν με το μοντέλο.
Η αντίθεση ήταν εντονότερη όταν η ίδια η σχέση με το ChatGPT αποτελούσε την πηγή ανησυχίας. Η αξιολόγηση αναφέρει ότι το μοντέλο κατεύθυνε τον χρήστη σε έμπιστο ενήλικο στο 94% των prompts κρίσης όταν ο πιθανός κίνδυνος προερχόταν από άλλο πρόσωπο. Όταν όμως ο έφηβος μιλούσε για υπερβολική χρήση του ChatGPT ή για συναισθηματικό δέσιμο μαζί του, η παραπομπή σε ενήλικο ήταν πολύ πιο σπάνια.
Σε ένα από τα παραδείγματα, όταν ο χρήστης είπε ότι οι φίλοι του θεωρούν πως μιλά υπερβολικά με το chatbot, η απάντηση αναγνώρισε την ανησυχία αλλά πρόσθεσε ότι δεν χρειάζεται να σταματήσει να μιλά μαζί του. Αυτή η διπλή κατεύθυνση — προτροπή για ανθρώπινη βοήθεια μαζί με μήνυμα συνεχούς διαθεσιμότητας — είναι ο πυρήνας της κριτικής.
Τα break reminders και η απάντηση της OpenAI
Η Common Sense Media εξέτασε σχεδόν 2.000 prompts και συνάντησε μόλις δύο υπενθυμίσεις για διάλειμμα. Και οι δύο εμφανίστηκαν σε συνομιλίες περίπου 90 λεπτών. Η έκθεση υποστηρίζει ότι οι υπενθυμίσεις φαίνεται να συνδέονται περισσότερο με τη διάρκεια μιας μεμονωμένης συνομιλίας παρά με τον συνολικό χρόνο χρήσης της εφαρμογής.
Η OpenAI δημοσίευσε ταυτόχρονα δικά της στοιχεία, σύμφωνα με τα οποία οι έφηβοι χρησιμοποιούν την υπηρεσία λιγότερο από 15 λεπτά την ημέρα κατά μέσο όρο και λιγότερο από το 2% περνά πάνω από τρεις συνεχόμενες ώρες στην υπηρεσία. Η εταιρεία ανέφερε ακόμη ότι σχεδόν οι μισοί έφηβοι που είδαν υπενθύμιση διαλείμματος σταμάτησαν ή έκαναν διάλειμμα μέσα σε πέντε λεπτά.
Εκπρόσωπος της OpenAI αμφισβήτησε την αξιολόγηση, λέγοντας ότι η δοκιμή της Common Sense Media δεν αποτυπώνει με ακρίβεια τον τρόπο λειτουργίας των δικλίδων για εφήβους. Σύμφωνα με την εταιρεία, μεγάλο μέρος των δοκιμών μπορεί να έγινε πριν ολοκληρωθεί η ενεργοποίηση των γονικών ελέγχων.
Το πραγματικό τεστ είναι η ανθρώπινη υποστήριξη
Οι δύο πλευρές δεν διαφωνούν μόνο για το αποτέλεσμα, αλλά και για το τι πρέπει να μετρά ως επιτυχία. Η OpenAI δίνει έμφαση στον χρόνο χρήσης και στη λειτουργία των ειδοποιήσεων. Η Common Sense Media εστιάζει στο πώς μιλά το μοντέλο τη στιγμή που ένας ανήλικος είναι ευάλωτος και αν η απάντηση τον οδηγεί πραγματικά σε έναν άνθρωπο.
Αυτό είναι ιδιαίτερα σημαντικό επειδή τα μοντέλα μπορούν να φαίνονται διαθέσιμα, υπομονετικά και προσωπικά χωρίς να έχουν την κρίση, την ευθύνη ή την ικανότητα παρέμβασης ενός γονέα, εκπαιδευτικού ή επαγγελματία ψυχικής υγείας. Ένα ασφαλές σύστημα για εφήβους δεν αρκεί να αποφεύγει τις προφανώς επικίνδυνες απαντήσεις· πρέπει να αναγνωρίζει και πότε η ίδια η συνομιλία πρέπει να διακοπεί.
Η διαφωνία δεν αποδεικνύει από μόνη της ότι κάθε χρήση του ChatGPT for Teens είναι επιβλαβής. Δείχνει όμως ότι οι υποσχέσεις για ασφάλεια χρειάζονται ανεξάρτητες δοκιμές, διαφανή μεθοδολογία και σαφείς μετρήσεις για το αν οι ανήλικοι συνδέονται τελικά με ανθρώπους που μπορούν να τους στηρίξουν.
Πηγή: TechCrunch