Ο Stephen Aarons, δικηγόρος υπεράσπισης στο Νέο Μεξικό, χρησιμοποίησε το ChatGPT για να συνοψίσει τα πρακτικά μιας δίκης και άλλα έγγραφα. Στη συνέχεια υπέγραψε και κατέθεσε έφεση που περιείχε κατασκευασμένες μαρτυρίες, λάθος περιγραφές πραγματικών δικαστικών αποφάσεων και ανακριβή στοιχεία για την υπόθεση.
Τι συνέβη στο δικαστήριο
Η υπόθεση αφορά τον Oscar Renee Sandoval, ο οποίος καταδικάστηκε για τη δολοφονία της Shiereen Al-Jibury, συντρόφου του και μητέρας των παιδιών τους. Ο Sandoval καταδικάστηκε σε ισόβια κάθειρξη τον Φεβρουάριο του 2025. Ο Aarons ανέλαβε την έφεση και κατέθεσε το επίμαχο υπόμνημα τον Αύγουστο του ίδιου έτους.
Σύμφωνα με την απόφαση του Ανώτατου Δικαστηρίου του Νέου Μεξικού, το υπόμνημα απέδιδε ψευδείς δηλώσεις σε πρόσωπα που δεν είχαν καταθέσει ποτέ, μεταξύ άλλων στους Officer Michelle Amarillo, Officer Sanchez, Manal Al-Jibury και Teresa Marquez. Περιλάμβανε επίσης ανύπαρκτες ή παραποιημένες λεπτομέρειες για τις καταθέσεις των Danny Stanton, Linda Stanton και Mariah Chavez, καθώς και ανακριβείς περιγραφές προηγούμενων αποφάσεων.
Το δικαστήριο έκρινε τον Aarons σε άμεση περιφρόνηση, παρέπεμψε την υπόθεση στο πειθαρχικό όργανο και του απαγόρευσε προσωρινά να εμφανίζεται ενώπιόν του. Του επέβαλε ακόμη πρόστιμο 5.000 δολαρίων υπέρ του Ταμείου Προστασίας Πελατών του Δικηγορικού Συλλόγου του Νέου Μεξικού. Τα προηγούμενα υπομνήματα διαγράφηκαν από το αρχείο και το γραφείο δημόσιας υπεράσπισης καλείται να ορίσει νέο δικηγόρο για τον Sandoval.
Πώς παρήγαγε τα λάθη το ChatGPT
Ο Aarons είπε ότι ξεκίνησε με απομαγνητοφώνηση της δίκης από την υπηρεσία Rev.com και έδωσε στο ChatGPT, το οποίο όπως ανέφερε χρησιμοποιούσε το μοντέλο o3, την απομαγνητοφώνηση μαζί με το επίσημο αρχείο της υπόθεσης, τη διατύπωση των ζητημάτων και μέρος του υλικού της ανακάλυψης. Το εργαλείο δημιούργησε ψευδή αποσπάσματα και εκείνος δεν επαλήθευσε τους πραγματικούς ισχυρισμούς ή τις νομικές παραπομπές πριν υπογράψει το κείμενο.
Ο δικηγόρος υποστήριξε ότι δεν γνώριζε πως η AI μπορεί να κατασκευάζει γεγονότα. Οι δικαστές, όμως, τόνισαν ότι η ευθύνη δεν αλλάζει ανάλογα με το αν το κείμενο προήλθε από μοντέλο, ασκούμενο δικηγόρο ή οποιοδήποτε άλλο εργαλείο: ο επαγγελματίας που υπογράφει ένα υπόμνημα βεβαιώνει την ακρίβειά του.
Η ευθύνη δεν μεταφέρεται στο εργαλείο
Η υπόθεση δεν αφορά μόνο την τεχνική αξιοπιστία των γλωσσικών μοντέλων. Αφορά και το επαγγελματικό καθήκον του ελέγχου, ιδιαίτερα σε μια ποινική διαδικασία όπου ένα λάθος μπορεί να καθυστερήσει την εξέταση της καταδίκης και να επηρεάσει έναν άνθρωπο που παραμένει κρατούμενος.
Το δικαστήριο επέκρινε επίσης τον Aarons επειδή δεν ενημέρωσε τον πελάτη του ότι είχε χρησιμοποιήσει το ChatGPT ούτε εξήγησε την έκταση του προβλήματος στην οικογένεια που τον είχε προσλάβει. Η παρατήρηση αυτή προσθέτει μια κρίσιμη διάσταση: η διαφάνεια απέναντι στον εντολέα δεν είναι λιγότερο σημαντική επειδή το λάθος ξεκίνησε από ένα αυτοματοποιημένο σύστημα.
Το περιστατικό δείχνει τον ασφαλή κανόνα για τη χρήση generative AI σε νομικά κείμενα: μπορεί να βοηθήσει στη σύνοψη ή στην οργάνωση υλικού, αλλά κάθε γεγονός, απόσπασμα και παραπομπή πρέπει να ελέγχεται ανεξάρτητα πριν κατατεθεί. Όταν το κόστος της ανακρίβειας είναι η ελευθερία ενός ανθρώπου, η τελική επαλήθευση δεν μπορεί να είναι αυτοματοποιημένη.
Πηγή: Ars Technica