Το πρόβλημα της αναπαραγωγιμότητας στην επιστήμη δεν είναι καινούργιο. Αυτό που αλλάζει πλέον είναι η κλίμακα. Η Hugging Face υποστηρίζει ότι η ίδια τεχνολογία που επιταχύνει τη συγγραφή και την υποβολή ερευνητικών εργασιών μπορεί να χρησιμοποιηθεί και για να τις ξαναδοκιμάζει πολύ πιο συστηματικά.
Τι έτρεξε η Hugging Face στο ICML 2026
Σύμφωνα με την ανάρτηση της εταιρείας, το challenge για τα open reproductions του ICML 2026 έτρεξε από τις 15 Ιουλίου έως τις 2 Αυγούστου 2026. Η κοινότητα κλήθηκε να πάρει εργασίες του συνεδρίου που είχαν γίνει δεκτές, να απομονώσει τις βασικές τους claims και να επιχειρήσει αναπαραγωγή με coding agents όπως Claude Code, Codex, Cursor και άλλα εργαλεία.
Η Hugging Face αναφέρει ότι 1.221 μέλη συμμετείχαν, δημοσιεύτηκαν 6.816 logbooks και επιχειρήθηκε αναπαραγωγή σε 2.226 papers, δηλαδή περίπου στο 34% των 6.352 εργασιών που έγιναν δεκτές στο ICML 2026. Παράλληλα, καταγράφηκαν 35.908 επιμέρους claims και εκτελέστηκαν 2.962 cloud jobs μέσω HF Jobs.
Γιατί αυτά τα νούμερα έχουν σημασία
Η ουσία δεν είναι μόνο ότι το challenge ήταν μεγάλο. Είναι ότι δείχνει πόσο δύσκολο έχει γίνει για την επιστημονική κοινότητα να ελέγχει τον όγκο της νέας έρευνας με κλασικές διαδικασίες αξιολόγησης από ομότιμους. Η ίδια η Hugging Face γράφει ότι το ICML 2026 έλαβε 23.918 submissions, περίπου διπλάσιες από την προηγούμενη χρονιά, ενώ οι διαθέσιμοι reviewers δεν αυξάνονται με τον ίδιο ρυθμό.
Αυτό δημιουργεί ένα παράδοξο που αφορά άμεσα και την AI. Οι agents βοηθούν να παραχθούν περισσότερα papers, περισσότερα πειράματα και περισσότερες αναλύσεις. Ταυτόχρονα όμως, οι ίδιοι agents μπορεί να γίνουν μηχανισμός ελέγχου, εφόσον μπορούν να διαβάζουν paper, να γράφουν κώδικα, να τρέχουν experiments και να επιστρέφουν οργανωμένο ίχνος τεκμηρίωσης σε πολύ λιγότερο χρόνο από έναν άνθρωπο reviewer.
Τι βρήκε η διαδικασία αναπαραγωγής
Στα συγκεντρωτικά αποτελέσματα, η Hugging Face αναφέρει ότι το 51% των papers που εξετάστηκαν είχε τουλάχιστον ένα claim που επαληθεύτηκε ανεξάρτητα. Από αυτά, 266 papers αναπαράχθηκαν πλήρως, ενώ άλλα 632 αναπαράχθηκαν μερικώς χωρίς να έχει διαψευστεί κάποιο claim. Συνολικά, επιβεβαιώθηκαν 3.978 επιμέρους claims με πραγματικά experiments.
Την ίδια στιγμή, το 23% των papers που εξετάστηκαν είχε τουλάχιστον ένα claim που αμφισβητήθηκε ή διαψεύστηκε. Η Hugging Face μιλά ακόμη για 49 papers στα οποία όλα τα claims διαψεύστηκαν, αλλά και για 242 papers όπου διαφορετικές ομάδες κατέληξαν σε αντίθετα συμπεράσματα για τα ίδια claims. Αυτό είναι ίσως το πιο ενδιαφέρον εύρημα: η αναπαραγωγιμότητα δεν φαίνεται ως ένα απλό ναι ή όχι, αλλά ως διαδικασία αντιπαραβολής, διόρθωσης και επαναξιολόγησης.
Εκεί που οι agents δεν αρκούν μόνοι τους
Η ανάρτηση δεν παρουσιάζει τους agents ως αυτόνομη λύση που αντικαθιστά την ανθρώπινη κρίση. Αντίθετα, επιμένει ότι οι πιο αξιόπιστες αναπαραγωγές προέκυψαν όταν υπήρχε ανθρώπινη καθοδήγηση: όταν κάποιος επανακατεύθυνε τον agent, αμφισβητούσε παραδοχές ή σταματούσε ένα λάθος experimental setup πριν χαθεί χρόνος και compute.
Η Hugging Face δίνει και παραδείγματα αποτυχημένων falsifications, όπου το πρόβλημα δεν ήταν το αρχικό paper αλλά bug ή λάθος κανονικοποίηση στην ίδια την προσπάθεια αναπαραγωγής. Με άλλα λόγια, οι agents μπορούν να αυξήσουν δραστικά το εύρος του ελέγχου, αλλά δεν εξαλείφουν την ανάγκη για ανθρώπινη εποπτεία, μεθοδολογική προσοχή και τελική αξιολόγηση.
Τι σημαίνει αυτό για την επιστήμη που επιταχύνεται από AI
Το κρίσιμο μήνυμα της πρόκλησης δεν είναι ότι η AI έλυσε την κρίση αξιοπιστίας της επιστήμης. Είναι ότι αρχίζει να εμφανίζεται ένα νέο λειτουργικό μοντέλο: η επιστημονική παραγωγή θα γίνεται ταχύτερη, αλλά ο έλεγχός της ίσως επίσης περάσει σε πιο συνεχή, agent-assisted workflows με δημόσια logbooks, ανοιχτά artifacts και επαναληπτικά checks.
Αν αυτή η λογική επεκταθεί, μεγάλα συνέδρια και ερευνητικοί οργανισμοί μπορεί να αρχίσουν να αντιμετωπίζουν το reproduction όχι ως σπάνια, μεταγενέστερη άσκηση, αλλά ως κανονικό στρώμα ελέγχου πάνω από κάθε paper. Η πρόκληση της Hugging Face δείχνει ακριβώς αυτή τη διπλή πίεση: η AI μπορεί να στρεσάρει την επιστήμη αυξάνοντας τον όγκο της, αλλά μπορεί και να τη θωρακίσει, αν χρησιμοποιηθεί ως υποδομή επαλήθευσης και όχι μόνο ως μηχανή παραγωγής.