Η PrismML παρουσιάζει το Bonsai 2 27B ως ένα reasoning μοντέλο που δεν χρειάζεται να μείνει κλειδωμένο σε ένα μεγάλο data center. Η νέα έκδοση συμπιέζει το Qwen3.8 27B σε αρχείο 5,9 GB, μέγεθος που μπορεί να χωρέσει σε έναν σύγχρονο υπολογιστή και, υπό προϋποθέσεις, σε ένα ισχυρό smartphone.
Από τα 27 δισεκατομμύρια παραμέτρους στα 5,9 GB
Το μοντέλο ξεκινά από το Qwen3.8 27B της Alibaba και μειώνει τις απαιτήσεις μνήμης του κατά περίπου εννέα έως δέκα φορές. Η PrismML υποστηρίζει ότι το Bonsai 2 διατηρεί το 98% των συνολικών επιδόσεων του αρχικού μοντέλου στα benchmarks, βελτιώνοντας το 95% που είχε αναφέρει για την πρώτη έκδοση του Bonsai.
Η τεχνική βασίζεται στα λεγόμενα ternary weights. Αντί κάθε βάρος να αποθηκεύεται με 16 bits, η προσέγγιση το περιορίζει σε τρεις δυνατές τιμές: +1, −1 ή 0. Έτσι μειώνεται δραστικά ο χώρος αποθήκευσης και ανοίγει ο δρόμος για εκτέλεση μοντέλων με μεγαλύτερη τοπική αυτονομία.
Γιατί η τοπική εκτέλεση έχει σημασία
Ένα μοντέλο που λειτουργεί στη συσκευή μπορεί να μειώσει την καθυστέρηση και την ανάγκη αποστολής δεδομένων στο cloud. Αυτό σημαίνει περισσότερη ιδιωτικότητα για ορισμένες εργασίες, πιθανώς χαμηλότερο κόστος χρήσης και λειτουργία ακόμη και όταν η σύνδεση στο διαδίκτυο είναι περιορισμένη.
Η πρακτική εικόνα, ωστόσο, εξαρτάται από το υλικό. Τα 5,9 GB αφορούν το συμπιεσμένο μοντέλο και όχι ολόκληρο το κόστος εκτέλεσης: χρειάζονται επιπλέον μνήμη, κατάλληλο λογισμικό και αρκετή υπολογιστική ισχύς. Ένα high-end smartphone μπορεί να το φιλοξενήσει, αλλά αυτό δεν σημαίνει ότι κάθε συσκευή θα προσφέρει αποδεκτή ταχύτητα ή κατανάλωση.
Το 98% δεν είναι το ίδιο με την πλήρη ισοδυναμία
Τα benchmarks είναι χρήσιμος δείκτης, δεν αποτελούν όμως από μόνα τους εγγύηση για κάθε πραγματική εργασία. Η ακρίβεια ενός μοντέλου επηρεάζεται από το λογισμικό που το εκτελεί, το prompt και το συγκεκριμένο είδος χρήσης. Η διαφορά του 2% μπορεί να είναι αμελητέα σε μια εφαρμογή και κρίσιμη σε μια άλλη.
Η ίδια η PrismML παραδέχεται ότι η απόλυτη ισοδυναμία επιδόσεων δεν είναι δεδομένη. Η επόμενη φιλοδοξία της είναι να εφαρμόσει την τεχνική σε ακόμη μεγαλύτερα μοντέλα, με την εκτίμηση ότι το επιπλέον περιθώριο συμπίεσης μπορεί να βοηθήσει στη διατήρηση των ικανοτήτων τους.
Ένα βήμα προς πιο προσωπική AI
Το Bonsai 2 δεν μετατρέπει αυτομάτως κάθε κινητό σε πλήρες εργαστήριο AI. Δείχνει όμως πώς η πρόοδος στη συμπίεση μπορεί να μετακινήσει μέρος της υπολογιστικής νοημοσύνης από το cloud στη συσκευή που ήδη διαθέτει ο χρήστης.
Οι συζητήσεις της PrismML με την Apple έχουν αναφερθεί ως φήμη, αλλά ο CEO της εταιρείας δεν τις επιβεβαίωσε στο TechCrunch. Το ασφαλές συμπέρασμα είναι πιο μετριοπαθές: μοντέλα αυτού του μεγέθους κάνουν τεχνικά πιο ρεαλιστική την τοπική εκτέλεση και αφήνουν στους κατασκευαστές συσκευών να αποφασίσουν πόσο από αυτή την υπόσχεση μπορεί να γίνει καθημερινή εμπειρία.
Πηγή: TechCrunch