Η Liquid AI κυκλοφόρησε τα ανοιχτά d1-3B και d1-omni-600M, μοντέλα αποφάσεων που δίνουν δομημένες απαντήσεις σε ένα μόνο πέρασμα και μπορούν να δουλέψουν με κείμενο, εικόνες ή —πειραματικά— ήχο. Η προσέγγιση υπόσχεται γρήγορο triage και ταξινόμηση σε συσκευές edge, αλλά τα διαθέσιμα benchmarks έχουν παρουσιαστεί από την ίδια την εταιρεία.
Η Liquid AI θέλει να μεταφέρει ένα μέρος της πρακτικής AI από το cloud στη συσκευή. Η εταιρεία παρουσίασε δύο ανοιχτά μοντέλα της οικογένειας d1: το d1-3B, που δέχεται κείμενο και εικόνες, και το πειραματικό d1-omni-600M, που μπορεί να συνδυάσει κείμενο με εικόνα ή ήχο.
Δεν παράγουν tokens, παίρνουν αποφάσεις
Τα d1 διαφέρουν από τα συνηθισμένα παραγωγικά μοντέλα. Αντί να δημιουργούν μια ακολουθία tokens, απαντούν σε ένα μόνο forward pass σε ερωτήματα που έχουν οριστεί εκ των προτέρων. Έτσι μπορούν να επιστρέφουν, για παράδειγμα, αν ένα αίτημα αφορά επιστροφή χρημάτων, σε ποια ομάδα πρέπει να δρομολογηθεί και πόσο επείγον είναι.
Αυτός ο σχεδιασμός ταιριάζει σε εφαρμογές όπου η ταχύτητα και η προβλεψιμότητα μετρούν περισσότερο από μια μακροσκελή συνομιλία. Ένα σύστημα εξυπηρέτησης, ένας έλεγχος ποιότητας σε γραμμή παραγωγής ή ένα εργαλείο ταξινόμησης περιστατικών μπορεί να χρειάζεται σαφή ετικέτα και όχι κείμενο που θα πρέπει να ερμηνευτεί ξανά.
Πολυτροπική είσοδος σε μικρότερο αποτύπωμα
Το d1-3B βασίζεται στο LFM2.5-VL-3B και υποστηρίζει κείμενο και εικόνες. Το d1-omni-600M βασίζεται σε encoder και προσθέτει οπτικό και ακουστικό encoder, ώστε να δέχεται κείμενο μαζί με εικόνα ή κείμενο μαζί με ήχο. Η έκδοση των 600 εκατομμυρίων παραμέτρων παραμένει πρώιμη ερευνητική κυκλοφορία.
Το μικρότερο μέγεθος δεν σημαίνει αυτομάτως ότι ένα μοντέλο είναι κατάλληλο για κάθε συσκευή. Σημαίνει όμως ότι η ανάπτυξη σε τοπικό hardware γίνεται πιο ρεαλιστική, ειδικά όταν τα δεδομένα δεν πρέπει να ταξιδεύουν συνεχώς σε έναν server. Για μια ελληνική επιχείρηση, αυτό μπορεί να αφορά ταξινόμηση αιτημάτων, οπτικό έλεγχο προϊόντων ή λειτουργίες σε εγκαταστάσεις με ασταθή σύνδεση.
Τα νούμερα της Liquid AI
Στα επτά δημόσια datasets που χρησιμοποίησε η Liquid AI, το d1-3B πέτυχε μέση βαθμολογία 82,9, ενώ το d1-omni-600M 78,4. Οι δοκιμές κάλυψαν κατανόηση κειμένου, ανίχνευση τοξικότητας, ταξινόμηση προθέσεων, ιατρικές ερωτήσεις και διαγλωσσική κατανόηση.
Η εταιρεία αναφέρει επίσης ότι το d1-3B απαντά σε μία ερώτηση σε 16 milliseconds στο NVIDIA Jetson AGX Thor, 26 milliseconds στο Jetson AGX Orin και 50 milliseconds στο Jetson Orin Nano. Σε GPU, οι μετρήσεις που δημοσιεύτηκαν είναι κάτω από 10 milliseconds για μία ερώτηση.
Οι αριθμοί είναι εντυπωσιακοί, αλλά χρειάζονται προσεκτική ανάγνωση. Τα benchmarks προέρχονται από την ίδια την ομάδα που ανέπτυξε τα μοντέλα, ενώ η δημοσίευση δεν περιλαμβάνει vision benchmarks ή audio benchmarks για το d1-omni-600M. Η ίδια η Liquid AI σημειώνει ότι το δημόσιο Decision Index δεν διαθέτει ακόμη κατάλληλο audio benchmark.
Τι αλλάζει για το edge AI
Η αξία των d1 δεν θα κριθεί μόνο από το αν ξεπερνούν έναν ανταγωνιστή σε έναν πίνακα. Θα κριθεί από το αν μπορούν να ενταχθούν σε πραγματικές ροές εργασίας με σταθερή ακρίβεια, χαμηλή κατανάλωση και σαφή όρια ευθύνης. Το ότι τα βάρη είναι ανοιχτά διευκολύνει τον πειραματισμό, όμως η επιχείρηση εξακολουθεί να χρειάζεται δικά της δεδομένα, δοκιμές και παρακολούθηση σφαλμάτων.
Η προσέγγιση είναι ιδιαίτερα χρήσιμη για αποφάσεις που επαναλαμβάνονται και μπορούν να περιγραφούν με κανόνες: ποιο αίτημα θα πάει σε ποιο τμήμα, ποια εικόνα χρειάζεται ανθρώπινο έλεγχο ή ποιο συμβάν πρέπει να κλιμακωθεί άμεσα. Δεν αντικαθιστά έναν γενικό agent ούτε αποδεικνύει ότι κάθε πολυτροπική εργασία μπορεί να γίνει τοπικά.
Με τα d1-3B και d1-omni-600M, η Liquid AI προτείνει ένα διαφορετικό σημείο ισορροπίας: λιγότερη παραγωγή, περισσότερες γρήγορες αποφάσεις, και υπολογισμός κοντά στην πηγή των δεδομένων. Το επόμενο τεστ θα είναι αν οι επιδόσεις και η ανθεκτικότητα παραμένουν ίδιες όταν τα μοντέλα βγουν από τα benchmarks και μπουν σε πραγματικές συσκευές.
Πηγή: Hugging Face / Liquid AI