Το τμήμα Google Research ανακοίνωσε μια σημαντική εξέλιξη που υπόσχεται να φέρει την τεχνητή νοημοσύνη πιο κοντά στη λειτουργία του ανθρώπινου εγκεφάλου. Η νέα μέθοδος, που φέρει το όνομα Nested Learning, στοχεύει να αντιμετωπίσει ένα από τα μεγαλύτερα προβλήματα που ταλανίζουν τα συστήματα μηχανικής μάθησης: τη λεγόμενη καταστροφική λήθη. Πρόκειται για το φαινόμενο όπου ένα σύστημα AI, μαθαίνοντας κάτι καινούργιο, ξεχνάει όσα γνώριζε προηγουμένως, ένα είδος ψηφιακής αμνησίας που περιορίζει δραστικά τη δυνατότητα διαρκούς εκπαίδευσης.
Η ερευνητική ομάδα της Google εμπνεύστηκε από τη νευροπλαστικότητα, δηλαδή την ικανότητα του ανθρώπινου εγκεφάλου να προσαρμόζεται και να μαθαίνει χωρίς να διαγράφει τις παλιές μνήμες. Σύμφωνα με τη Google, το Nested Learning αποτελεί μια «σταθερή βάση» για τη γεφύρωση του χάσματος ανάμεσα στα σημερινά LLMs (Large Language Models) και τη φυσική, προσαρμοστική μάθηση του ανθρώπου.
Η βασική καινοτομία της μεθόδου βρίσκεται στον τρόπο που προσεγγίζεται η ίδια η αρχιτεκτονική ενός συστήματος AI. Μέχρι σήμερα, οι ερευνητές αντιμετώπιζαν το μοντέλο και τον αλγόριθμο βελτιστοποίησής του ως δύο διακριτά στοιχεία. Το Nested Learning, αντίθετα, τα ενοποιεί σε μια ενιαία οντότητα, όπου το ένα επηρεάζει και βελτιστοποιεί το άλλο σε πραγματικό χρόνο.
Η νέα προσέγγιση αντιμετωπίζει κάθε AI μοντέλο ως μια σειρά από μικρότερα, αλληλοσυνδεόμενα «φωλιασμένα» προβλήματα βελτιστοποίησης. Κάθε υποσύστημα εκπαιδεύεται με διαφορετική ταχύτητα, σε μια διαδικασία που η ομάδα ονομάζει multi-time-scale updates. Με αυτόν τον τρόπο, το μοντέλο μπορεί να προσαρμόζεται σταδιακά, διατηρώντας ταυτόχρονα τις προηγούμενες γνώσεις του. Αντί να ενημερώνεται ολόκληρο το δίκτυο μονολιθικά, διαγράφοντας παλιά δεδομένα κάθε φορά που εισάγεται κάτι νέο, το Nested Learning επιτρέπει μια πιο λεπτομερή, πολυεπίπεδη μάθηση που θυμίζει τον τρόπο που λειτουργεί ο εγκέφαλος.
Για να αποδείξει τη λειτουργικότητα της ιδέας, η Google ανέπτυξε ένα πειραματικό μοντέλο που ονομάζεται Hope. Το Hope υιοθετεί μια αυτοτροποποιούμενη αναδρομική αρχιτεκτονική, ικανή να διαχειρίζεται και να βελτιστοποιεί τη μνήμη της. Στην καρδιά του βρίσκεται το Continuum Memory System, μια νέα θεώρηση της μνήμης που δεν τη χωρίζει απλώς σε βραχυπρόθεσμη και μακροπρόθεσμη. Αντίθετα, τη βλέπει ως ένα συνεχές φάσμα επιπέδων, όπου κάθε στρώμα ενημερώνεται με διαφορετικό ρυθμό. Έτσι, το μοντέλο μπορεί να συγκρατεί και να οργανώνει πολύ περισσότερες πληροφορίες, διατηρώντας παράλληλα ευελιξία και αποδοτικότητα.
Στα πειράματα, το Hope κατάφερε να ξεπεράσει τα πιο προηγμένα σημερινά μοντέλα σε απαιτητικές δοκιμασίες μνήμης μεγάλης διάρκειας. Μία από αυτές ήταν το λεγόμενο Needle-In-Haystack task, όπου η AI καλείται να εντοπίσει μια μικρή, κρίσιμη πληροφορία θαμμένη μέσα σε έναν τεράστιο όγκο δεδομένων. Εκεί, το Hope έδειξε όχι μόνο καλύτερη ακρίβεια, αλλά και ταχύτερη ανάκληση σε σχέση με τα συμβατικά LLMs. Επιπλέον, στην τυπική γλωσσική μοντελοποίηση, παρουσίασε υψηλότερη συνοχή και αποδοτικότητα στην κατανόηση περιβάλλοντος.
Η Google βλέπει στο Nested Learning μια πιθανή λύση στο πρόβλημα της διαρκούς μάθησης που μέχρι σήμερα εμπόδιζε τα μοντέλα τεχνητής νοημοσύνης να εξελίσσονται οργανικά, όπως οι άνθρωποι. Με αυτή την τεχνική, η εκπαίδευση μιας AI δεν θα χρειάζεται να ξεκινά από το μηδέν κάθε φορά, αλλά θα μπορεί να χτίζει πάνω σε όσα έχει ήδη μάθει. Αν επιβεβαιωθεί η αποτελεσματικότητα της προσέγγισης, το Nested Learning θα μπορούσε να αποτελέσει τη βάση για μια νέα γενιά συστημάτων που «θυμούνται» και εξελίσσονται πραγματικά.
Αν και η Google δεν έχει αποκαλύψει ακόμα πότε θα δούμε αυτή την τεχνολογία να ενσωματώνεται σε προϊόντα της, οι περισσότεροι εικάζουν ότι οι επόμενες εκδόσεις του Google Gemini θα είναι οι πρώτες που θα την αξιοποιήσουν.
[source]
