Από την οπτική ενός ψυχολόγου
Μια ομάδα ερευνητών στο Ινστιτούτο Βιολογικής Κυβερνητικής Max Planck διεξήγαγε μια μελέτη για την αξιολόγηση της γενικής νοημοσύνης του GPT-3, ενός ισχυρού γλωσσικού μοντέλου που αναπτύχθηκε από την OpenAI. Οι ερευνητές χρησιμοποίησαν ψυχολογικά τεστ για να αξιολογήσουν τις ικανότητες του GPT-3 σε διάφορες ικανότητες, όπως η αιτιολογική σκέψη και η λήψη αποφάσεων, και συνέκριναν την απόδοσή του με αυτή των ανθρώπων. Ενώ το GPT-3 διαπιστώθηκε ότι είναι ικανό σε ορισμένους τομείς, υστερούσε σε άλλους, πιθανότατα λόγω της έλλειψης αλληλεπίδρασής του με τον πραγματικό κόσμο.
Ως μοντέλο γλώσσας, το GPT-3 έχει τη δυνατότητα να μάθει να ανταποκρίνεται στην εισαγωγή φυσικής γλώσσας και να δημιουργεί μια μεγάλη ποικιλία κειμένων. Εκπαιδεύτηκε σε τεράστιες ποσότητες δεδομένων Διαδικτύου και μπορεί να γράφει άρθρα, ιστορίες, ακόμη και να λύνει μαθηματικά και προγραμματιστικά προβλήματα. Οι εντυπωσιακές ικανότητες του GPT-3 οδήγησαν τους ερευνητές να αναρωτηθούν εάν διαθέτει ανθρώπινες γνωστικές ικανότητες.
Για να το διερευνήσουν αυτό, ο Marcel Binz και ο Eric Schulz στο Max Planck Institute for Biological Cybernetics υπέβαλαν το GPT-3 σε μια σειρά ψυχολογικών τεστ για να εξετάσουν διαφορετικές πτυχές της γενικής νοημοσύνης. Αξιολόγησαν την ικανότητα του GPT-3 να λαμβάνει αποφάσεις, να αναζητά πληροφορίες, να αιτιολογεί αιτιολογικά και να αμφισβητεί την αρχική του διαίσθηση. Οι ερευνητές συνέκριναν τα αποτελέσματα των δοκιμών του GPT-3 με αυτά ανθρώπων, αξιολογώντας τόσο την ακρίβεια των απαντήσεων όσο και την ομοιότητα των σφαλμάτων του GPT-3 με τα ανθρώπινα λάθη.
Ένα κλασικό τεστ γνωστικής ψυχολογίας που χρησιμοποιήθηκε ήταν το πρόβλημα της Linda, στο οποίο ζητείται από τα υποκείμενα της δοκιμής να αποφασίσουν μεταξύ δύο δηλώσεων για μια φανταστική γυναίκα που ονομαζόταν Linda με βάση δεδομένες πληροφορίες. Το GPT-3, όπως και οι άνθρωποι, βρέθηκε ότι αναπαράγει την πλάνη στην οποία πέφτουν οι άνθρωποι όταν παίρνουν αυτήν την απόφαση, πιθανότατα λόγω της εξοικείωσής του με την εργασία από τα δεδομένα εκπαίδευσης.
Οι ερευνητές σχεδίασαν νέες εργασίες για να αποκλείσουν τη δυνατότητα του GPT-3 να αναπαράγει μηχανικά μια απομνημονευμένη λύση σε ένα συγκεκριμένο πρόβλημα. Τα ευρήματά τους έδειξαν ότι το GPT-3 απέδωσε σχεδόν εξίσου καλά με τους ανθρώπους στη λήψη αποφάσεων, αλλά έμεινε πίσω στην αναζήτηση συγκεκριμένων πληροφοριών και αιτιωδών συλλογισμών. Οι ερευνητές πρότειναν ότι ο λόγος αυτής της ασυμφωνίας μπορεί να οφείλεται στην παθητική απόκτηση πληροφοριών από κείμενα από το GPT-3, η οποία διαφέρει από την ενεργητική αλληλεπίδραση με τον κόσμο που είναι κρίσιμη για την ανθρώπινη γνώση. Ωστόσο, σημείωσαν ότι καθώς οι χρήστες συνεχίζουν να αλληλεπιδρούν με μοντέλα όπως το GPT-3, τα μελλοντικά δίκτυα μπορεί να μάθουν από αυτές τις αλληλεπιδράσεις και να συγκλίνουν περισσότερο προς την ανθρώπινη νοημοσύνη.
