Μελέτη που υποστηρίζεται από τη Microsoft επισημαίνει ατέλειες στο GPT-4
Αξιοπιστία του GPT-4 : Οι ερευνητές διαπίστωσαν ότι το GPT-4 είναι γενικά πιο αξιόπιστο από το GPT-3.5 σε τυπικά σημεία αναφοράς. Αυτό υποδηλώνει ότι έχει καλύτερες προθέσεις και βελτιωμένη κατανόηση.
Ευπάθειες σε προτροπές jailbreaking : Ωστόσο, οι ερευνητές ανακάλυψαν ότι το GPT-4 είναι πιο ευάλωτο σε κακόβουλα σχεδιασμένα μηνύματα, τα οποία συχνά αναφέρονται ως προτροπές “jailbreaking”. Αυτές οι προτροπές έχουν σχεδιαστεί για να παρακάμπτουν τα ενσωματωμένα μέτρα ασφαλείας του μοντέλου.
Ακριβής ακολουθία οδηγιών : Ένας λόγος για την αυξημένη ευπάθεια του GPT-4 μπορεί να είναι η τάση του να ακολουθεί τις οδηγίες με μεγαλύτερη ακρίβεια, ακόμη και όταν αυτές οι οδηγίες είναι παραπλανητικές. Αυτό μπορεί να οδηγήσει στη δημιουργία τοξικού ή μεροληπτικού κειμένου GPT-4 όταν παρουσιάζεται με συγκεκριμένα μηνύματα.
Συμμετοχή της Microsoft : Η έρευνα συνδέεται με τη Microsoft και το chatbot Bing Chat της Microsoft υποστηρίζεται από το GPT-4. Παρά τα ευρήματα της μελέτης, σημειώνεται ότι η ερευνητική ομάδα συνεργάστηκε με τη Microsoft για να διασφαλίσει ότι τα τρωτά σημεία που εντοπίστηκαν δεν επηρεάζουν τις υπηρεσίες που αντιμετωπίζουν οι πελάτες. Το συμπέρασμα είναι ότι διορθώσεις σφαλμάτων και ενημερώσεις κώδικα μπορεί να έχουν εφαρμοστεί πριν από τη δημοσίευση της έρευνας.
Jailbreaking και διαρροή ιδιωτικών δεδομένων : Το GPT-4, όπως και άλλα LLM, μπορεί να γίνει “jailbreaking” για την εκτέλεση ακούσιων εργασιών. Όταν δίνονται ορισμένες προτροπές jailbreaking, το GPT-4 μπορεί να δημιουργήσει τοξικό περιεχόμενο, να συμφωνεί με προκατειλημμένες δηλώσεις ανάλογα με τις δημογραφικές ομάδες που αναφέρονται στην προτροπή, ακόμη και να διαρρέει ευαίσθητα προσωπικά δεδομένα, συμπεριλαμβανομένων των διευθύνσεων email.
Ανοιχτός κώδικας : Οι ερευνητές έχουν δημιουργήσει τον κώδικα ανοιχτού κώδικα που χρησιμοποίησαν για τη συγκριτική αξιολόγηση των μοντέλων στο GitHub. Αυτό έχει ως στόχο να ενθαρρύνει την ερευνητική κοινότητα να αξιοποιήσει το έργο της και να αντιμετωπίσει τα τρωτά σημεία στα LLM.
