Το ChatGPT άνοιξε μια νέα σελίδα στην εξέλιξη της τεχνητής νοημοσύνης και κέντρισε το ενδιαφέρον από τις πρώτες ημέρες της κυκλοφορίας του. Πλέον βρίσκεται εγκατεστημένο σε πολλές συσκευές, αν και είναι συχνές οι παρατηρήσεις σχετικά με την αξιοπιστία του. Μια πρόσφατη έρευνα από το Πανεπιστήμιο του Στάνφορντ τώρα έρχεται να υποδείξει κάποια… σκαμπανεβάσματα στην απόδοση του δημοφιλούς chatbot.
Οι ερευνητές έθεσαν, λοιπόν, στο “μικροσκόπιο” το ChatGPT, αναθέτοντάς του να χειριστεί διαφορετικά καθήκοντα μέσα σε λίγους μήνες. Οι εργασίες περιλάμβαναν την επίλυση μαθηματικών προβλημάτων, την απάντηση ευαίσθητων ερωτήσεων, τη δημιουργία κώδικα λογισμικού και το visual reasoning. Τα αποτελέσματα παρουσιάζουν ενδιαφέρον. Διαπιστώθηκε ότι το ChatGPT δεν ήταν συνεπές. Όσον αφορά την επίλυση μαθηματικών προβλημάτων, το GPT-4 ξεκίνησε δυνατά τον Μάρτιο, προσδιορίζοντας σωστά τους πρώτους αριθμούς στο 97,6% των περιπτώσεων. Όμως, τρεις μήνες αργότερα, η ακρίβειά του μειώθηκε σε μόλις 2,4%. Το GPT-3.5 έδειξε βελτίωση, αφού η ακρίβειά του από το 7,4% ανέβηκε σε 86,8% στην ίδια εργασία.
Οι αλλαγές στην απόδοση δε σχετίζονται τόσο με την ακρίβεια του chatbot σε συγκεκριμένες εργασίες, αλλά περισσότερο είναι συνέπεια της τελειοποίησης του μοντέλου. Η τροποποίηση ενός μέρους του μοντέλου για τη βελτίωση μιας εργασίας μπορεί να επηρεάσει αρνητικά άλλες εργασίες λόγω πολύπλοκων διασυνδέσεων εντός του μοντέλου. Δυστυχώς, επειδή το ChatGPT λειτουργεί όπως ένα “μαύρο κουτί’, οι ερευνητές δεν μπορούν να δουν πώς λειτουργεί. Αυτή η έλλειψη διαφάνειας έγινε πιο εμφανής όταν η OpenAI αποφάσισε να μην κάνει τον κώδικά της ανοιχτό. Η μελέτη τονίζει τη σημασία της αναγνώρισης αυτών των αλλαγών απόδοσης και της παρακολούθησης των μοντέλων με την πάροδο του χρόνου.
Σημειώνεται ότι όχι μόνο οι απαντήσεις του ChatGPT έγιναν λιγότερο ακριβείς, αλλά σταμάτησε επίσης να εξηγεί το “σκεπτικό” του. Αυτό είναι παρόμοιο με το να ζητάς από έναν μαθητή να δείξει τη δουλειά του στην επίλυση ενός μαθηματικού προβλήματος βήμα προς βήμα. Βοηθά τους ερευνητές να κατανοήσουν πώς η τεχνητή νοημοσύνη φτάνει στις απαντήσεις της. Ωστόσο, το ChatGPT άρχισε να παραλείπει αυτό το βήμα, καθιστώντας δυσκολότερη τη μελέτη της διαδικασίας συλλογισμού του.
