12.4 C
Athens
Σάββατο, 7 Δεκεμβρίου, 2024
More

    Έρευνα αποκαλύπτει: Αρκετά “σκαμπανεβάσματα” στην απόδοση του ChatGPT

    Το ChatGPT άνοιξε μια νέα σελίδα στην εξέλιξη της τεχνητής νοημοσύνης και κέντρισε το ενδιαφέρον από τις πρώτες ημέρες της κυκλοφορίας του. Πλέον βρίσκεται εγκατεστημένο σε πολλές συσκευές, αν και είναι συχνές οι παρατηρήσεις σχετικά με την αξιοπιστία του. Μια πρόσφατη έρευνα από το Πανεπιστήμιο του Στάνφορντ τώρα έρχεται να υποδείξει κάποια… σκαμπανεβάσματα στην απόδοση του δημοφιλούς chatbot.

    Οι ερευνητές έθεσαν, λοιπόν, στο “μικροσκόπιο” το ChatGPT, αναθέτοντάς του να χειριστεί διαφορετικά καθήκοντα μέσα σε λίγους μήνες. Οι εργασίες περιλάμβαναν την επίλυση μαθηματικών προβλημάτων, την απάντηση ευαίσθητων ερωτήσεων, τη δημιουργία κώδικα λογισμικού και το visual reasoning. Τα αποτελέσματα παρουσιάζουν ενδιαφέρον. Διαπιστώθηκε ότι το ChatGPT δεν ήταν συνεπές. Όσον αφορά την επίλυση μαθηματικών προβλημάτων, το GPT-4 ξεκίνησε δυνατά τον Μάρτιο, προσδιορίζοντας σωστά τους πρώτους αριθμούς στο 97,6% των περιπτώσεων. Όμως, τρεις μήνες αργότερα, η ακρίβειά του μειώθηκε σε μόλις 2,4%. Το GPT-3.5 έδειξε βελτίωση, αφού η ακρίβειά του από το 7,4% ανέβηκε σε 86,8% στην ίδια εργασία.

    Οι αλλαγές στην απόδοση δε σχετίζονται τόσο με την ακρίβεια του chatbot σε συγκεκριμένες εργασίες, αλλά περισσότερο είναι συνέπεια της τελειοποίησης του μοντέλου. Η τροποποίηση ενός μέρους του μοντέλου για τη βελτίωση μιας εργασίας μπορεί να επηρεάσει αρνητικά άλλες εργασίες λόγω πολύπλοκων διασυνδέσεων εντός του μοντέλου. Δυστυχώς, επειδή το ChatGPT λειτουργεί όπως ένα “μαύρο κουτί’, οι ερευνητές δεν μπορούν να δουν πώς λειτουργεί. Αυτή η έλλειψη διαφάνειας έγινε πιο εμφανής όταν η OpenAI αποφάσισε να μην κάνει τον κώδικά της ανοιχτό. Η μελέτη τονίζει τη σημασία της αναγνώρισης αυτών των αλλαγών απόδοσης και της παρακολούθησης των μοντέλων με την πάροδο του χρόνου.

    Σημειώνεται ότι όχι μόνο οι απαντήσεις του ChatGPT έγιναν λιγότερο ακριβείς, αλλά σταμάτησε επίσης να εξηγεί το “σκεπτικό” του. Αυτό είναι παρόμοιο με το να ζητάς από έναν μαθητή να δείξει τη δουλειά του στην επίλυση ενός μαθηματικού προβλήματος βήμα προς βήμα. Βοηθά τους ερευνητές να κατανοήσουν πώς η τεχνητή νοημοσύνη φτάνει στις απαντήσεις της. Ωστόσο, το ChatGPT άρχισε να παραλείπει αυτό το βήμα, καθιστώντας δυσκολότερη τη μελέτη της διαδικασίας συλλογισμού του.

    Διαβάστε επίσης:

    IFA 2023: Η Miele κερδίζει τις εντυπώσεις με μια νέα κατηγορία και την χρήση ΑΙ στην κουζίνα (digitallife.gr)

    Ελένη Σαραντάκη
    Ελένη Σαραντάκη
    Η Ελένη Σαραντάκη είναι δημοσιογράφος και εκπαιδευτικός με πολυετή εμπειρία στο χώρο του τεχνολογικού και τουριστικού ρεπορτάζ. Έχει συνεργαστεί με ηλεκτρονικά και έντυπα μέσα ως αρθρογράφος, ενώ σήμερα είναι αρχισυντάκτρια του περιοδικού της Πανελλήνιας Ομοσπονδίας Ξενοδόχων Greek Hotelier και editor στο τεχνολογικό site Digital Life.

    Related Articles

    Stay Connected

    45,800ΥποστηρικτέςΚάντε Like
    6,126ΑκόλουθοιΑκολουθήστε
    15,000ΣυνδρομητέςΓίνετε συνδρομητής


    Latest Articles