BREAKING

11

Η “απάτη” των benchmarks

Καλό μήνα σε όλους μας.

Λογικά μέχρι τώρα θα έχετε ήδη ακούσει ή διαβάσει για το θέμα που προέκυψε με το Galaxy S4 της Samsung και την “πειραγμένη” GPU του. Σε περίπτωση που σας ξέφυγε, αυτό που συνέβη είναι η αποκάλυψη του hardware site Anandtech πως το S4 ανεβάζει αυτόματα τη συχνότητα της κάρτας γραφικών του όταν αντιλαμβάνεται πως “τρέχει” συγκεκριμένα δημοφιλή benchmarks, αποδίδοντας έτσι καλύτερα απ'ότι στα πραγματικά παιχνίδια.

s4benches_1

Προκλήθηκε σάλος και η απάντηση της εταιρείας ήταν (προς τιμήν της) άμεση:

"Υπό κανονικές συνθήκες, το Galaxy S4 έχει σχεδιαστεί ώστε να επιτρέπει μέγιστη συχνότητα για τη GPU του τα 533MHz. Ωστόσο, η μέγιστη συχνότητα αυτή "χαμηλώνει" έως τα 480MHz σε συγκεκριμένες gaming εφαρμογές που μπορούν να προκαλέσουν overload, όταν χρησιμοποιούνται για παρατεταμένο χρονικό διάστημα σε full screen. Εν τω μεταξύ, η μέγιστη συχνότητα των 533MHz είναι σε ισχύ για τη λειτουργία εφαρμογών που τρέχουν συνήθως σε full-screen, όπως οι S Browser, Gallery, Camera, Video Player καθώς και συγκεκριμένες benchmarking apps που επίσης είναι απαιτητικές στον τομέα της απόδοσης. Οι μέγιστες συχνότητες της GPU του Samsung Galaxy S4 μεταβάλλονται ώστε να παρέχουν τη βέλτιστη εμπειρία χρήσης για τους πελάτες μας και δεν αποσκοπούν στο να βελτιώσουν ορισμένα αποτελέσματα από benchmarks."

Δυστυχώς για τη Samsung, αυτό δεν μας εξηγεί το πως βρέθηκαν αναφορές στα εν λόγω benchmarks, σε συγκεκριμένες γραμμές κώδικα ενός αρχείου συστήματος. Εκεί όπου δε θα έπρεπε να βρίσκονται, δηλαδή. Πιό συγκεκριμένα, ανοίγοντας το TwDVFSApp.apk με έναν hex editor, μπορεί κάποιος να δεί τα παρακάτω.

s4benches_2

Άμεσα, ένα μεγάλο μέρος της κοινότητας άρχισε να επιτίθεται στη Samsung και να την κατακρίνει για την τακτική της. Κάποιοι, πιό ψύχραιμοι, υπενθύμισαν πως δεν είναι η πρώτη φορά που συμβαίνει κάτι τέτοιο από μια μεγάλη εταιρεία και σίγουρα δε θα είναι η τελευταία. Πολλά τα παραδείγματα στο παρελθόν, όπως από nVidia και AΤi, των οποίων οι κάρτες γραφικών συνήθιζαν να φέρνουν υπερβολικά καλά αποτελέσματα σε συγκεκριμένα banchmarks ή games, αλλά έπεφταν σε πιό “normal” επίπεδα στα υπόλοιπα, μπερδεύοντας τους χρήστες και τους reviewers.

Η αλήθεια, όπως πάντα σε αυτή τη ζωή, βρίσκεται στη μέση: Ναι, η Samsung “πείραξε” τον κώδικα για να τρέχει η GPU του S4 στα 533 MHz στα benchmarks, αντί των 480 MHz που αγγίζει στα games. Ως εκ τούτου, προβλήθηκαν εν μέρει πλασματικά αποτελέσματα και συμπεράσματα στα διάφορα reviews της συσκευής, αφού ο χρήστης πλήρωνε για επιδόσεις που στην πραγματικότητα δεν απολάμβανε. Στην πυρά, λοιπόν;

s4benches_4

Όχι. Γιατί αυτός είναι ο κόσμος των benchmarks. Οι ίδιοι οι χρήστες και οι reviewers φτάσαμε την κατάσταση εδώ, γιατί δίνουμε βάρος σε αυτά, γιατί προτρέπουμε τους χρήστες να εμπιστεύονται τα ψυχρά νούμερα, γιατί φτιάχνουμε όμορφα πινακάκια με frames per second, γιατί ο αναγνώστης θέλει μέσα σε 10 δευτερόλεπτα να μάθει πόσο καλά τα πάει μια συσκευή στην επεξεργασία 3D γραφικών και βαριέται να διαβάσει το υπόβαθρο, το τι συμβαίνει στα παρασκήνια, το ποιά GPU αποδίδει καλά και που. Δε θέλει 10 συγκριτικά από διαφορά apps, θέλει ένα και γενικό. Guess what, αυτό δεν γίνεται.

Η Samsung γνωρίζει πως η GPU της μπορεί να τρέξει με ασφάλεια στα 533 MHz χωρίς κίνδυνο, αλλά για λίγη ώρα. Οπότε, την αφήνει να τρέξει σε αυτή τη συχνότητα σε εφαρμογές που την αξιοποιούν, αλλά με την προϋπόθεση πως δε θα ζορίσουν τη συσκευή για πολύ. Τα benchmarks κάνουν ακριβώς αυτό, ξεζουμίζουν το hardware για 3-5 λεπτά και βγάζουν ένα νούμερο. Τα παιχνίδια όμως, που πρέπει να τρέχουν full screen για μισή, μία, δύο ώρες, όσο θέλει ο χρήστης, θα προκαλούσαν πρόβλημα στη GPU στα 533 MHz. Ουσιαστικά, αυτό που μας λέει η Samsung είναι “το S4 τρέχει στα 533 MHz, αλλά σε κάποιες περιπτώσεις πολύωρης χρήσης η συχνότητα χαμηλώνει αυτόματα για να μη προκληθεί βλάβη.” Κρίμα που αυτές οι περιπτώσεις είναι και οι πλέον ουσιώδεις, έτσι;

s4benches_3

Τυπικά, η Samsung δεν εξαπάτησε κανέναν. Θα σταθούμε όμως στη φράση-”κλειδί” της, που ίσως δε θα έπρεπε να έχει συμπεριλάβει στην ανακοίνωση: “Εν τω μεταξύ, [...] συγκεκριμένες benchmarking apps που επίσης είναι απαιτητικές στον τομέα της απόδοσης.”

Εδώ συνοψίζεται το πόσο λάθος άποψη έχει όλος ο κόσμος για τα benchmars, από τον απλό χρήστη, μέχρι τον δοκιμαστή και μέχρι τον εκάστοτε engineer της όποιας Samsung (αν και δεν έγραψε αυτός την ανακοίνωση). Τα benchmarks δεν απαιτούν αυξημένη απόδοση και αυξημένες επιδόσεις. Τα benchmarks είναι εδώ απλώς για να μας δείξουν τι μπορεί να κάνει το hardware σε μια συνθετική ρουτίνα που μπορεί κάλλιστα να αποδειχθεί ευνοϊκή για κάποια συσκευή, αλλά να “ρίξει” κάποια άλλη. Το hardware και το software δεν πρέπει να είναι optimized για τα benchmarks, ούτε τα benchmarks γι'αυτό. Δεν υπάρχει λοιπόν καμιά “απαίτηση”, όπως αναφέρεται στη δήλωση, ή τουλάχιστον δε θα έπρεπε να υπάρχει.

Δυστυχώς, έτσι λειτουργούν τα μετροπρογράμματα και η αγορά, το μόνο που μπορεί να κάνει κανείς, είναι να μάθει να διαβάζει “πίσω” από αυτά. Ειδάλλως, διαπράττει το ίδιο σφάλμα με εκείνον που αγοράζει ένα αυτοκίνητο με βάση το “0-100” του, ή μια ηλεκτρική κουζίνα κοιτώντας το πόσα Watts αποδίδει. Μη το κάνετε.

11 Comments

  • TGM
    2 Αυγούστου 2013 at 18:37

    Συμφωνώ οτι φταίει και ο μέσος χαζός χρήστης-πελάτης που τον νοιάζει να πει «το δικό μου είναι πιο γρήγορο, άρα και καλύτερο» και όχι μόνο η Samsung που εκμεταλλεύεται την ανθρώπινη ηλιθιότητα. Ούτε και θα “ναι η πρώτη που το κάνει αυτό.
    Με την μανία των benchmarks διαφωνώ γενικά, και τα “χω ξαναπεί κι από δω, αλλά οι μεγάλοι overclockers των κινητών(!) νομίζουν πως ξέρουν καλύτερα.
    Προσωπικά δίνω μεγαλύτερη έμφαση στην ποιότητα, την αντοχή στο χρόνο, την αυτονομία και το αισθητικό κριτήριο, εξάλλου το κινητό σου το κουβαλάς πάνω σου κάθε μέρα όλη μέρα, θα πρέπει να σου αρέσει.
    Χρησιμοποιώ ένα παλιό Nokia C7

  • James
    2 Αυγούστου 2013 at 12:36

    Φίλε Γιάννη προσωπικά ποτέ στα reviews μου δε δίνω βάρος στα banchmarks, στο αν η CPU τρέχει στο 1,6 ή στο 1,7 GHz κ.λπ., προτιμώ να δουλεύω τη συσκευή σε καθημερινή βάση για λίγες μέρες και έπειτα να βγάζω ένα ολοκληρωμένο συμπέρασμα. Ωστόσο, υπάρχουν πάντα και οι αναγνώστες που θα γκριινιάξουν γιατί «δεν βάλατε κανένα νούμερο από benchmark», οπότε καταλαβαίνεις πως δε μπορείς να τους ικανοποιήσεις όλους. Όση ευθύνη έχει ο reviewer να γράψει ένα καλό review, άλλο τόσο «υπεύθυνος» πρέπει να είναι και ο χρήστης που θα το διαβάσει για να το κατανοήσει.

    Ευχαριστούμε για το feedback.

  • Γιάννης
    2 Αυγούστου 2013 at 09:24

    «γιατί προτρέπουμε τους χρήστες να εμπιστεύονται τα ψυχρά νούμερα, γιατί φτιάχνουμε όμορφα πινακάκια με frames per second»

    ΑΛΛΑΞΤΕ τότε τον τρόπο δοκιμών αγαπητέ! Κάντε τις δοκιμές με βάση τις ΠΡΑΓΜΑΤΙΚΕΣ συνθήκες χρήσης, κοινώς πάρτε τα κινητά και λιώστε τα στη χρήση και στα παιχνίδια και αφήστε τα benchmark apps στην άκρη!

    ΔΕΝ φταίει ο αναγνώστης που «θέλει μέσα σε 10 δευτερόλεπτα να μάθει πόσο καλά τα πάει μια συσκευή στην επεξεργασία 3D γραφικών και βαριέται να διαβάσει το υπόβαθρο, το τι συμβαίνει στα παρασκήνια, το ποιά GPU αποδίδει καλά και που.», φταίει ΠΡΩΤΙΣΤΩΣ ο δοκιμαστής που ΒΑΡΙΕΤΑΙ να αφιερώσει ΧΡΟΝΟ για να λειτουργήσει το τηλέφωνο ως ΚΑΝΟΝΙΚΟΣ χρήστης, και μετά να γράψει τα συμπεράσματά του, και έχει την εύκολη λύση να ρίξει 10 benchmark apps στο κινητό και μετά να πετάξει στη δοκιμή τα πινακάκια που θα του βγάλουν και έτσι να βγάλει το συμπέρασμα για το κινητό.

    Και φυσικά εφόσον ΕΤΣΙ λειτουργεί ο δοκιμαστής, ΕΤΣΙ μαθαίνει και λειτουργεί και ο χρήστης!

    Ιδού η Ρόδος λοιπόν αγαπητέ, ιδού και το πήδημα. Αλλάξτε εσείς τον τρόπο δοκιμών, προσαρμόστε τις δοκιμές στις ΠΡΑΓΜΑΤΙΚΕΣ συνθήκες χρήσης (με βάση τον τρόπο χρήσης που υπολογίζει η εταιρεία να υποστεί κάθε συσκευή από το target group χρηστών που στοχεύει), και αγνοήστε τις γκρίνιες των όποιων θιασωτών των frames per second… Η συντριπτική πλειοψηφία των χρηστών ενδιαφέρεται πολύ περισσότερο για την πραγματική αυτονομία του κινητού σε κανονικές και σκληρές συνθήκες χρήσης, για παράδειγμα, παρά για τα frames per second…

  • VIPER
    2 Αυγούστου 2013 at 08:07

    Έχετε γράψει λάθος την λέξη «benchmarks¨ τουλάχιστον 2 φορές.

    Κατά τα άλλα πολύ σωστή τοποθέτηση.

  • GEORGE
    2 Αυγούστου 2013 at 01:47

    533Mhz?

  • GioRgio K
    1 Αυγούστου 2013 at 20:54

    Τα εύσημά και τα θερμά μου συγχαρητήρια στον Editor (by Δημήτρης Σκιάννης) του άρθρου!!
    Πραγματικά εξαιρετικό, με επιχειρηματολογία που δέν στέκετε στήν φανφαρολογία αλλά στην ουσία του θέματος: ta benchmarks δημιουργήθηκαν για έναν σκοπό.Εάν όμως ο αγοραστής στέκετε μόνο εκεί, τότε «διαπράτει σφάλμα» όπως σωστά αναφέρετε και στο τέλος του άρθρου.
    Very Good Job Dimitris!!!

  • icecube
    1 Αυγούστου 2013 at 16:48

    benchmarks ; χα,χα,χα!!!! nokia 808 pureview και ξερο ψωμι…. ολα τα αλλα ειναι….. «αλλα λογια να αγαπιομαστε….».

  • anonymous
    1 Αυγούστου 2013 at 16:24

    Μπορεί να μην ακούγεται και το καλύτερο πράγμα αλλά εφόσον υπάρχει αυτή η δυνατότητα στο τηλέφωνο, η Samsung θέλησε να την αξιοποιήσει. Και πως θα γινόταν αυτό ; Μα φυσικά παρεμβαίνοντας στον κώδικα της εφαρμογής. Τώρα γιατί σε αυτήν και όχι σε άλλες και σε διάφορα παιχνίδια, ίσως γιατί δεν χρειαζόταν. Ούτως ή άλλως για περισσότερα παιχνίδια η ισχύς των νέων Smartphones είναι υπεραρκετή.

  • george
    1 Αυγούστου 2013 at 15:27

    well said

  • Marios
    1 Αυγούστου 2013 at 15:02

    Τι; Δηλαδή δε θα παίζουμε Angry Birds στα 533 MHz, αλλά μόνο στα 480!
    Αίσχος!

  • A
    1 Αυγούστου 2013 at 14:55

    Τα πράγματα είναι πολύ απλά:

    Οι εταιρίες που κυκλοφορούν τα benchmark apps πρέπει να τα τροποποιήσουν ώστε η κάθε μέτρηση να διαρκεί 30 λεπτά αντί για 3-4.

    Problem solved :P