BREAKING

11

Η “απάτη” των benchmarks

Καλό μήνα σε όλους μας.

Λογικά μέχρι τώρα θα έχετε ήδη ακούσει ή διαβάσει για το θέμα που προέκυψε με το Galaxy S4 της Samsung και την “πειραγμένη” GPU του. Σε περίπτωση που σας ξέφυγε, αυτό που συνέβη είναι η αποκάλυψη του hardware site Anandtech πως το S4 ανεβάζει αυτόματα τη συχνότητα της κάρτας γραφικών του όταν αντιλαμβάνεται πως “τρέχει” συγκεκριμένα δημοφιλή benchmarks, αποδίδοντας έτσι καλύτερα απ'ότι στα πραγματικά παιχνίδια.

s4benches_1

Προκλήθηκε σάλος και η απάντηση της εταιρείας ήταν (προς τιμήν της) άμεση:

"Υπό κανονικές συνθήκες, το Galaxy S4 έχει σχεδιαστεί ώστε να επιτρέπει μέγιστη συχνότητα για τη GPU του τα 533MHz. Ωστόσο, η μέγιστη συχνότητα αυτή "χαμηλώνει" έως τα 480MHz σε συγκεκριμένες gaming εφαρμογές που μπορούν να προκαλέσουν overload, όταν χρησιμοποιούνται για παρατεταμένο χρονικό διάστημα σε full screen. Εν τω μεταξύ, η μέγιστη συχνότητα των 533MHz είναι σε ισχύ για τη λειτουργία εφαρμογών που τρέχουν συνήθως σε full-screen, όπως οι S Browser, Gallery, Camera, Video Player καθώς και συγκεκριμένες benchmarking apps που επίσης είναι απαιτητικές στον τομέα της απόδοσης. Οι μέγιστες συχνότητες της GPU του Samsung Galaxy S4 μεταβάλλονται ώστε να παρέχουν τη βέλτιστη εμπειρία χρήσης για τους πελάτες μας και δεν αποσκοπούν στο να βελτιώσουν ορισμένα αποτελέσματα από benchmarks."

Δυστυχώς για τη Samsung, αυτό δεν μας εξηγεί το πως βρέθηκαν αναφορές στα εν λόγω benchmarks, σε συγκεκριμένες γραμμές κώδικα ενός αρχείου συστήματος. Εκεί όπου δε θα έπρεπε να βρίσκονται, δηλαδή. Πιό συγκεκριμένα, ανοίγοντας το TwDVFSApp.apk με έναν hex editor, μπορεί κάποιος να δεί τα παρακάτω.

s4benches_2

Άμεσα, ένα μεγάλο μέρος της κοινότητας άρχισε να επιτίθεται στη Samsung και να την κατακρίνει για την τακτική της. Κάποιοι, πιό ψύχραιμοι, υπενθύμισαν πως δεν είναι η πρώτη φορά που συμβαίνει κάτι τέτοιο από μια μεγάλη εταιρεία και σίγουρα δε θα είναι η τελευταία. Πολλά τα παραδείγματα στο παρελθόν, όπως από nVidia και AΤi, των οποίων οι κάρτες γραφικών συνήθιζαν να φέρνουν υπερβολικά καλά αποτελέσματα σε συγκεκριμένα banchmarks ή games, αλλά έπεφταν σε πιό “normal” επίπεδα στα υπόλοιπα, μπερδεύοντας τους χρήστες και τους reviewers.

Η αλήθεια, όπως πάντα σε αυτή τη ζωή, βρίσκεται στη μέση: Ναι, η Samsung “πείραξε” τον κώδικα για να τρέχει η GPU του S4 στα 533 MHz στα benchmarks, αντί των 480 MHz που αγγίζει στα games. Ως εκ τούτου, προβλήθηκαν εν μέρει πλασματικά αποτελέσματα και συμπεράσματα στα διάφορα reviews της συσκευής, αφού ο χρήστης πλήρωνε για επιδόσεις που στην πραγματικότητα δεν απολάμβανε. Στην πυρά, λοιπόν;

s4benches_4

Όχι. Γιατί αυτός είναι ο κόσμος των benchmarks. Οι ίδιοι οι χρήστες και οι reviewers φτάσαμε την κατάσταση εδώ, γιατί δίνουμε βάρος σε αυτά, γιατί προτρέπουμε τους χρήστες να εμπιστεύονται τα ψυχρά νούμερα, γιατί φτιάχνουμε όμορφα πινακάκια με frames per second, γιατί ο αναγνώστης θέλει μέσα σε 10 δευτερόλεπτα να μάθει πόσο καλά τα πάει μια συσκευή στην επεξεργασία 3D γραφικών και βαριέται να διαβάσει το υπόβαθρο, το τι συμβαίνει στα παρασκήνια, το ποιά GPU αποδίδει καλά και που. Δε θέλει 10 συγκριτικά από διαφορά apps, θέλει ένα και γενικό. Guess what, αυτό δεν γίνεται.

Η Samsung γνωρίζει πως η GPU της μπορεί να τρέξει με ασφάλεια στα 533 MHz χωρίς κίνδυνο, αλλά για λίγη ώρα. Οπότε, την αφήνει να τρέξει σε αυτή τη συχνότητα σε εφαρμογές που την αξιοποιούν, αλλά με την προϋπόθεση πως δε θα ζορίσουν τη συσκευή για πολύ. Τα benchmarks κάνουν ακριβώς αυτό, ξεζουμίζουν το hardware για 3-5 λεπτά και βγάζουν ένα νούμερο. Τα παιχνίδια όμως, που πρέπει να τρέχουν full screen για μισή, μία, δύο ώρες, όσο θέλει ο χρήστης, θα προκαλούσαν πρόβλημα στη GPU στα 533 MHz. Ουσιαστικά, αυτό που μας λέει η Samsung είναι “το S4 τρέχει στα 533 MHz, αλλά σε κάποιες περιπτώσεις πολύωρης χρήσης η συχνότητα χαμηλώνει αυτόματα για να μη προκληθεί βλάβη.” Κρίμα που αυτές οι περιπτώσεις είναι και οι πλέον ουσιώδεις, έτσι;

s4benches_3

Τυπικά, η Samsung δεν εξαπάτησε κανέναν. Θα σταθούμε όμως στη φράση-”κλειδί” της, που ίσως δε θα έπρεπε να έχει συμπεριλάβει στην ανακοίνωση: “Εν τω μεταξύ, [...] συγκεκριμένες benchmarking apps που επίσης είναι απαιτητικές στον τομέα της απόδοσης.”

Εδώ συνοψίζεται το πόσο λάθος άποψη έχει όλος ο κόσμος για τα benchmars, από τον απλό χρήστη, μέχρι τον δοκιμαστή και μέχρι τον εκάστοτε engineer της όποιας Samsung (αν και δεν έγραψε αυτός την ανακοίνωση). Τα benchmarks δεν απαιτούν αυξημένη απόδοση και αυξημένες επιδόσεις. Τα benchmarks είναι εδώ απλώς για να μας δείξουν τι μπορεί να κάνει το hardware σε μια συνθετική ρουτίνα που μπορεί κάλλιστα να αποδειχθεί ευνοϊκή για κάποια συσκευή, αλλά να “ρίξει” κάποια άλλη. Το hardware και το software δεν πρέπει να είναι optimized για τα benchmarks, ούτε τα benchmarks γι'αυτό. Δεν υπάρχει λοιπόν καμιά “απαίτηση”, όπως αναφέρεται στη δήλωση, ή τουλάχιστον δε θα έπρεπε να υπάρχει.

Δυστυχώς, έτσι λειτουργούν τα μετροπρογράμματα και η αγορά, το μόνο που μπορεί να κάνει κανείς, είναι να μάθει να διαβάζει “πίσω” από αυτά. Ειδάλλως, διαπράττει το ίδιο σφάλμα με εκείνον που αγοράζει ένα αυτοκίνητο με βάση το “0-100” του, ή μια ηλεκτρική κουζίνα κοιτώντας το πόσα Watts αποδίδει. Μη το κάνετε.

0 Comment