H Samsung πρωτοπορεί με τη δημιουργία της πρώτης High Bandwidth Memory (HBM) που θα έχει ενσωματωμένο AI hardware ονόματι HBM-PIM (Processing-in-memory).
Για να το πετύχει χρησιμοποίησε τα HBM2 Aquabolt chips της και προσέθεσε Programmable Computing Units (PCUs) μεταξύ των memory banks. Πρόκειται για αδύναμους επεξεργαστές βασικών δυνατοτήτων αλλά έχουν ένα τεράστιο πλεονέκτημα: Βρίσκονται ακριβώς δίπλα στη RAM και άρα απαιτείται σχεδόν μηδενικός χρόνος για να διαβάσουν και να γράψουν δεδομένα από/σε αυτήν! “Τρέχουν” στα 300MHz, κάτι που ισοδυναμεί με 1.2 TeraFLOPS επεξεργαστικής ισχύος ανά chip, με bandwidth 2.4Gbps ανά chip αλλά ελάχιστη κατανάλωση ενέργειας.
Χάρη σε αυτά τα PCUs, η συνολική κατανάλωση του συστήματος μειώνεται κατά 71%! Αυτό διότι μια τυπική CPU θα έπρεπε να “εργαστεί” πολύ περισσότερο για τη μεταφορά των δεδομένων από/προς τη RAM. Επίσης, το PIM hardware διπλασιάζει τις επιδόσεις σε ορισμένες περιπτώσεις. Το νέο design είναι συμβατό με τα “απλά” HBM2 chips οπότε απλοποιείται σημαντικά η υλοποίησή του.
Δεν είναι όλα ρόδινα, όμως. Τα PCUs καταλαμβάνουν αρκετό χώρο που υπό άλλες συνθήκες θα περιελάμβανε RAM chips. Αυτό σημαίνει οτι η χωρητικότητα μνήμης μειώνεται στο μισό, στα 4 Gigabits ανά chip. Η Samsung διάλεξε τη “μέση λύση” και συνδύασε PIM chips των 4 Gb με “κανονικούς” 8 Gb HBM2 επεξεργαστές. Έτσι, τέσσερα τέτοια “ζεύγη” PIM-HBM2 δημιουργούν ένα 6GB stack. Όσο και να προσπαθήσουμε να τα περιγράψουμε, ίσως οι εικόνες σας βοηθήσουν να κατανοήσετε το design καλύτερα.
Ένα άλλο μειονέκτημα είναι οτι… θα αργήσουμε να δούμε τα HBM-PIM σε consumer συσκευές. Μπορεί να πάρει λίγα ή περισσότερα χρόνια για κάτι τέτοιο. Θα παρουσιαστούν επίσημα στο International Solid-State Circuits Virtual Conference τις επόμενες μέρες, οπότε θα μάθουμε περισσότερα γι’αυτά.
