Vers une baisse du prix de la ram ?

Vous le savez peut-être IA rime avec puissance de calcul et mémoire. Donc il faut à la fois des puces de calcul de type TPU, NPU ou GPU et de la VRAM.

L'explosion de l'IA a par répercussion augmenté drastiquement les prix du hardware ces dernières années. La demande étant tellement forte, on arrive à une pénurie de la rame qui a un impact immédiat sur le marché des consommateurs, c'est-à-dire les particuliers.

Le prix de la RAM a fait presque x10 en même temps un an. Et aujourd'hui, il est devenu presque impossible de s'offrir de la DDR5 à prix raisonnable.

Du moins, c'était le cas jusqu'à ce que Google sorte une innovation logicielle qui risque de basculer le cours des choses.

TurboQuant, à quoi ça sert ?

C'est une optimisation d'algorithme permettant la réduction du nombre de bits utilisés pour stocker les vecteurs.

Grâce à ce procédé, on n'a plus besoin d'autant de VRAM pour pouvoir disposer d'un contexte plus dense. Ainsi, Google fait en sorte qu'on ait besoin de moins de matériel pour faire tourner des modèles plus gros.

Concrètement:

Ce qui est intéressant:

• KV (key-value) cache compressé à 3 bits sans fine-tuning
• 6× moins de mémoire pour le cache d'attention
• 8× plus rapide sur GPU H100 en 4 bits vs. 32 bits non quantifié
• Aucune perte de précision sur les benchmarks longs contextes (LongBench, Needle in a Haystack…)

Quid du prix de la VRAM ?

Certaines sociétés qui s'étaient lancées dans un achat compulsif de matériel directement à la source des fournisseurs afin d'avoir le stock le moins cher possible se retrouvent désormais coincées avec du stock qui va s'écrouler en termes de valeur marchande.

Je parle ici de Nvidia, d'OpenAI, toutes ces sociétés qui s'étaient procurées énormément de VRAM/HBM directement auprès de SK Hynix, de Samsung, Micron etc.

Mais pour le particulier, il risque tout de même d'y avoir une latence avant que les prix se stabilisent de nouveau, bien qu'on puisse déjà constater une baisse.

Le kit de 600€ est désormais dans les 250€, mais je rappelle qu'à l'époque le kit était à 150€ grand maximum.