RTX Sparkの「最大128GB」は、ローカルLLMを使う人に魅力的な数字です。NVIDIAは最大120B、つまり1200億パラメーターのモデルと最大100万トークンのコンテキストを製品ページで紹介しています。実際にどの構成を買えばよいかは、重みを格納する容量と、推論中に増えるメモリ使用量を分けて考えると分かります。公式仕様と開発者向け資料から、128GBの意味を整理します。

120Bモデルの公称対応

NVIDIAのRTX Spark製品ページは、最大128GBのユニファイドメモリを備える構成で120Bモデルをローカル実行できると説明しています。MicrosoftのSurface Laptop Ultra紹介も、120Bを超えるモデルのローカル実行を挙げています。両社の説明が対象にしているのは上位の大容量構成です。

ユニファイドメモリはCPUとGPUが共有する物理メモリです。一般的なデスクトップGPUの「VRAM 128GB」と同じ表示方法ではありません。Windows本体、ブラウザー、推論アプリもこの容量を使います。Microsoftは128GBをシステムメモリの総量と定義し、GPUがアドレス指定できる容量は総量より小さいと注記しています。LLM用の実容量を計算するときは、この共有分を差し引きます。

重み・KVキャッシュ・作業領域

LLMの推論では、モデルの重みに加えて、入力文や生成文を保持するKVキャッシュ、計算用の一時領域が必要です。たとえば1200億パラメーターの重みを単純に4ビットで表せば、計算上の下限は約60GBです。実際のモデルファイルには量子化の補助情報が入り、実行時にはキャッシュと作業領域が別に増えます。120Bというパラメーター数だけで、必要メモリを60GBと決めることはできません。

100万トークンの長い文脈も同じです。文脈長が伸びればKVキャッシュの負担が増え、モデル構造、精度、同時処理数によって必要容量が変わります。NVIDIAの「120B・100万トークン」は製品の到達例です。実行可能なモデルと文脈長は、量子化形式とKVキャッシュを含む実際のメモリ使用量で決まります。

24GB・64GB・128GBの選び方

国内のSurface Laptop Ultraの販売ページには24GB、32GB、48GB、64GB、128GBのメモリ構成が掲載されています。24GBは軽量なモデルの試行や日常作業との併用、64GBはより大きな量子化モデルや複数のAI作業、128GBは120B級のモデルを視野に入れる人向けの容量です。ここでの区分はメモリ量から見た用途の目安です。具体的なモデルの実行可否はファイル容量と実際のメモリ予算で決まります。

構成 公式の搭載例 ローカルLLMで見る点
24GB 国内Surfaceの最安構成 OSとアプリの使用分を引いた容量でモデルを選ぶ
64GB 国内Surfaceの上位構成 大きめの重みとキャッシュを両立しやすい
128GB 国内Surfaceの最大構成 120B級や長い文脈を扱う余地が広がる

NVIDIAの仕様では、5120 GPUコア版のメモリ上限は64GB、6144コア版は128GBです。128GBを求める時点でGPU構成も上位版になります。価格も24GBの税込51万3480円から、128GBの税込109万4280円へ上がります。必要なモデルと文脈長がまだ決まっていないなら、最大容量という理由だけで高額な構成を選ぶより、使うモデルのメモリ要件を先に決めると予算を絞れます。

Windows上のGPUメモリ予算

NVIDIAのCUDA向け資料は、RTX SparkのGPUメモリを専用領域と共有領域に分けて説明しています。Windowsはシステム全体の空き容量を見ながらGPUの予算を設定します。CUDAアプリが確認する空き容量は、その時点で割り当て可能な予算であり、購入時の「128GB」表記とは別の値です。

開発者はcudaMemGetInfoやDirectXのQueryVideoMemoryInfoで使用可能な予算を取得できます。利用者にとっては、LLMを実行するときにブラウザーや動画編集アプリを大量に開けば、同じモデルでも使える余白が減る、という意味です。重みを読み込めた後も、長い会話や並列実行でキャッシュが増えるため、メモリ消費を観察して設定を決めると安定した運用につながります。

まとめ

RTX Sparkの128GBは、GPUとCPUが共有するシステムメモリの最大構成です。NVIDIAとMicrosoftは120B級モデルのローカル実行を示していますが、モデルの量子化、KVキャッシュ、WindowsのGPU予算まで含めて容量を考える必要があります。まず利用予定のLLMと文脈長を決め、24GB、64GB、128GBの順に必要量を照らしてください。プログラムから予算を扱う方法はRTX SparkのCUDA開発記事で詳しく整理します。