RTX 5000 Adaの32GBでローカルLLMはどこまで動く？

NVIDIA RTX 5000 Ada Generationの32GBメモリは、ローカルLLMのモデル選択を広げます。必要容量はパラメータ数と重みの精度、量子化の追加情報、推論中のKVキャッシュを合わせて決まります。ここでは容量の概算から導入範囲を考えます。

重み容量の基本計算

モデルの重みだけなら、パラメータ数に1要素あたりのバイト数を掛けると下限に近い概算が得られます。FP16またはBF16はおおむね2バイト、8bitはおおむね1バイト、4bitはおおむね0.5バイトです。10億パラメータを「1B」とした10進計算では、次のようになります。

モデル規模	FP16/BF16の重み	8bitの重み	4bitの重み
7B	約14GB	約7GB	約3.5GB
13B	約26GB	約13GB	約6.5GB
32B	約64GB	約32GB	約16GB
70B	約140GB	約70GB	約35GB

これらは理論上の重み本体だけです。量子化方式によってスケール値や一部高精度の重みが加わり、実際のファイルサイズとロード後の占有量は変わります。GBとGiBの単位差もあるため、表の32GBをVRAM 32GBぴったりに載せられるとは読めません。Hugging Faceの推論最適化ガイドでも、精度を落とすと重みのメモリ使用量が減ることを具体例で説明しています。

32GBで現実的なモデル範囲

7B級や13B級は、精度やコンテキスト長に応じて選択肢があります。13BをFP16で扱う場合の重み概算は約26GBで、残る約6GBに推論用の領域やアプリの使用量を収める必要があります。32B級はFP16では重みだけで約64GBとなり、単体の32GBには入りません。4bitなら重みの基礎計算は約16GBですが、実際の使用量は量子化形式と生成条件に依存します。

70B級は4bitの重みだけでも約35GBです。標準的な単一GPU配置で32GBに全て載せる目安から外れます。CPUメモリへのオフロードや複数GPU構成なら実行方法は変わりますが、その場合に単体GPUのみでの速度や容量と同列に比較できません。実行可否はモデルの構造と採用する推論実装にも左右されます。

KVキャッシュと同時実行

LLMは入力や生成の途中でAttention用のキーと値を保持します。このKVキャッシュはモデルの構造、コンテキスト長、同時に処理する要求数に左右されます。重みが32GBに収まったとしても、長い文書を渡したり複数ユーザーの推論を並行したりすると残り容量が足りなくなります。実装によってはKVキャッシュの量子化、ページング、CPUへの退避などで扱える条件を変えられますが、設定に伴う速度や品質の影響は別に測るべきです。

Hugging Faceのbitsandbytes解説は8bitと4bitのロード方法を示します。4bitで重みを減らせても、入力長や同時実行数の余裕が自動で確保されるわけではありません。実運用ではモデルをロードした時点の空きVRAMと、想定する最大入力でのピーク値を測ってから同時実行数を決めます。

容量を測る実践的な順序

候補モデルを決めたら、配布元が示す重み形式を確認し、同じ量子化形式でロードします。起動直後のVRAMを控え、実際に使う最長の入力を与え、生成を続けたときのピーク値を見る順序です。システムが表示するメモリ使用量にはフレームワークの予約領域が含まれることがあり、重みファイルの容量とは一致しません。処理が途中で止まる場合は、モデルのパラメータ数だけを小さくする前に、コンテキスト長と同時要求数を下げて容量変化を確認できます。運用する条件で空きVRAMを残せることが、表上の「収まる」より重要です。

RTX 5000 Adaを選ぶ条件

RTX 5000 Adaは32GB GDDR6にECCを備え、NVIDIAは公式仕様で250Wのボード電力を示しています。長時間の業務推論でECCやワークステーション向けの運用条件が必要なら、容量以外の理由もあります。一方、トークン生成速度はメモリ帯域幅、演算精度、モデル実装、バッチ数に左右されます。32GBという容量だけで他のGPUより速いとは言えません。

まとめ

24GBのGeForce RTX 4090と迷う場合は用途別比較に容量と電力の差を整理しています。導入前には、採用予定のモデルで最大入力長と同時実行数を固定し、ピークVRAMと処理速度を測るのが確実です。表はその候補を絞るための出発点にしてください。