RTX A5500の24GB VRAMは、ローカルLLMを一枚のGPUで動かしたい人にとって分かりやすい容量です。ただし、モデルのパラメータ数だけでは実行可否を決められません。重みの量子化、KVキャッシュ、コンテキスト長、推論ソフトの割り当て方式を順に見ていきます。

24GBのメモリ構成

NVIDIAのデータシートによるとA5500は24GB GDDR6を搭載し、384bitのバスで768GB/sのメモリ帯域幅を持ちます。ECCにも対応します。ELSAの国内仕様ではECCが初期状態で無効とされるため、誤り訂正を使う運用では設定まで含めて構成します。ローカルLLMでは、まずモデル全体をVRAMへ収めることが使い勝手に直結します。

モデルをGPUメモリへ載せた後も、入力文のトークンや生成中の状態を保持するKVキャッシュ、推論エンジンの作業領域が必要です。GPUは表示にもメモリを使います。推論ソフトが表示する実際のVRAM占有を基準に、対象のコンテキスト長まで含めて運用容量を決めます。

モデル規模 4bit重みの単純計算 24GBへの見通し
7B 約3.5GB キャッシュと作業領域の余地が大きい
32B 約16GB 量子化方式とコンテキスト長が条件
70B 約35GB 重みだけで24GBを超える

上の計算は「パラメータ数×4bit÷8」の素朴な目安です。実際の量子化ファイルにはスケール情報などが入り、モデルごとの構造も異なります。実際の必要VRAMは、採用するモデルの量子化ファイルと推論エンジンの要求量で見積もります。

32B級で効くコンテキスト長

32B級を4bitにすると、重みの理論量は約16GBです。A5500の24GBから引いた約8GBを、量子化の追加情報、KVキャッシュ、ソフトの作業領域、画面表示が共有します。短い入力なら収まる構成でも、長文資料を読ませるとKVキャッシュが増え、同じモデルでメモリ不足に近づきます。

KVキャッシュの増え方はモデルの層数やヘッド構成、キャッシュ精度、同時実行するリクエスト数で変わります。そのため「32Bなら何トークンまで」と一律の値を置くより、使用するモデル・量子化形式・最大コンテキストの組み合わせで確かめる方が正確です。A5500の24GBは、32B級の4bit運用を検討できる容量ですが、長文や同時利用を広げる場合は余裕の管理が要ります。

小型モデルを動かす場合は、余ったVRAMを長いコンテキストや複数セッションに回せます。一枚に収まる運用なら、GPU間のモデル分割が不要で構成がシンプルです。GPU以外のメモリとストレージもモデルの読み込み速度に関わるため、PC全体の構成で待ち時間を見ます。

推論速度とA5500の位置付け

A5500は10,240 CUDAコアと320 Tensorコアを搭載します。ただし、LLMのトークン生成速度は公称34.1TFLOPSから直接計算できません。初回の入力処理と1トークンずつの生成は計算・メモリ転送の負荷が違い、推論エンジンのカーネル実装と量子化形式も結果を変えます。速度比較は同じモデル、同じ量子化、同じコンテキスト、同じソフトで測った数字を使います。

A5500の強みは、24GB、ECC対応、230Wのボード電力を業務向けカードにまとめた点です。長時間運用でのメモリ整合性を重視する組織にはECCが選定理由になります。速度を最優先する個人用途では、同じ24GBのGeForce RTX 3090や新しい世代のカードも費用と実測値で比較できます。

入力文をまとめて処理する段階は並列演算を使いやすく、回答を1トークンずつ生成する段階は重みの読み出しが目立ちます。A5500の768GB/sという公称帯域は後者の上限を考える材料ですが、実際の速度にはキャッシュ効率と量子化カーネルも影響します。公開ベンチマークを見るときは、入力処理速度と生成速度が別々に示されているものを選ぶと、用途に近い性能を読み取れます。

70B級と複数GPU

70Bパラメータの4bit重みは単純計算で約35GBになり、A5500一枚の24GBを超えます。CPUメモリへの一部退避やGPUを2枚使う構成が候補です。A5500はNVLink対応で、2枚なら物理メモリは合計48GBです。ただし、NVIDIAの脚注が示すとおり、容量を生かすにはアプリ側のNVLink対応が必要です。推論ソフトがモデルを分割する仕組みも別途求められます。

2枚構成では、各GPUに割り当てる重みとKVキャッシュの内訳、PCIeまたはNVLink経由の転送、合計460Wの公称ボード電力を見積もります。70B級を中心に使うなら、48GB級の単体カードも調達候補です。用途が32B級以下なら単体A5500、70B級の長い文脈や同時利用が主目的なら最初から大容量構成、という順で必要VRAMを決めると選びやすくなります。