TITAN RTX 24GBでローカルLLMは動く？容量の目安

TITAN RTXをローカルLLM用に選ぶ理由は24GBのVRAMです。重みをGPUへ収めればCPUへ頻繁に退避する構成を避けられます。ただし、モデル名の「8B」「32B」だけで動作可否は決まりません。量子化後のファイルサイズと、推論中に増えるKVキャッシュを合わせて見ます。

24GBとモデルの重み

NVIDIA公式仕様はTITAN RTXのメモリを24GB GDDR6としています。言語モデルの重みは、パラメータ数に保存精度を掛けると概算できます。8BモデルならFP16の重みは約16GB、4ビットなら理論上は約4GBです。32BモデルはFP16で約64GB、4ビットで約16GB、70Bモデルは4ビットでも約35GBになります。実際の量子化ファイルには尺度やメタデータが付くため、理論値より大きくなります。

モデル規模	FP16重みの概算	4ビット重みの理論下限
8B	約16GB	約4GB
32B	約64GB	約16GB
70B	約140GB	約35GB

この表は重みだけを比較するための計算です。Hugging Faceのメモリ推定資料も、重みのロード量と推論時の必要量を分けています。24GBに16GBの量子化重みが載っても、残り8GBをすべて自由に使えるわけではありません。ドライバー、表示用メモリ、実行時バッファー、KVキャッシュが占める領域を残します。

コンテキスト長とKVキャッシュ

KVキャッシュは、生成を続けるために過去トークンの情報を保持します。コンテキスト長を増やすほど容量を使い、同じモデルでも実行条件で差が出ます。32B級の4ビットモデルは重みだけなら候補ですが、長い文書を扱う設定や複数人の同時利用では24GBを圧迫します。最初から長いコンテキストを最大値にせず、実際に使う長さで必要量を見積もると構成が定まります。

llama.cppのサーバー設定にはGPUへ置く層数、利用するGPU、コンテキスト長を調整する項目があります。1枚で収まる8B級から始め、モデル読み込み後の空きVRAMと長い入力でのピークを比べる方法が現実的です。70B級の4ビット重みは理論下限だけで24GBを超えるため、単一TITAN RTXへ全重みを載せる構成には収まりません。CPUメモリへの一部退避や複数GPUへの分散が必要です。

容量と速度のバランス

TITAN RTXのメモリ帯域はNVIDIAの資料で最大672GB/sです。文章を1トークンずつ生成する処理は、重みの読み出し速度の影響を受けます。24GBの容量は載るモデルの選択肢を広げます。生成速度には帯域と演算性能が関わり、新しい24GBカードとの差は、同じモデル・量子化・入力長の実測値が判断材料になります。入力の一括処理とトークン生成も、負荷のかかり方が異なります。

2枚のTITAN RTXを使う場合、NVIDIAはNVLinkにより合計48GBのメモリ容量を利用する用途を案内しています。実際にはアプリが複数GPUへの配置に対応している必要があります。llama.cppには層をGPU間で分ける設定があり、NVLink対応の有無とモデル分割の仕組みは別の話です。NVLinkの記事では48GBの意味を詳しく説明します。

モデルを切り替えながら使う場合は、直前のモデルがVRAMに残るアプリ設定にも目を向けます。同時に二つのモデルを保持する設定なら、単独では収まるモデル同士でも24GBを超えます。常時稼働するサーバーと、必要な時だけ1モデルを読み込む使い方では、容量の見積もりが変わります。

どの人に向くか

手元の8B級モデルを余裕をもって動かし、量子化した20～30B級を試したい人には24GBが有用です。70B級をGPU上だけで使いたい人は、単体TITAN RTXの容量を超えます。2026年の中古掲載例は192,980円で、価格を含めた比較も必要です。次にRTX 3090との比較を読み、同じ24GBでどの世代を選ぶか決めてください。