GeForce RTX 3060 12GBを手元のAI用に使うなら、どの規模のモデルから試すべきでしょうか。12GBという数字だけで選ぶと、モデルを読み込めても会話中にメモリ不足になることがあります。公開されているモデルのファイル容量を起点に、実行時の余裕まで含めて選び方を整理します。

結論から言えば、最初の候補は4Bまたは8Bの量子化モデルです。14Bも配布ファイルの大きさによっては候補に入りますが、コンテキスト長を抑えた設定から始めるのが現実的です。30Bを単一の12GB GPUに丸ごと載せる構成は、ここで挙げる公開ファイルの容量では成立しません。

12GBのVRAMで見るモデル容量

NVIDIAの製品仕様では、RTX 3060に12GB版と8GB版があります。この記事の対象は12GB版です。同じRTX 3060という名前でも、8GB版を基準にするとモデル選択の余地が変わります。

例としてOllamaのQwen3配布一覧を見ます。2026年11月8日時点の代表的なタグの表示容量は次のとおりです。

Qwen3のタグ 配布ファイルの表示容量 RTX 3060 12GBでの出発点
4b 2.5GB VRAMに余裕を残しやすい
8b 5.2GB まず会話用途で試したい規模
14b 9.3GB 実行時メモリを見ながら設定する
30b 19GB 単一GPUに全量を保持できない

表の数字はダウンロードするモデルの容量であり、推論時のVRAM使用量ではありません。アプリの実行領域に加え、入力した文章や生成途中の情報を保持するKVキャッシュが必要です。14Bの9.3GBを12GBから引いて得られる2.7GBが、そのまま自由に使える容量になるわけではありません。

4B・8B・14Bの使い分け

4Bは小さなモデルをすばやく導入したい場合に向きます。ファイルが2.5GBのQwen3:4bなら、12GBの枠内で会話履歴やほかのGPU処理に割ける余地が比較的大きくなります。まず日本語での回答や要約を試し、求める品質に届くか見る順番が効率的です。

8Bは容量とモデル規模の中間に当たります。Qwen3:8bの配布ファイルは5.2GB。4Bで不足した文章理解や指示への追従を試す次の候補です。モデルのパラメータ数だけで回答品質を断定できないため、同じ質問を自分の用途で比較すると違いが明確になります。

14Bは9.3GBのファイルを使います。12GBのVRAMに対する余白は小さく、長い会話履歴や複数の同時要求には向きにくくなります。最初はコンテキスト長を短めにして一つの対話を動かし、アプリのメモリ表示を見て増やす方法が実用的です。読み込みに失敗したときは、まずコンテキスト長と同時実行数を下げます。

30Bの19GBという表示容量は12GBを超えています。CPU側のメモリへ一部を逃がす方式なら起動の余地はありますが、GPUだけで完結する構成とは処理経路が変わります。大きいモデルを優先するなら、GPUを追加して層を分ける方式や、より大きなVRAMを持つGPUを検討します。

コンテキスト長と量子化

モデル選びでは「何Bか」に加えて量子化形式を確認します。Q4やQ8といった表記は重みを表す精度の違いです。同じパラメータ数でもファイル容量が異なり、VRAMに載せられるかという条件に直接影響します。モデル規模による違いを比べる際は、配布タグと量子化形式を揃えます。

コンテキスト長は、モデルが一度に参照するトークン数の設定です。公開一覧に長い最大コンテキストが書かれていても、その長さで12GB GPUに収まるとは限りません。KVキャッシュの使用量は会話履歴とともに増えます。短い質問から始め、長文の資料や複数往復の会話を使う段階で設定を調整します。

Ollamaの対応GPU一覧はRTX 3060をCompute Capability 8.6の対象として掲載しています。Ollama利用時のNVIDIAドライバー要件は550以降です。GPUが認識されていることと、選んだモデルの全量がVRAMに収まることは別の確認項目になります。

目的別の選択

短いチャットや要約を始めるなら4B、もう少し複雑な指示を試すなら8Bが入り口です。14Bは回答を比較したうえで必要性を判断し、メモリ使用量に合わせて会話長を調整します。文章以外の画像入力に対応するモデルを選ぶ場合は、画像用の処理領域も必要です。テキストモデルと同じ容量表だけでは収まり方を予測できません。

RTX 3060 12GBの新品参考価格として、ドスパラのColorful製12GBカードは11月8日に69,800円と表示されていました。価格は販売時点で変わります。GPU購入を検討するなら、使いたいモデルが12GBに収まるかを先に決めると、容量不足による買い直しを避けやすくなります。

まとめ

RTX 3060 12GBでは、公開容量2.5GBのQwen3:4bと5.2GBの8bが始めやすい選択肢です。9.3GBの14bは実行時の余白が少なく、コンテキスト長を抑えた設定から試します。19GBの30bは単一の12GB GPUへ全量を置けません。具体的な導入手順はRTX 3060 12GBでのOllama設定で紹介します。