GeForce RTX 3060 12GBでローカルLLMを画面操作から始めたいなら、LM Studioが候補になります。モデルを検索してダウンロードし、チャット画面で読み込む流れです。ただし、12GBのVRAMを生かせるかは、選んだモデルと読み込み設定で変わります。

この記事ではLM Studioの公式資料に沿って、導入、モデル取得、GPUオフロード、コンテキスト長の設定を整理します。メモリが足りないときに闇雲にモデルを替える前に、読み込み前の推定値とGPUへの割り当てを見られるのが特徴です。

PC側の動作条件

LM Studioのシステム要件では、Windows x64のCPUにAVX2命令への対応を求めています。Windows向けの推奨値はシステムメモリ16GB以上、専用VRAM 4GB以上です。RTX 3060 12GBはVRAM容量の推奨値を上回りますが、PCのRAM容量もモデル運用に関係します。

モデルの重みを保存するストレージ、読み込み時に使うシステムメモリ、GPU側に確保するVRAMは役割が別です。ストレージに10GBのモデルを保存できても、実行時に必要なメモリが10GBで済むとは限りません。GPUに割り当てる層が多いほどVRAMを使い、コンテキストを長くすると対話履歴用の領域も増えます。

NVIDIAの仕様にあるRTX 3060の12GB版を対象にします。8GB版も同じ製品系列にあるため、PCに入っているカードの容量を確認しておくと設定値を選びやすくなります。

モデルの取得とチャット

LM Studioの導入ガイドでは、アプリをインストールした後、Discoverタブでモデルを探してダウンロードします。最初は4B〜8B程度の量子化モデルから選びます。モデル名に加え、配布形式とファイル容量を見ると12GBの範囲で比較しやすくなります。

ダウンロードが終わったらChatタブを開き、モデルローダーから取得済みのモデルを選びます。読み込み時に設定画面が表示され、GPUオフロードやコンテキスト長を指定できます。まず一つのモデル、一つのチャットで短い質問を送れば、導入とモデル読み込みの動作を分けて確認できます。

画面上でモデルが選べない場合は、取得が完了しているかと、保存先の空き容量を確認します。読み込みが止まる場合は、別のアプリがGPUメモリを占有していないか確認します。ゲームや画像生成ソフトを同時に動かしていれば、12GBすべてをLM Studioに割り当てることはできません。

GPUオフロードとコンテキスト長

LM Studioにはコマンドラインの lms もあります。公式の読み込みコマンド資料によると、lms ls でダウンロード済みモデルのキーを一覧にし、lms load で読み込みます。GPUの割り当ては –gpu max、–gpu off、または0〜1の割合で指定できます。指定しない場合はLM StudioがGPU使用量を自動で判断します。

lms ls
lms load モデルキー --gpu max --context-length 4096

「モデルキー」は lms ls の表示に置き換えます。–gpu max はGPUにできるだけ層を置く指定です。VRAM使用量はモデルとコンテキスト長にも左右されます。容量が足りない場合は小さい量子化ファイルを選ぶか、GPUオフロードを一部にしてシステムメモリも使います。

–context-length 4096 は、一度に扱う文脈の長さを4096トークンに指定します。長文の資料を貼る前に、短い会話で必要量を確かめる順番が合理的です。コンテキストを広げると同じモデルでもメモリ要求が増え、GPUに載せられる層が減ることがあります。

読み込み前のメモリ見積もり

LM StudioのCLIには –estimate-only があります。公式資料によると、モデルを実際に読み込まず、GPUメモリと総メモリの推定値を表示します。コンテキスト長やGPU設定も見積もりへ反映されます。14Bなど12GBに近いモデルを試す前に便利です。

lms load --estimate-only モデルキー --gpu max --context-length 4096

表示される値は見積もりです。ほかのアプリが使うVRAMやドライバーの状態も含めて空き容量を見ます。見積もりが12GBに近ければ、コンテキスト長を縮めるか、量子化率の高いモデルへ切り替える方が読み込みの成功率を上げられます。

まとめ

LM StudioはDiscoverタブでモデルを取得し、Chatタブから読み込めます。RTX 3060 12GBでは4B〜8Bの量子化モデルを起点にし、GPUオフロードとコンテキスト長を調整します。14Bなど大きいモデルでは –estimate-only のメモリ見積もりが役立ちます。実際のモデル候補は12GB向けローカルLLMの選び方も参照してください。