Arc Pro B60の24GBはローカルLLMを試すうえで魅力的です。一方、「24GBなら何パラメータまで動くか」は、量子化方式、コンテキスト長、同時利用数で変わります。本記事では公式仕様と実装資料から、B60単体で得られる容量と、推論ソフト側の条件を整理します。

24GB VRAMとモデル容量

Intelの製品仕様によると、Arc Pro B60は24GB GDDR6、メモリ帯域456GB/s、20 Xeコア、160 XMXエンジンを備えます。ローカル推論でまず効くのはVRAM容量です。モデルの重みだけでなく、実行時の作業領域や会話履歴を保持するKVキャッシュにも容量を使います。重みが24GBに達すると、KVキャッシュや作業領域を置く余地がなくなります。

目安をつかむには、候補モデルの量子化済みファイルサイズに、KVキャッシュとランタイム用の余地を加えて考えます。例えば20GB近い重みを載せる構成では、長いコンテキストや複数の同時リクエストに使える余地が小さくなります。逆に小型モデルなら24GBを会話履歴や並列処理に回せます。パラメータ数だけで適合を決めるより、実際に選ぶモデル形式の必要容量で比較する方が正確です。

Intelのデータシートは24GBを専用メモリと明記し、複数GPUを使うLinux構成も挙げています。システムRAMを増やしても、単体カード上の高速な専用メモリが24GBである点は変わりません。GPUへ載らない部分をCPU側へ置く構成では、転送やCPU処理が応答時間に影響します。

ソフトウェア経路

llama.cppのSYCLバックエンド資料はIntel GPU向けの構築方法、ドライバとoneAPIの要件を説明しています。GGUF形式の量子化モデルを扱う場合、この経路が一つの選択肢です。資料にはGPUのメモリ使用量をログで確認する方法と、ホストメモリへ逃がす動作も記載されています。モデルをロードできたという事実と、狙った速度で全層をGPUへ載せられたことは別の指標です。

複数リクエストをさばく推論サーバーを想定するなら、Intelのllm-scaler vLLM版がB60/B70向けの経路を案内しています。このソフトはIntel XPU向けに拡張された対応スタックです。動かしたいモデルのアーキテクチャ、量子化形式、演算子に対するサポートが実用性を左右します。

単体運用はソフトの構成が比較的単純です。LLMをブラウザから呼びたいだけなら、まず使用するモデルの形式と推論エンジンを決め、続いてB60の24GBにモデルとKVキャッシュが収まる設定を選ぶ流れになります。長文を多人数で処理するサーバーでは、同じ重みでもキャッシュが増え、単独利用とはメモリの余裕が変わります。

帯域と計算性能の読み方

Intelの公称値はメモリ帯域456GB/s、INT8ピーク197TOPSです。前者は重みを読み出す能力に、後者は適合する演算の理論上の計算能力に関係します。197TOPSは特定条件のピーク値で、対話時のトークン毎秒とは測定対象が異なります。重み形式、バッチサイズ、カーネル最適化、長文のキャッシュ処理が実際の速度を変えます。

B60がPCIe 5.0 x8接続という点も仕様上の条件です。モデル全体をVRAMに置けるなら、主にカード内のメモリ帯域や演算が効きます。CPU側に重みを残す運用やGPU間で分割する運用では転送量が増え、接続とソフトの分割方式が大切になります。24GBという容量は大きな強みですが、同じ容量のGPUを速度だけで同等と見なす根拠にはなりません。

モデル選定の具体的な計算

容量の最初の概算には「パラメータ数×量子化後の1要素あたりのバイト数」を使えます。たとえば8Bモデルの重みを理想的な4bitで表すと約4GB、32Bモデルなら約16GBです。実ファイルにはスケール値、埋め込み、出力層などが加わり、ランタイムのメモリも必要なので、この数値を必要VRAMの確定値にはしません。候補のGGUFファイルの実サイズを見てから、ログに表示されるGPUバッファとKVキャッシュを合わせて評価します。

同じモデルでもコンテキスト長を増やすと、生成中に参照するKVキャッシュが増えます。短いチャットでは余裕があっても、長い文書の要約や大きなコードベースを読み込ませる作業では条件が変わります。さらに複数人からの要求を同時に受けるサーバーでは、作業領域を各要求へ配る必要があります。24GBは単体カードの上限を押し上げますが、想定する同時利用数によって実用的なモデル規模は変動します。

推論の評価指標も二つに分けられます。最初のトークンが出るまでの時間は長い入力の処理に影響され、出力中のトークン毎秒は継続的な読み出しと計算に影響されます。INT8ピーク値だけで両方を予測することはできません。同じモデルと同じ入力長で測定したデータなら、対話用途か一括処理用途かという目的に応じて読み取れます。

まとめ

Arc Pro B60は24GBの専用VRAMを持ち、Intel XPU対応の推論経路が提供されています。モデルの量子化済みサイズとKVキャッシュの合計を軸にすれば、単体運用で扱える範囲を見積もれます。さらに大きいモデルを検討する場合は、2枚構成のメモリ分割と運用条件をまとめた関連記事へ進んでください。