LLM用のVRAMを空けるために、GeForce RTX 4060 Tiを追加
仕事用PCにはRTX PRO 4500 Blackwellを搭載しています。RTX5000番台と同じBlackwellアーキテクチャを採用し、VRAM 32GBでかつ200Wという低消費電力が魅力のワークステーション向けのビデオカードです。Ollama/LM StudioでLLMを常駐させるのに使っているのですが、しばらく運用してみて気づいたことがありました。
32GBあるはずのVRAMが、思ったほど使えない。
原因はWindowsの描画とAdobeなどのアプリでした。ということで、描画用に別途ビデオカードを追加し、RTX PRO 4500 BlackwellはLLMに専念してもらうことにしました。
選んだのは中古で見つけたZOTACのRTX 4060 Ti、外排気クーラーを搭載したモデルとなります。
結論
RTX PRO 4500 Blackwellに加え、GeForce RTX4060Tiを導入したメリット・デメリットです。
メリット
- 描画をRTX4060Tiに逃がすことで、RTX PRO 4500 BlackwellのVRAM 32GBを丸ごとLLMに回せるようになった
- 外排気クーラーなので、ケース内に熱風を撒き散らさない
- RTX PRO 4500 Blackwellとほぼ同じサイズ・同じブロアーファンで、見た目の統一感が出る
- 中古で4万円ちょっと。VRAMを空けるためのコストとしては十分に安い
- 動作音も静か。業務用PCとして気になるレベルではない
デメリット
- CUDAデバイスが2台になるため、環境変数で制御しないと事故る
- VRAM 8GB・128bitなので、当然ながらこのカード単体でAI用途に使うのは厳しい
- 外排気のRTX 4060 TiはOEM向けなので、中古が前提（流通量は割と潤沢）
VRAM 32GBでも思ったよりも空きがない
モニターを繋いでいるだけでVRAMが減る
業務用PCのモニター構成は、メインがDELL U4025QWの5K2K（5120×2160）120Hz、これに18インチと14インチのモバイルモニターを1台ずつ、という3画面構成です。
この状態でタスクマネージャーを眺めていると、何もしていなくてもVRAMを3GB程度持っていかれています。 5K2Kを120Hzで描画している上でさらにサブ2枚（しかも内1枚は120Hz）ですので、フレームバッファだけでもそれなりの量になりますし、DWM（デスクトップウィンドウマネージャー）が各ウィンドウの描画バッファを抱え込むので、画面が広ければ広いほどVRAMが消費されます。
さらに厄介なのがアプリケーションです。 Adobe系のアプリはGPUアクセラレーションでVRAMをがっつり使いますし、ブラウザも複数窓開けばそれなりに消費します。仕事で普通に作業している状態だと、Windowsとアプリの合計で最大10GB弱までVRAMを占有していました。
32GBのうち10GBを描画に持っていかれるということは、LLMに回せるのは22GB程度。 実際、モデルとコンテキストの状況次第で22GB～28GBといったところで、これでは何のために32GBのカードを買ったのか分かりません。
まずはiGPUに逃がしてみる
解決策は至って簡単で、RTX PRO 4500 BlackwellをLLM専用にし、Windowsの画面描画は別のGPUに任せることです。
そこで最初に試したのが、モニターをCPU内蔵GPUに繋ぐという方法です。幸い、CPUはCore Ultra 7 265Kなので内蔵GPUが載っているモデルです。マザーボードはProArt Z890-CREATOR WIFIで、DisplayPort（USB-C DP Alt）もHDMIも出ていますから、こちらに繋ぎ替えるだけ。
結果は狙い通りで、RTX PRO 4500 BlackwellのVRAMは丸ごと空きました。 32GBをフルにLLMに回せるようになったおかげで、Qwen3.6-35Bが完全にVRAMに乗るようになり、生成速度も安定。当初やりたかったことがようやくできた、という状態です。
ただ、これはこれで別の問題が出ました。 iGPUのVRAMはメインメモリとの共有ですので、描画のためにDDR5の帯域を食い続けることになります。192GBもメモリを積んでいるので容量的には何の問題もないのですが、帯域を取られるのは気分が良くありません。
私の場合、まだiGPUとメモリの帯域が貧弱な頃（10年以上前？）の印象が強く、メインメモリを共有するiGPUよりも、自前でVRAMを持った外付けGPUを使いたい派です。描画専用に安いビデオカードを1枚足せばOKで、消費電力もたかが知れています。ということで、描画専用のビデオカードを探すことにしました。
追加するビデオカードの選定基準
今回の用途は「Windowsの画面が出れば良い」となりますので、要求スペックは限りなく低いです。
その上で、以下の条件で探しました。
3D性能は不要
ゲームはこのPCではやりません。業務アプリとAdobe系が普通に動けば十分ですので、ハイエンドカードは完全に無駄です。中古で手頃な価格で購入できるミドルレンジのビデオカードから選択することにしました。
VRAMは8GBもあれば十分
Windowsの画面描画で3GB弱なので、4GBなどのVRAMでは足りません。Adobeのアプリ等を含めると8GBは欲しいところ。かといって、16GB以上のVRAMを搭載したビデオカードは生AI用に人気があり、急に価格が跳ね上がります。狙い目としてはVRAMが8GBのモデルです。
できれば外排気クーラー
これは半分実利、半分趣味です。実利の方は、ケース内に熱風を排出したくないという点。外排気であれば、GPUで熱せられた空気をそのままケース外に排出できるのでケース内温度の上昇を抑えられ、CPUの冷却にも有利となります。
趣味の方は、単純にRTX PRO 4500 Blackwellと見た目を揃えたかったからです。同じブロアーファンのカードが2枚並んでいた方が格好いい、ただそれだけの理由です。
RADEONは除外
性能や価格の問題ではなく、ドライバの問題です。
すでにNVIDIAのドライバとIntelのiGPUドライバが同居している状態で、さらにAMDのドライバまで入れることで不具合時の問題切り分けなどが面倒になることは避けたいという理由です。
業務用PCで妙な相性問題を踏むのは避けたいので、最初から候補から外しました。
ARCも検討したが見送り
iGPUはエンコードなどで使うことがあるので有効化しているので、IntelのARCも選定候補に加えました。iGPUと同じIntelなのでドライバ的には都合が良いのですが、中古の流通量が少ないのと、性能面ではRTX 40シリーズの方が素直に優れています。わざわざ選ぶ理由が見つかりませんでした。
ということでRTX 40シリーズから探すことになったのですが、外排気のカードとなると新品ではまず売っていません。ブロアー型はほぼOEM専用で、メーカー製PCやワークステーションに入っているものが中古市場に流れてくるのを待つしかない、という状況です。
そんな中で見つけたのが、ZOTACのRTX 4060 Ti 8GBでした。
ZOTAC RTX 4060 Ti 8GBを購入
中古で40,000円ちょっとで購入できました。RTX 4060Tiとしては安めの中古価格だと思います。
ゲーミングPCに組み込まれていたものを取り外した、OEM向けの外排気クーラーを搭載したモデルです。
チップのスペックは以下の通りです。
| 項目 | 仕様 |
|---|---|
| GPU | GeForce RTX 4060 Ti（AD106） |
| CUDAコア | 4,352基 |
| メモリ | GDDR6 8GB / 128bit / 18Gbps |
| メモリ帯域 | 288GB/s |
| インターフェイス | PCI Express 4.0 x8 |
| TGP | 160W |
| 補助電源 | 8ピン×1 |
| 出力端子 | DisplayPort 1.4a×3、HDMI 2.1×1 |
描画用と割り切るなら、完全にオーバースペックです。RTX 4060 Tiはゲーム用では「128bitバスがネック」と散々な言われようをしたカードですが、ゲームはしない業務用のPCであれば128bitでも十分すぎます。VRAM 8GBについても、3画面構成＋Adobe系という使い方で10GB弱消費していたのが最大値ですので、足りると考えています。
CPU直結のPCIe 5.0 x16はRTX PRO 4500 BlackwellとGeForce RTX4060Tiを搭載するためx8に分割されていますが、そもそも4060 TiはPCIe 4.0 x8の帯域しか使いませんのでまったく問題ありません。
外排気クーラーは大正解
実際に組み込んでみると、これがなかなか良いです。RTX PRO 4500 Blackwellと並べると、サイズもほぼ同じ、どちらもブロアーファンで、見た目の統一感があり良い感じです。
ケースの中を覗いた時の満足感も、自作PCにおいてはけっこう大事なファクターだと思います。
肝心の冷却ですが、描画専用ですのでそもそも負荷がかかりません。アイドル～軽負荷の状態で回り続けているだけなので発熱もほとんどなく、ファンの音も気になりません。
ブロアーファンというと、うるさいというイメージがある方も多いと思いますが、それは全開で回した時の話で、この使い方であれば完全に無音の部類です。
そして何より、2枚とも外排気ですのでケース内に熱がまったく溜まりません。 Crystal 680X RGBはもともと容積に余裕のあるケースですが、24時間電源を入れっぱなしにすることも多い環境ですので、ケース内温度が下がるのは素直にありがたいところです。
注意点：CUDAデバイスが2台になる
導入にあたって唯一気をつける必要があるのが、ここです。
NVIDIAのカードを2枚挿すと、当然ながらWindowsからはCUDAデバイスが2台見える状態になります。 この状態でLLMを動かすと、アプリケーションによっては勝手にRTX 4060 Tiに処理を投げることがあります。VRAM 8GBのカードで35Bのモデルを動かそうとするわけですから、延々とメインメモリにオフロードされて激遅になるか、そもそもロードに失敗するかのどちらかとなり、当然まともに動きません。
対策としては、環境変数で使用するデバイスを明示的に指定します。
デバイスIDはnvidia-smiで確認できますので、RTX PRO 4500 Blackwell側のIDを調べて、CUDA_VISIBLE_DEVICESに指定しておけば、そのプロセスからは指定したカードしか見えなくなります。 LM Studioのように設定画面からGPUを選べるアプリもありますが、CLIから叩くツールやPythonのスクリプトを走らせる場合は環境変数で設定しておくのが確実です。
なお、デバイスIDはPCIeのスロット位置やドライバの認識順で変わることがありますので、CUDA_DEVICE_ORDER=PCI_BUS_IDも併せて指定して順序を固定しておくと、より安全です。
PS C:> nvidia-smi -L
GPU 0: NVIDIA GeForce RTX 4060 Ti (UUID: GPU-26446076-b617-85a7-db9f-5d7db2cf684c)
GPU 1: NVIDIA RTX PRO 4500 Blackwell (UUID: GPU-176071bb-fba9-3b7c-a23f-21acc84b66b5)
PS C:> setx CUDA_VISIBLE_DEVICES "GPU-176071bb-fba9-3b7c-a23f-21acc84b66b5"
成功: 指定した値は保存されました。nvidia-smi -L コマンドでビデオカードを確認します。
GPU0と1でそれぞれのカードが認識されていますが、環境変数に渡すには、UUIDを指定するのが確実です。
setx CUDA_VISIBLE_DEVICES “GPU-176071bb-fba9-3b7c-a23f-21acc84b66b5″ コマンドで、RTX PRO 4500 Blackwellを使うように指示しています。
このあたりは一度設定してしまえば以後は意識せずに済みますので、マルチGPU構成にする方は頭の片隅に置いておいた方が良いと思います。
VRAMを空けたいなら、描画用のビデオカード追加は費用対効果が高い
導入後の状態ですが、狙い通りRTX PRO 4500 BlackwellのVRAM 32GBは完全にLLM専用になりました。 Windowsとアプリの描画はすべてRTX 4060 Ti側が引き受けており、メインメモリの帯域を食うiGPUに頼る必要もなくなりました。
最大で10GB近いVRAMが解放されるというのは、LLMを扱う上ではかなり大きい話です。32GBのカードを買うのに40万円以上投資しているわけで、その3割が描画で潰れている状態を4万円で解消できるのであれば、これほど費用対効果の高い投資もありません。
同じように「大容量VRAMのカードを買ったのにモニター描画でVRAMが喰われている」という方は意外と多いのではないでしょうか。その場合、3～4万円程度で手に入るVRAM 8GBクラスのRTX 4060 Ti、あるいは無印のRTX 4060あたりを描画専用に足すだけで、状況はかなり改善します。無印の4060であればさらに安く済みますし、そもそも画面を映すだけなら性能差は体感できません。
LLM用のマシンを組んでいる方は検討してみる価値があると思います。
コメント