Claudeを使っていろいろなアプリケーションを作って遊んでいるのですが、日常のタスクはアプリからLLMを呼び出して使うことがほとんどです。LLMであればAPI課金も不要ですし、最近ではLLMの性能もかなり向上していますので、かなり高度なことも可能です。
そうなってくると気になるのがVRAMの容量。V100は1枚あたり32GBのVRAMを搭載していますが、複数のアプリケーションから複数のモデルを使いたい場合、32GBのVRAMでは物足りなくなってきます。
また、70B級のモデルを使いたい場合は最低でも64GBは欲しいところで、できれば96GBあると理想かと思います。
そこで、V100 SXM2を3基搭載した、VRAM 96GBのLLMサーバーを構築してみることにしました。
選定パーツ
ケース
Fractal DesignのNorth Charcoal Black TG Darkを利用しました。設置場所をコンパクトにしたいので、XLではなく通常サイズを選択しています。
結論としてはいろいろな意味でかなりギリギリなケースで、素直にXLを選んでおけば良かった…という気もするのですが、Northのデザインはノーマルサイズが最高にバランスが良いので、選択としては間違っていないはず。
詳細は以下のレビューをご参照ください。
GPU
Tesla V100 SXM2を3基搭載しています。SXM2はそのままではPCIeスロットに装着出来ませんので、変換カードを介しての接続となります。
1枚目は1枚のカード上にSXM2を2基、NVLink接続で搭載するカードです。消費電力300Wと発熱が多いV100を2基積むので、360mmラジエーターを利用した一体型水冷クーラーを搭載しています。
フロントパネルに360mmラジエーターを設置可能なのでNorthを選んだのですが、これが後で問題となりました。
2枚目はRTX4090の馬鹿でかいクーラーを搭載した、SXM2を1基搭載したカードです。PNY製のGeForce RTX 4090 24GB VERTOのクーラーを利用しているのですが、元のRTX4090のカード外寸が336.9 × 142.9 × 59.1mmと果てしなく巨大で、さらにはRTX4090よりもV100 SXM2の方が厚さがあるので、その分厚くなっているため、3.5スロット（実質4スロット）を消費します。
その代わり騒音も少ない上に冷却能力も高く、V100をフルロードしてもブロアーファンのようにドライヤーが唸っているような騒音は発生しません。
この2枚を搭載することで96GBのVRAM容量を確保する予定でしたが、2枚を同時に取りつけることができませんでした。Northに360mmラジエーターを搭載した場合、最大カード長は300mmまでの制限となることをすっかり忘れていました…。というか、ケースを選んだときは2枚目のカードを搭載する前提ではなかったこともあるのですが。（後から1台のPCにまとめた方がメリットがあることに気づいた）
これはどうにか力業で乗りきりました。
V100には画面出力機能はありませんので、コンソール用にGT1030を搭載しています。GT1030はV100と同じドライバーで利用出来ますので、V100と組み合わせて使うのに便利です。
CPU/マザーボード/メモリ
CPUはintel Core i9 7920X（LGA2066）、マザーボードはASUS ROG Rampage VI Extremeを使用しています。LGA2066環境にしたのは、古くてもHEDTのカテゴリの製品ですのでPCIeは44本も利用可能で、マザーボード側にもPCIe x16スロットが多数あるため、複数のGPUを搭載する用途には最適です。
X99環境もあるのですが、さすがに古さが目立ってときどき不安定な挙動を見せるときもあったので、X299環境を利用しました。
V100のDualカードを利用するには、PCIe x16をx8/x8に分割する必要があるのですが、EFI Shellから設定値を書き換えることで利用出来ることが解りました。
PCIe分割が出来なかった時の保険としてRyzen環境も用意していたのですが、Rampage VI ExtremeでPCIe分割が利用出来たので一安心です。
詳細については下記のレビューをご参照ください。
メモリはDDR4-2666の8GBを8枚、計64GB搭載しています。
CPUクーラー
LGA2066に対応するCPUクーラーはかなり減ってきています。今回はビデオカードで水冷クーラーを利用しますので、CPUクーラーはサイドフローの空冷タイプを購入しました。
Thermalrightのクーラーですが、最近のThermalrightはデザインも洗練されてきて、かなり好印象のメーカーでもあります。
電源ユニット
電源ユニットは300WのGPUを3基のほか、GT1030、CPU、マザーボード、メモリ、SSDなどが載りますので、ピークで1200Wは最低限必要になります。
当初、CorsairのRM1200eを購入したのですが、PCIe用のコネクタが6つしかなく、今回の用途には使えないことが解ったのでHX1200iに交換しました。
CorsairのRM1200eを選定したのは、他のPCでもCorsairの電源ユニットを利用していることもあり、Type4のモジュラーケーブルを使い回せる、というのが大きな理由です。
元々V100 Dualカード1枚を載せるつもりだったのでPCIe用コネクタが6つで良かったのですが、もう1枚V100カードを載せることにしたため、合計8つのPCIe用コネクタが必要となりました。
そこで、メインPCで使用していたHX1200iと今回購入したRM1200eを交換することにしました。今回組むサーバーは24/365稼動前提ですし、電源に対する要求も遙かにシビアですので、こちらにHX1200iを回すのは最適な配置だと思います。
HX1200i、買っておいて良かった…
SSD
合計96GBものVRAMを利用できると、ロード可能なモデルもファイルサイズが巨大になります。
余っていた512GBのSSDを使用していましたが、足りなくなってきたのでSanDisk Extreme PRO 1TB M.2 NVMe 3D SSDに交換しました。
PCIe Gen3対応の古めの製品ですが、Gen3対応のSSDとしてはハイエンドに属するスペックで、DRAMキャッシュも積んでいますので速度低下が少ないのが特徴です。
OS
OSにはubuntu server 26.04.1 LTSを利用します。CUIベースのOSですが、セットアップはすべてClaudeに任せられるので気軽に使えるようになったのがありがたいです。
Windowsは頻繁にアップデートを適用する必要があることと、GUIベースのOSなので今回の用途にはOSがヘヴィ過ぎることがデメリットです。あとはV100関連のアプリケーションがlinuxを前提としているものがほとんどですので、Windowsを採用するメリットはありません。
苦労した点（特にNorth関連）
Rampage VI ExtremeのPCIe x16スロットの分割作業やV100の認識などは特に問題なく、普段PCを自作する際と特段違いはなく、スムーズに行きました。
最大の難関が、小型のケースであるNorthを選んでしまった点でしょうか。Fractal Designのケースは他社と比べるとコンパクトにまとまっていることが多いのですが、あとちょっと大きければ…という残念な箇所が随所にあるケースでもあります。
逆に言えば、それくらいシビアに寸法を削ってデザインされているので洗練されている、とも言えますが、それにしてもギリギリ過ぎます。
狭いNorthに336.9mmのカードと360mmラジエーターの両方を組み込むには、通常の方法ではビデオカードがラジエーターと物理的に干渉してしまうため無理です。
そこで、ラジエーターをケース前面側に配置し、ファンを内側に取りつけ、ビデオカードと干渉する部分は薄型ファンを利用することで干渉を避けることにしました。
幸い、サイズのKAZE FLEX II 120 SLIMがあったので、中央のファンをこのファンに交換すればどうにかギリギリでビデオカードが干渉しないことがわかりました。
ただし、そう簡単にいかないのが自作の難しいところ。
Northのフロント側の開口部は高さが370mmで、ラジエーターの395mmよりも狭いため、ラジエーターを取りつけられません。
入らないのならば切ってしまえ！ということで、ディスクグラインダーを使ってケースの干渉する部分を切断することにしました。若干剛性は落ちますが、ラジエーターを取りつけますので問題無いと判断しました。
左が加工前、右が加工後です。下方向に開口部を広げたので、ラジエーターを問題無く取りつけられるようになりました。
苦労して取付が終わったラジエーター。ケースのグリルを外すと巨大なラジエーターが鎮座していますので、なんだかPCというより車っぽい感じがします。
RTX4090のクーラーを利用したV100を取りつけてみました。5mm程度余裕がありますので、この方法であれば、342mm程度のビデオカードであれば取り付け可能かと思います。
他に大変だった点としては、Fractal Designのケースに共通の特徴ですが、裏配線用のスペースが狭いのでケーブルマネジメントは考えて行う必要があります。
その点、HX1200iのケーブルは1本ずつバラになったタイプなので、取り回しやすいのがありがたいところです。
主な利用方法はAPIでのLLM呼び出しなので、モニターレスでの運用となります。環境構築などもSSH経由で行いますので、BIOSの設定が終わってしまえばキーボード、マウスも不要です。
ただ、最低限のメンテナンスはできるように、余っていた4キーのマクロキーボードを取りつけておきました。
左から、①ID、②パスワード、③sudo shutdown -h now、④[ENTER]キーをそれぞれ割り当てています。
サーバーを終了するときは、①→②→③→④→③→④、と押せば良いだけなのでかなり便利です。
裏にマグネットテープを貼り付け、ケース上部に固定できるようにしました。
利用中のLLM
96GBという巨大なVRAMを生かしてOllamaで一括管理でも良かったのですが、複数のモデルを利用したいこともあって、以下のように設定しています。
V100 Dualカード
テンソル並列による高速処理が利用出来るよう、1cat-vLLMを採用しました。NVLinkのメリットを最大限生かした使い方となります。
ポート8000で起動し、約60GBと巨大なllama-3.3-70b-instruct-awqで利用しています。
V100 シングルカード
こちらはOllamaで利用しており、モデルは約20GBのgranite4.2:30bをロードしています。
NVLinkの有無によるLLM実行速度への影響については、以下のレビューで検証していますのでご参照ください。
調達コスト
V100 DualカードとV100シングルカードはともにeBayで購入しました。それぞれ30万円と14万円+輸入消費税（6%）となります。
AliExpressではV100は暴騰しているので、eBayが比較的安価でした。
その他諸々でおそらく10万円程度なので、合計56万円程度かと思います。
PCIe版のV100 32GBであれば10万円前後で購入できますので、V100 Dualカードは割高です。ただし、1枚のカードにNVLink接続で2基載っている点と、360mm水冷クーラーが付属し、出荷元が動作確認済という点を考えると許容範囲内だと思います。
シングルのV100カードもPCIe版に比べて+5万円程度のプレミアムが載っていますが、爆音のブロアーファンではなくRTX4090のクーラーを使っているので、全開時の騒音も十分実用に耐えるレベルと考えると、納得感があります。
この金額を高いと見るか、安いと見るかは使い方次第でもありますが、96GBのVRAMを積んだLLMサーバーが手元にあり、いじり倒せるというのは価格面は無視すれば楽しいものです。
おすすめ度
V100を3基までであれば一般的なPCでも実現出来ますので、LLMを使い倒したい、という方にはお勧めです。
既にレガシーなV100ですが、比較的安価なこともあってユーザー数も多く、1Cat-vLLMやninfer-v100（ninferのV100用fork版）のようにV100に特化したアプリケーションの開発も続いていますので、もうしばらくの間は十分現役で使えるGPUだと思います。
V100のマルチ構成で一番楽なのは、PCIe版のV100を3枚+画面表示用のビデオカード1枚という構成ですが、PCIe版のV100はパッシブクーラーなので五月蠅いブロアーファンを追加する必要があることと、250Wまでの制限があるので、SXM2版に比べて若干性能が劣るのがデメリットでしょうか。
今回は水冷クーラーのDualカードと、RTX4090のクーラーを利用したシングルカードという変則的な構成としましたので、最大負荷時でも五月蠅いと感じることはなく、今まで使用していたブロアーファンのV100よりも圧倒的に静かです。
RTX4090/5090は中国でカードを分解し、カスタム基板に載せ替えて利用しているため大量に新品のクーラーが余っているようで、最近になってV100に取付できるように改造されたカードをよく見かけるようになりました。
家庭でV100を使いたい、けれども五月蠅いのは避けたい、という方におすすめです。
ぜひ家庭用LLMサーバーを構築して、あなたも沼の世界にはまってください。楽しいですよ。
このページで紹介している商品のセール情報を受け取ることができます。（Amazon限定）
通知が不要な場合はいつでもこのページで解除できます。 詳しくはこちら >
コメント