Claudeを使っていろいろなアプリケーションを作って遊んでいるのですが、日常のタスクはアプリからLLMを呼び出して使うことがほとんどです。LLMであればAPI課金も不要ですし、最近ではLLMの性能もかなり向上していますので、かなり高度なことも可能です。
そうなってくると気になるのがVRAMの容量。V100は1枚あたり32GBのVRAMを搭載していますが、複数のアプリケーションから複数のモデルを使いたい場合、32GBのVRAMでは物足りなくなってきます。
また、70B級のモデルを使いたい場合は最低でも64GBは欲しいところで、できれば96GBあると理想かと思います。
そこで、V100 SXM2を3基搭載した、VRAM 96GBのLLMサーバーを構築してみることにしました。
2026/11/4追記
今まではコンソール用にGT1030を積んでいましたが、1スロットでVRAM 16GBというスペックのRTX A4000を入手しましたので、コンソール兼LLM/VLM用ビデオカードとして交換し、VRAMはトータルで112GBとなりました。
選定パーツ
ケース
Fractal DesignのNorth Charcoal Black TG Darkを利用しました。設置場所をコンパクトにしたいので、XLではなく通常サイズを選択しています。
結論としてはいろいろな意味でかなりギリギリなケースで、素直にXLを選んでおけば良かった…という気もするのですが、Northのデザインはノーマルサイズが最高にバランスが良いので、選択としては間違っていないはず。
詳細は以下のレビューをご参照ください。
GPU
Tesla V100 SXM2を3基搭載しています。SXM2はそのままではPCIeスロットに装着出来ませんので、変換カードを介しての接続となります。
1枚目は1枚のカード上にSXM2を2基、NVLink接続で搭載するカードです。消費電力300Wと発熱が多いV100を2基積むので、360mmラジエーターを利用した一体型水冷クーラーを搭載しています。
フロントパネルに360mmラジエーターを設置可能なのでNorthを選んだのですが、これが後で問題となりました。
2枚目はRTX4090の馬鹿でかいクーラーを搭載した、SXM2を1基搭載したカードです。PNY製のGeForce RTX 4090 24GB VERTOのクーラーを利用しているのですが、元のRTX4090のカード外寸が336.9 × 142.9 × 59.1mmと果てしなく巨大で、さらにはRTX4090よりもV100 SXM2の方が厚さがあるので、その分厚くなっているため、3.5スロット（実質4スロット）を消費します。
その代わり騒音も少ない上に冷却能力も高く、V100をフルロードしてもブロアーファンのようにドライヤーが唸っているような騒音は発生しません。
詳細については以下のレビューをご参照ください。
この2枚を搭載することで96GBのVRAM容量を確保する予定でしたが、2枚を同時に取りつけることができませんでした。Northに360mmラジエーターを搭載した場合、最大カード長は300mmまでの制限となることをすっかり忘れていました…。というか、ケースを選んだときは2枚目のカードを搭載する前提ではなかったこともあるのですが。（後から1台のPCにまとめた方がメリットがあることに気づいた）
これはどうにか力業で乗りきりました。
V100には画面出力機能はありませんので、当初はコンソール用にGT1030を搭載していました。空いているPCIeスロットが最下段の１スロットでしたので、2スロット厚のカードのブラケットを半分に切断、空冷ファンを外してファンレスで使用していました。
このままでもまったく問題無かったのですが、先日1スロットでVRAM16GBを搭載するRTX A4000を入手できましたので、画面出力兼LLM用の４枚目のビデオカードとして、GT1030からRTX A4000に交換しました。
かなり狭いところに押し込んでいるため、動作中は90℃近くに温度が上がりますが、もともと上限100℃の設定のようですので、使用に問題は無いようです。ただ、90℃はあまり気分的に良くないので、ファンの速度を上げて80℃前半くらいに収まるように調整しています。
CPU/マザーボード/メモリ
このサーバーは開発中の各botの演算を引き受けることもあるので、CPUはLGA2066最強のCore i9-10980XE（18コア / 36スレッド）を搭載しています。フルパワーだと発熱がすさまじいので、Long Duration Power Limitを165W、Short Duration Power Limitを200Wに設定して、ピーク時の消費電力・発熱を減らす設定にしています。
マザーボードは、今まではASUS Rampage VI Extremeを使っていましたが、PCIeスロットの分割を毎回UEFI Shellを使って書き換えるのも面倒なので、BIOSで3つのPCIeスロットの分割機能を持つ、ASRockのX299 OC Formulaに交換しました。
このマザーボードですが、OCに特化していることもあり、余計な機能は一切ありません。また、安定動作に重要な電源回路や8層PCBなどは惜しみなく最高水準の設計を取り入れていますので、サーバー用途で使うのにもとても適しているマザーだと思います。
唯一のデメリットは、メモリスロットが一般的なX299マザーの8本に対し、X299 OC Formuraは4本しかない点でしょうか。
CPUクーラー
LGA2066に対応するCPUクーラーはかなり減ってきています。今回はビデオカードで水冷クーラーを利用しますので、CPUクーラーはサイドフローの空冷タイプを購入しました。
Thermalrightのクーラーですが、最近のThermalrightはデザインも洗練されてきて、かなり好印象のメーカーでもあります。
電源ユニット
電源ユニットは300WのGPUを3基のほか、GT1030、CPU、マザーボード、メモリ、SSDなどが載りますので、ピークで1200Wは最低限必要になります。
当初、CorsairのRM1200eを購入したのですが、PCIe用のコネクタが6つしかなく、V100をもう1枚積むことにしたため今回の用途には使えなくなり、HX1200iに交換しました。
CorsairのRM1200eを選定したのは、他のPCでもCorsairの電源ユニットを利用していることもあり、Type4のモジュラーケーブルを使い回せる、というのが大きな理由です。
元々V100 Dualカード1枚を載せるつもりだったのでPCIe用コネクタが6つで良かったのですが、もう1枚V100カードを載せることにしたため、合計8つのPCIe用コネクタが必要となりました。
そこで、メインPCで使用していたHX1200iと今回購入したRM1200eを交換することにしました。今回組むサーバーは24/365稼動前提ですし、電源に対する要求も遙かにシビアですので、こちらにHX1200iを回すのは最適な配置だと思います。
HX1200i、買っておいて良かった…
SSD
合計96GBものVRAMを利用できると、ロード可能なモデルもファイルサイズが巨大になります。
余っていた512GBのSSDを使用していましたが、足りなくなってきたのでSanDisk Extreme PRO 1TB M.2 NVMe 3D SSDに交換しました。
PCIe Gen3対応の古めの製品ですが、Gen3対応のSSDとしてはハイエンドに属するスペックで、DRAMキャッシュも積んでいますので速度低下が少ないのが特徴です。
OS
OSにはubuntu server 26.04.1 LTSを利用します。CUIベースのOSですが、セットアップはすべてClaudeに任せられるので気軽に使えるようになったのがありがたいです。
Windowsは頻繁にアップデートを適用する必要があることと、GUIベースのOSなので今回の用途にはOSがヘヴィ過ぎることがデメリットです。あとはV100関連のアプリケーションがlinuxを前提としているものがほとんどですので、Windowsを採用するメリットはありません。
ハードウェアモニター
モニターを繋がないヘッドレス運用なので、CPUやGPUの負荷、GPU温度、VRAM空き状況、電源ユニットの消費電力などをリアルタイムで確認出来るように、TURZXの5.2インチモニターを繋いでいます。
このモニター、モニター側にプロセッサを積んでいて、USB接続するだけで必要な情報を取得・表示出来ます。（実際にはサーバー側でグラフ画像を生成→1秒おきにモニターで表示）
構築はclaude codeを使えばプログラミング不要で格好いいモニター画面を作ってくれます。
苦労した点（特にNorth関連）
Rampage VI ExtremeのPCIe x16スロットの分割作業やV100の認識などは特に問題なく、普段PCを自作する際と特段違いはなく、スムーズに行きました。
最大の難関が、小型のケースであるNorthを選んでしまった点でしょうか。Fractal Designのケースは他社と比べるとコンパクトにまとまっていることが多いのですが、あとちょっと大きければ…という残念な箇所が随所にあるケースでもあります。
逆に言えば、それくらいシビアに寸法を削ってデザインされているので洗練されている、とも言えますが、それにしてもギリギリ過ぎます。
狭いNorthに336.9mmのカードと360mmラジエーターの両方を組み込むには、通常の方法ではビデオカードがラジエーターと物理的に干渉してしまうため無理です。
そこで、ラジエーターをケース前面側に配置し、ファンを内側に取りつけ、ビデオカードと干渉する部分は薄型ファンを利用することで干渉を避けることにしました。
幸い、サイズのKAZE FLEX II 120 SLIMがあったので、中央のファンをこのファンに交換すればどうにかギリギリでビデオカードが干渉しないことがわかりました。
ただし、そう簡単にいかないのが自作の難しいところ。
Northのフロント側の開口部は高さが370mmで、ラジエーターの395mmよりも狭いため、ラジエーターを取りつけられません。
入らないのならば切ってしまえ！ということで、ディスクグラインダーを使ってケースの干渉する部分を切断することにしました。若干剛性は落ちますが、ラジエーターを取りつけますので問題無いと判断しました。
左が加工前、右が加工後です。下方向に開口部を広げたので、ラジエーターを問題無く取りつけられるようになりました。
苦労して取付が終わったラジエーター。ケースのグリルを外すと巨大なラジエーターが鎮座していますので、なんだかPCというより車っぽい感じがします。
RTX4090のクーラーを利用したV100を取りつけてみました。5mm程度余裕がありますので、この方法であれば、342mm程度のビデオカードであれば取り付け可能かと思います。
他に大変だった点としては、Fractal Designのケースに共通の特徴ですが、裏配線用のスペースが狭いのでケーブルマネジメントは考えて行う必要があります。
その点、HX1200iのケーブルは1本ずつバラになったタイプなので、取り回しやすいのがありがたいところです。
主な利用方法はAPIでのLLM呼び出しなので、モニターレスでの運用となります。環境構築などもSSH経由で行いますので、BIOSの設定が終わってしまえばキーボード、マウスも不要です。
ただ、最低限のメンテナンスはできるように、余っていた4キーのマクロキーボードを取りつけておきました。
左から、①ID、②パスワード、③sudo shutdown -h now、④[ENTER]キーをそれぞれ割り当てています。
サーバーを終了するときは、①→②→③→④→③→④、と押せば良いだけなのでかなり便利です。
裏にマグネットテープを貼り付け、ケース上部に固定できるようにしました。
利用中のLLM
96GBという巨大なVRAMを生かしてOllamaで一括管理でも良かったのですが、複数のモデルを利用したいこともあって、以下のように設定しています。
V100 Dualカードテンソル並列による高速処理が利用出来るよう、1cat-vLLMを採用しました。
2枚のV100に最適化されたQwen3.8-Flash-Nextを使用しています。詳細は以下にてご確認ください。
V100 シングルカード
こちらはOllamaで利用しており、モデルは約20GBのgranite4.2:30bをロードしています。
NVLinkの有無によるLLM実行速度への影響については、以下のレビューで検証していますのでご参照ください。
RTX A4000
古いV100では苦手なVLMによる静止画・動画分析を主に担当させています。1スロットしか消費しないので、空いたスロットに取付できるのがとても便利なカードだと思います。
調達コスト
V100 DualカードとV100シングルカードはともにeBayで購入しました。それぞれ30万円と14万円+輸入消費税（6%）となります。
AliExpressではV100は暴騰しているので、eBayが比較的安価でした。
A4000は最近価格が急激に高騰しており、16～18万円程度です。たまたま、xeonと64GBメモリという構成にA4000が載っているワークステーションを20万円で購入できました。64GBのメモリは5～6万円程度ですので、その他諸々差し引くと13万円前後、といった感じでしょうか。
その他諸々のパーツでおそらく10万円程度なので、合計70万円程度かと思います。
PCIe版のV100 32GBであれば10万円前後で購入できますので、V100 Dualカードは割高です。ただし、1枚のカードにNVLink接続で2基載っている点と、360mm水冷クーラーが付属し、出荷元が動作確認済という点を考えると許容範囲内だと思います。
シングルのV100カードもPCIe版に比べて+5万円程度のプレミアムが載っていますが、爆音のブロアーファンではなくRTX4090のクーラーを使っているので、全開時の騒音も十分実用に耐えるレベルと考えると、納得感があります。
この金額を高いと見るか、安いと見るかは使い方次第でもありますが、112GBのVRAMを積んだLLMサーバーが手元にあり、いじり倒せるというのは価格面は無視すれば楽しいものです。
おすすめ度
V100を3基までであれば一般的なPCでも実現出来ますので、LLMを使い倒したい、という方にはお勧めです。
既にレガシーなV100ですが、比較的安価なこともあってユーザー数も多く、1Cat-vLLMやninfer-v100（ninferのV100用fork版）のようにV100に特化したアプリケーションの開発も続いていますので、もうしばらくの間は十分現役で使えるGPUだと思います。
V100のマルチ構成で一番楽なのは、PCIe版のV100を3枚+画面表示用のビデオカード1枚という構成ですが、PCIe版のV100はパッシブクーラーなので五月蠅いブロアーファンを追加する必要があることと、250Wまでの制限があるので、SXM2版に比べて若干性能が劣るのがデメリットでしょうか。
今回は水冷クーラーのDualカードと、RTX4090のクーラーを利用したシングルカードという変則的な構成としましたので、最大負荷時でも五月蠅いと感じることはなく、今まで使用していたブロアーファンのV100よりも圧倒的に静かです。
RTX4090/5090は中国でカードを分解し、カスタム基板に載せ替えて利用しているため大量に新品のクーラーが余っているようで、最近になってV100に取付できるように改造されたカードをよく見かけるようになりました。
家庭でV100を使いたい、けれども五月蠅いのは避けたい、という方におすすめです。
ぜひ家庭用LLMサーバーを構築して、あなたも沼の世界にはまってください。楽しいですよ。
おまけ
LLMサーバーの状況をすぐに確認出来るように、TURZXのハードウェアモニターを利用して、CPUやGPUなどの状況を確認出来るモニターを作ってみました。超お勧めです。
claude codeがあれば簡単に構築・カスタマイズできますので、是非。
このページで紹介している商品のセール情報を受け取ることができます。（Amazon限定）
通知が不要な場合はいつでもこのページで解除できます。 詳しくはこちら >
コメント