LLM運用にB200は何枚必要？
モデルの規模、目標とする同時処理数、応答速度要件から、B200構成の適切な枚数を算出する方法を整理しました。
「B200は何枚必要か」は、LLM運用の初期検討で必ず出る質問です。しかしこれは「組織の規模によって何人必要かが変わるのと同じ」で、一概に答えることができません。必要なGPU枚数は、動かしたいモデルの規模、目標とする同時リクエスト数、応答速度の要件、利用可能なVRAM、予算などの要素を総合して決まります。
GPUの必要枚数の算出方法がわからない
Web検索しても「B200○枚が目安」という数字がばらばらで、どんな基準で判断すればいいかわかりません。
現在使っているAPIの規模感をGPU枚数に置き換えられない
現在のOpenAI API利用量から、必要なGPU構成を逆算する力がありません。
同時接続数の要件が整理できていない
どれだけの同時ユーザー・同時リクエストをさばきたいかという基本要件すら、整理できていません。
モデル規模がすべてを左右する
Llama 3.1 8BとLlama 3.1 405Bでは必要VRAMが50倍以上異なり、同じGPU構成では動きません。
同時処理要件が構成を分ける
1秒あたりの推論回数（throughput）と1回答が終わるまでの時間（latency）はトレードオフの関係にあり、これによって構成の考え方が変わります。
VRAM容量とGPU間の帯域幅の両方を満たす必要がある
モデルが1枚のGPUに収まるか（単機内並列）、複数GPUにまたがるか（マルチノード並列）で構成の考え方が異なります。
まず自社のワークロードの特性と成長予測を明確にすれば、必要なGPU構成が見えてきます。
Step 1：動かしたいモデル規模を確定する
Llama、Mistral、Gemmaなど系列とパラメータ数（7B、13B、70B、405Bなど）を決めます。パラメータ数が大きいほどVRAM要件が高くなります。
Step 2：目標とする同時処理数を明確にする
1秒あたりに処理したい推論回数（throughput）と、1リクエストあたりの最大許容応答時間（latency）を決めます。
Step 3：GPU1枚あたりの性能指標を確認する
B200のVRAM（192GB）、H100 SXM（80GB）などの容量と、NVLink帯域幅を確認します。モデルがVRAMに収まるか単機並列で動くかが最初の分岐点です。
Step 4：構成案を作成して専門家レビューを受ける
Steps 1-3を基に複数の構成案（H100×8、B200×4など）を出し、MLインフラの専門家にレビューを依頼するのが最も確実です。
GPU構成検討前の必須確認事項
- 動かしたいLLMのモデル種類とパラメータ数（規模）を決めたか
- 目標とする1秒あたりの推論回数（throughput）と最大許容応答時間（latency）を決めたか
- 現在のAPI利用におけるピーク時の同時リクエスト数を確認したか
- GPUサーバー設置場所の電力容量・冷却能力の制約を確認したか
- GPU導入の予算範囲（イニシャルコストの上限）を決めたか
よくあるご質問
Llama 3.1 405Bを動かすにはB200は何枚必要ですか？
Llama 3.1 405BはBF16精度で810GBのVRAMが必要です。B200 1枚あたり192GBなので、最低5枚以上の構成（NVLink接続）が必要ですが、推論速度を重視するなら8枚構成が推奨される場面が多いです。
GPU間の通信帯域幅が不足するとどうなりますか？
GPU間の通信帯域幅が低いと、モデルパラメータの同期処理に時間がかかり、思ったような性能が出ないことがあります。大規模モデルの推論では、InfiniBand HDRなどの高速インターコネクトが推奨されます。
最初は小さく始めて拡張することは可能ですか？
可能です。GPUは追加設置が比較的容易なインフラであり、最初に最小構成で始め、需要に応じてGPUを追加していく拡張性も重要な選定基準です。