LLM 自架成本計算器

這個模型能在我的 GPU/伺服器上執行嗎?比 API 便宜嗎?— 即時估算 VRAM 適配、Token 速度以及自架與 API 的損益平衡點。無需金鑰、無需伺服器、資料不離開瀏覽器。

模型最新優先

28B densedensectx 262,144Apache-2.0

量化

硬體

上下文長度 8,192 tok

並行請求 16

GPU 租用單價覆寫 ($/hr, 留空=預設值)

比較 API 預設

比較 API 單價 ($/1M tok)

結果

✅ 可裝入一張 NVIDIA H100 80GB SXM

VRAM

權重 KV 快取額外開銷裝置 VRAM 上限

權重 13.9GB + KV 2.1GB (@8,192 tok) + 額外開銷 1.9GB = 17.9GB / 80GB

· 멀티모달(image-text)

推論速度

120.6 tok/s

單一串流

服務吞吐量

1,350.6 tok/s

服務總量(批次 16, VRAM 餘量最大 29)

自架 vs API

自架估算單價 ($2.5/hr)$0.51 / 1M tok

所選 API 單價$0.8 / 1M tok

勝過 API 所需的吞吐量868.1 tok/s

在此使用率下,自架較便宜。但僅當你持續讓 GPU 保持忙碌時才成立。

所有結果均為基於記憶體頻寬的近似估算。實際數值會因核心、框架、分頁與量化方式而異。決策前建議進行實測基準測試。

參考 · 最新影像生成 & 語音(STT/TTS)模型與 API 價格

以下項目並非按 Token 計價,因此無法與上面的 Token 計算器 1:1 比較 — 影像生成 API,以及語音(STT/TTS)自架模型與 API 價格,彙整供參考。均為基於公開資訊的近似值。

影像生成 API

gpt-image-2OpenAI토큰 단위 · 텍스트 입력 $5 / 이미지 입력 $8 (표준). 이미지당 단가는 OpenAI 계산기 참고

$30 /1M img-out tok

gpt-image-1-miniOpenAI저가형 · 이미지 입력 $2.50 / 텍스트 입력 $2

$8 /1M img-out tok

grok-imagine-imagexAI1K/2K 출력 · 입력 $0.002/img

$0.02 /이미지

語音 STT/TTS — 自架模型

Whisper large-v3STT1.55B · MIT · 인코더-디코더 · 100+ 언어 · 정확도 기준선

~3.1GB

Whisper large-v3-turboSTT809M · MIT · 디코더 프루닝 · 훨씬 빠름

~1.6GB

Parakeet TDT 0.6B v3STT600M · CC-BY-4.0 · FastConformer · 다국어(EU) · 타임스탬프

~1.2GB

Canary-1B v2STT978M · CC-BY-4.0 · 25개 EU 언어 · ASR+번역

~2GB

Qwen3-ASR-1.7BSTT1.7B · Apache-2.0 · 52개 언어 · 스트리밍+오프라인 통합

~3.4GB

Moonshine baseSTT61M · MIT · 엣지용 초경량 · 영어

~0.2GB

VoxCPM2TTS2B · Apache-2.0 · 토크나이저-프리 확산 · 30개 언어 · 48kHz · 클로닝

~4GB

Qwen3-TTSTTS1.7B · Apache-2.0 · 3초 클로닝 · 보이스 디자인 · 10개 언어

~3.4GB

Kokoro-82MTTS82M · Apache-2.0 · 초경량·초고속 · 엣지 인기

~0.2GB

ChatterboxTTS500M · MIT · 23+ 언어 · 제로샷 클로닝 · 감정 조절

~1GB

Orpheus 3BTTS3B · Apache-2.0 · Llama 기반 speech-LLM · ~200ms 스트리밍

~6GB

F5-TTSTTS~335M · CC-BY-NC-4.0 · 플로우매칭 DiT · 제로샷 클로닝 · 비상업 라이선스

~0.7GB

語音 STT/TTS — API 價格

gpt-4o-transcribeSTTOpenAI · 입력/출력

$2.50 / $10 /1M 오디오 tok

whisper-1STTOpenAI

$0.006 /분

Deepgram Nova-3STTDeepgram · 스트리밍

$0.0077 /분

AssemblyAI Universal-2STTAssemblyAI

$0.15 /시간

ElevenLabs ScribeSTTElevenLabs

$0.22 /시간

Google STT StandardSTTGoogle

$0.016 /분

gpt-4o-mini-ttsTTSOpenAI · 텍스트 입력 / 오디오 출력

$0.60 / $12 /1M tok

ElevenLabs FlashTTSElevenLabs

$50 /1M자

ElevenLabs Multilingual v3TTSElevenLabs

$100 /1M자

Grok Voice (xAI)TTSxAI · STT $0.10/시간 · S2S $0.05/분

$15 /1M자

Cartesia SonicTTSCartesia · 크레딧 기반 환산 [추정]

~$0.038 /분