LLM 自托管成本计算器

这个模型能在我的 GPU/服务器上运行吗?比 API 便宜吗?— 即时估算 VRAM 适配、令牌速度以及自托管与 API 的盈亏平衡点。无需密钥、无需服务器、数据不离开浏览器。

模型最新优先

28B densedensectx 262,144Apache-2.0

量化

硬件

上下文长度 8,192 tok

并发请求 16

GPU 租用单价覆盖 ($/hr, 留空=默认值)

对比 API 预设

对比 API 单价 ($/1M tok)

结果

✅ 可装入一块 NVIDIA H100 80GB SXM

VRAM

权重 KV 缓存开销设备 VRAM 上限

权重 13.9GB + KV 2.1GB (@8,192 tok) + 开销 1.9GB = 17.9GB / 80GB

· 멀티모달(image-text)

推理速度

120.6 tok/s

单流

服务吞吐量

1,350.6 tok/s

服务总量(批次 16, VRAM 余量最大 29)

自托管 vs API

自托管估算单价 ($2.5/hr)$0.51 / 1M tok

所选 API 单价$0.8 / 1M tok

胜过 API 所需的吞吐量868.1 tok/s

在此利用率下,自托管更便宜。但仅当你持续让 GPU 保持繁忙时才成立。

所有结果均为基于内存带宽的近似估算。实际数值会因内核、框架、分页和量化方式而异。决策前建议进行实测基准测试。

参考 · 最新图像生成 & 语音(STT/TTS)模型与 API 价格

以下项目并非按令牌计价,因此无法与上面的令牌计算器 1:1 比较 — 图像生成 API,以及语音(STT/TTS)自托管模型与 API 价格,汇总供参考。均为基于公开信息的近似值。

图像生成 API

gpt-image-2OpenAI토큰 단위 · 텍스트 입력 $5 / 이미지 입력 $8 (표준). 이미지당 단가는 OpenAI 계산기 참고

$30 /1M img-out tok

gpt-image-1-miniOpenAI저가형 · 이미지 입력 $2.50 / 텍스트 입력 $2

$8 /1M img-out tok

grok-imagine-imagexAI1K/2K 출력 · 입력 $0.002/img

$0.02 /이미지

语音 STT/TTS — 自托管模型

Whisper large-v3STT1.55B · MIT · 인코더-디코더 · 100+ 언어 · 정확도 기준선

~3.1GB

Whisper large-v3-turboSTT809M · MIT · 디코더 프루닝 · 훨씬 빠름

~1.6GB

Parakeet TDT 0.6B v3STT600M · CC-BY-4.0 · FastConformer · 다국어(EU) · 타임스탬프

~1.2GB

Canary-1B v2STT978M · CC-BY-4.0 · 25개 EU 언어 · ASR+번역

~2GB

Qwen3-ASR-1.7BSTT1.7B · Apache-2.0 · 52개 언어 · 스트리밍+오프라인 통합

~3.4GB

Moonshine baseSTT61M · MIT · 엣지용 초경량 · 영어

~0.2GB

VoxCPM2TTS2B · Apache-2.0 · 토크나이저-프리 확산 · 30개 언어 · 48kHz · 클로닝

~4GB

Qwen3-TTSTTS1.7B · Apache-2.0 · 3초 클로닝 · 보이스 디자인 · 10개 언어

~3.4GB

Kokoro-82MTTS82M · Apache-2.0 · 초경량·초고속 · 엣지 인기

~0.2GB

ChatterboxTTS500M · MIT · 23+ 언어 · 제로샷 클로닝 · 감정 조절

~1GB

Orpheus 3BTTS3B · Apache-2.0 · Llama 기반 speech-LLM · ~200ms 스트리밍

~6GB

F5-TTSTTS~335M · CC-BY-NC-4.0 · 플로우매칭 DiT · 제로샷 클로닝 · 비상업 라이선스

~0.7GB

语音 STT/TTS — API 价格

gpt-4o-transcribeSTTOpenAI · 입력/출력

$2.50 / $10 /1M 오디오 tok

whisper-1STTOpenAI

$0.006 /분

Deepgram Nova-3STTDeepgram · 스트리밍

$0.0077 /분

AssemblyAI Universal-2STTAssemblyAI

$0.15 /시간

ElevenLabs ScribeSTTElevenLabs

$0.22 /시간

Google STT StandardSTTGoogle

$0.016 /분

gpt-4o-mini-ttsTTSOpenAI · 텍스트 입력 / 오디오 출력

$0.60 / $12 /1M tok

ElevenLabs FlashTTSElevenLabs

$50 /1M자

ElevenLabs Multilingual v3TTSElevenLabs

$100 /1M자

Grok Voice (xAI)TTSxAI · STT $0.10/시간 · S2S $0.05/분

$15 /1M자

Cartesia SonicTTSCartesia · 크레딧 기반 환산 [추정]

~$0.038 /분