Kimi K3发布后,老板让我算算本地化部署要多少钱。算完他沉默了
K3有2.8万亿参数,MoE架构,想本地跑?最少64张H200起步。
我列了个清单:
🖥️ 显卡:64张H200,141GB显存版本
🔗 网络:NVLink交换机 + 800G光模块 + RDMA交换机
💻 CPU:双路Xeon/EPYC,PCIe 5.0
🧠 内存:每台1-2TB DDR5
💾 存储:RAID阵列,每台不低于8TB企业级SSD
❄️ 散热:液冷,风冷根本压不住
⚡ 电源:单机柜160kW,钛金电源
硬件成本:3000万(一次性)
然后我算了算电费:
64张H200,单卡0.7kW,总功耗44.8kW
加上PUE 1.55,实际取电69.44kW
工业用电1.5元/度,一小时104块
一年8760小时满载:91万
就这还没算场地、机房改造、运维人员。
老板看完账单,脸从白变红变紫变黑,沉默半天说:「小X啊,这个事儿公司需要开会讨论一下,你把材料留下先回去吧。」
走出办公室时我看他手有点抖。
三千万只是起步。本地化部署大模型,从来都不是小老板的游戏。
(故事纯属虚构)
评论 (0)
还没有评论,来发第一条吧