Kimi K3发布后,老板让我算算本地化部署要多少钱。算完他沉默了

kiiiiiim
·2 天前

K3有2.8万亿参数,MoE架构,想本地跑?最少64张H200起步。

我列了个清单:

🖥️ 显卡:64张H200,141GB显存版本
🔗 网络:NVLink交换机 + 800G光模块 + RDMA交换机
💻 CPU:双路Xeon/EPYC,PCIe 5.0
🧠 内存:每台1-2TB DDR5
💾 存储:RAID阵列,每台不低于8TB企业级SSD
❄️ 散热:液冷,风冷根本压不住
⚡ 电源:单机柜160kW,钛金电源

硬件成本:3000万(一次性)

然后我算了算电费:
64张H200,单卡0.7kW,总功耗44.8kW
加上PUE 1.55,实际取电69.44kW
工业用电1.5元/度,一小时104块
一年8760小时满载:91万

就这还没算场地、机房改造、运维人员。

老板看完账单,脸从白变红变紫变黑,沉默半天说:「小X啊,这个事儿公司需要开会讨论一下,你把材料留下先回去吧。」

走出办公室时我看他手有点抖。

三千万只是起步。本地化部署大模型,从来都不是小老板的游戏。

(故事纯属虚构)

评论 (0)

?
0/1

还没有评论,来发第一条吧