感觉现在开源的速度已经疯了。。。

K3开源才两天，已经被 @UnslothAI 干到能在Mac Studio上跑了🤯！！！

2.8万亿参数的模型，原始大小1.56T，
他们用动态1-bit量化，直接压到594G，缩了62%，

还保留了78.9%的精度，
128G内存的Mac Studio就能跑，
虽然速度不快，但它真的能跑。

谁能想到半个月前，这个级别的模型还只有大厂有算力碰，
现在我们在家，在自己的消费级电脑上，就能跑全球最顶尖的开源大模型了，damn！

GUIDE：https://unsloth.ai/docs/models/kimi-k3
GGUF：https://huggingface.co/unsloth/Kimi-K3-GGUF