紫东太初推GMC剪枝法:少80%Token保多模态
紫东太初团队发布了一种名为GMC核心集的剪枝方法,旨在提升大模型运行效率。 该方法的核心特点是免训练和开箱即用,无需额外的微调或适配即可直接应用于已有模型。 实验结果显示,在剔除多达80%的Token后,模型的多模态能力仍保持完整保真,未出现显著性能下降。 这一技术为降低大模型推理成本、提高部署效率提供了新的思路,尤…
紫东太初团队发布了一种名为GMC核心集的剪枝方法,旨在提升大模型运行效率。 该方法的核心特点是免训练和开箱即用,无需额外的微调或适配即可直接应用于已有模型。 实验结果显示,在剔除多达80%的Token后,模型的多模态能力仍保持完整保真,未出现显著性能下降。 这一技术为降低大模型推理成本、提高部署效率提供了新的思路,尤…