华为开源盘古pro moe 720亿参数模型

北京那边,中新社的记者刘育英6月30日就传出了消息,说华为这次终于把手里的大模型给拿出来开源了。虽然说具体的日期是6月30号,但到现在我还没完全搞懂这里面的弯弯绕绕。 大家伙儿最关心的盘古Pro MoE 720亿参数模型,这可是个大家伙。你知道为啥要把它叫Pro吗?大概是因为它用了混合专家架构(MoE),能在保证速度的同时,把性能拉到接近千亿级稠密模型的水平。这技术太硬核了,特别适合干那种高难度活儿。 再说说那个盘古70亿参数的稠密模型。这是全参数稠密结构,特别适合在通用场景里微调一下。而且它还能灵活部署在边缘设备上,这就太香了。 不过最让人觉得有诚意的还是华为的开源力度。这次把盘古Pro MoE 72B的模型权重和基础推理代码都给放出来了。至于那个基于昇腾的超大规模MoE模型推理代码,也已经正式上线开源平台了。就连之前的盘古7B模型权重与推理代码,也在近期就要上线了。华为是诚心邀请全球开发者、企业伙伴还有研究人员都来下载使用。 达睿咨询的创始人马继华分析说,盘古70亿这个模型很适合做通用微调,部署在边缘设备也没问题。而盘古Pro MoE 72B这个型号就厉害了,采用混合专家架构,在推理效率和性能上都做到了很好的平衡。 华为的战略其实挺明确的,就是想通过开源来践行昇腾生态战略,推动大模型的研究创新和落地应用。马继华还提到现在AI领域的技术开放和生态共建太重要了。只有通过开源才能快速形成产业优势,让人工智能的飞轮效应发挥出来。 至于效果咋样?我倒是挺期待这些技术能给制造业、金融业等不同场景带来真正的改变。毕竟华为现在可是行业领头羊嘛!