近日,一项发布于 GitHub 与 arXiv 的研究引发业界热议:华为推出的盘古大模型(Pangu Pro MoE)被发现与阿里巴巴达摩院发布的通义千问 Qwen-2.5 14B 模型在参数结构上“惊人一致”。
该研究使用最新的“LLM 指纹”技术,指出两者之间在注意力权重输出空间的相似性高达0.927,远高于其他主流模型组合。
作者提出了一种黑盒大模型指纹识别技术,即便无法访问模型权重,也能通过 API 输出(如 logits 或 top-k 概率)判断模型之间是否存在归属或继承关系。
“盘古 Pangu Pro MoE 与 Qwen-2.5 14B 模型在注意力模块中呈现 极高相似性 ,而这在其他模型对比中从未出现。”
该结果意味着,Pangu 很可能在 Qwen 的基础上进行训练或修改,而非“从零自主研发”。
QKV 偏差分析显示,盘古模型和 Qwen2.5-14B 在三种投影类型(Q、K、V)上均表现出惊人的相似性。
这两个模型都表现出几乎相同的模式,尤其是在早期层的特征峰值以及随后的收敛行为方面。
鉴于 QKV 偏差是 Qwen 1代至2.5代的一个显著设计特征,而大多数开源模型(包括 Qwen3)放弃了这种方法,这一点尤为重要。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
暗访星巴克“月饼强制销售”:5家门店中3家员工“有指标”,结果与绩效挂钩
抓错人了,凶手仍在逃!遭枪杀的31岁特朗普政治盟友身份曝光,拥有超过500万粉丝,IM电竞,IM电竞官网,IM电竞注册,电竞投注平台,电竞博彩,英雄联盟竞猜特朗普:美国的黑暗时刻!
“头盔戴戴牢,开车交关稳”,宁波公交车大幅避孕套方言广告被指“不儒雅”,公司回应
曝知名反贼李硕已从美国返回国内,曾在人人网宣布“建国”,如今盛赞中国世界一流
奔驰车坠江漂流司机打开天窗 钓友甩杆抛线岁新总理上任第一天法国乱作一团:交通瘫痪高中停课
奔驰车坠江漂流司机打开天窗 钓友甩杆抛线岁新总理上任第一天法国乱作一团:交通瘫痪高中停课
vivo X300就是X200 Pro mini升级版,核心基因全保留