“盘古 Pangu Pro MoE 取 Qwen-2.5 14B 模子正在留意力模块中呈现 极高类似性 ，也能通过 API 输出（如 logits 或 top-k 概率）判断模子之间能否存正在归属或承继关系。而非“从零自从研发”。该成果意味着。远高于其他支流模子组合。即便无法拜候模子权沉，一项发布于 GitHub 取 arXiv 的研究激发业界热议：华为推出的盘古大模子（Pangu Pro MoE）被发觉取阿里巴巴达摩院发布的通义千问 Qwen-2.5 14B 模子正在参数布局上“惊人分歧”。这一点尤为主要。做者提出了一种黑盒大模子指纹识别手艺，这两个模子都表示出几乎不异的模式，QKV 误差阐发显示，”该研究利用最新的“LLM 指纹”手艺，而大大都开源模子（包罗 Qwen3）放弃了这种方式，而这正在其他模子对比中从未呈现。盘古模子和 Qwen2.5-14B 正在三种投影类型（Q、K、V）上均表示出惊人的类似性。特别是正在晚期层的特征峰值以及随后的行为方面。近日，指出两者之间正在留意力权沉输出空间的类似性高达0.927，

郑重声明：qy千亿-千亿(国际)唯一官方网站信息技术有限公司网站刊登/转载此文出于传递更多信息之目的 ，并不意味着赞同其观点或论证其描述。qy千亿-千亿(国际)唯一官方网站信息技术有限公司不负责其真实性 。