论文第一作者谭宇乔来自中国科学院自动化研究所的自然语言处理和知识工程研究组，导师为何世柱老师。目前研究方向主要在利用大语言模型参数知识增强大模型能力。
人类的思维是非透明的，没有继承的记忆，因此需要通过语言交流的环境来学习。人类的知识传递长期依赖符号语言：从文字、数学公式到编程代码，我们通过符号系统将知识编码、解码。但这种方式存在天然瓶颈，比如信息冗余、效率低下等。
现如今，大语言模型（LLM）就主要模仿这一套范式来学习和传递知识。然而，与人脑不可知和不透明的特性不同，开源 LLM 的可访问参数和信息流则像一个透明的大脑，直接编码了事实知识，已有的研究对其进行了系统分析、精确定位和有效转移。因此研究人员提出疑问：大模型能否像《阿凡达》中的人类和纳威人之间建立传递知识的练习？其中在天然存在的较大 LLM 和较小 LLM 对之间展开，将参数知识作为媒介。
最近，中国科学院自动化所提出对 Parametric Knowledge Transfer (PKT，参数知识迁移) 的全面分析。一句话总结：跨规模大模型之间的表现相似和参数结构相似度都极低，这对实现有效的 PKT 提出了极大的挑战。
论文首先通过简单的前置实验，挖掘出参数空间的对齐是实现参数知识迁移的必要条件。现有的参数对齐方法Seeking通过梯度定位部分较大 LLM 参数以适配较小 LLM 张量形状，将其初始化为 LoRA 矩阵通过后续微调实现迁移，称之为后对齐参数迁移方法（Post-Align PKT）。论文为了更全面探索 PKT 是否可行，根据对齐时机提出先对齐知识迁移（Pre-Align PKT）新范式，采用定位后对齐（Locate-then-Align，LaTen）方法实现参数对齐。
该方法的核心理念是首先通过神经元级别的归因分析，识别出与特定任务相关的参数，然后利用训练得当的超网络，将较大 LLM 的知识映射到较小 LLM 上。
知识提取：通过分析大模型的参数，识别出与目标任务相关的知识。这一过程利用静态神经元归因方法，计算出每个神经元在任务中的重要性，从而选择出最具信息量的参数进行迁移。参数对齐：一旦确定了重要参数，接下来通过轻量级的超网络进行对齐，确保这些参数能够有效整合到小型模型中。参数注入：这一过程强调在对齐后直接注入参数，减少了后续训练所需的资源和时间。
通过上述流程，就可以将较大模型中的参数知识转换为在较小模型中可受用的知识进而进行注入，以避免参数空间的差异性导致的性能丢失。
在实验部分，研究者针对多个基准数据集，涵盖世界知识（MMLU），数学推理（GSM8K）和代码能力（HumanEval 和 MBPP）进行了详细评估。
对于 Post-Align PKT，论文将其同利用 SVD 从模型自身获取 LoRA 的 PiSSA 方法对比，结果发现 PiSSA 在相同设置下优于 Seeking，证明从较大模型抽取的参数知识不如利用模型自身知识作为 LoRA 初始化，进一步怀疑其可行性。对于 Pre-Align PKT，结果显示，只需要极少的训练步数和数据开销，LaTen 能有效取得性能提升。但是 Pre-Align PKT 通过训练实现参数对齐的方式受到极大限制，无法超越较大 LLM 的能力上界，同时训练不太稳定，没有明显收敛。
此外，论文从另一个方面来验证目前阶段的 PKT 是否有效。既然假设迁移的参数知识中包含了有用的特定任务的知识，那么在特定任务上表现更好的模型，理应在迁移后能让小模型的性能更好。因此，研究者在代码任务上开展了这一探索实验：
实验结果证明了两种 PKT 在这种设置下的失败，让人疑惑为什么跨规模 PKT 无法有效实现？
PKT 的核心任务在于对齐（Align），不管是通过后续训练还是提前通过超网络实现，是否能有效实现对齐是 PKT 成功的关键。从现有实验结果来看，PKT 并没有有效实现对齐，那么阻碍的关键在哪？
对于表现相似度的分析，论文采用了中心核对齐（Centered Kernel Alignment, CKA）方法，该方法基于 Hilbert-Schmidt 独立性准则（HSIC），用于计算神经网络中特征表示的相似性。该指标评估了两个模型之间行为的相似性，可以视为大语言模型的行为相似性。
如图 4 所示，Llama2-7B 和 13B 之间的相似性较低，尤其是在多头自注意力（MHSA）模块中，该模块在信息整合中扮演着至关重要的角色。有趣的是，上投影层的相似性较高，这可能是因为它们作为关键记忆，捕捉特定的输入模式，而这些模式通常在不同模型间是一致的。跨规模大模型之间的低相似性也解释了为何从同一模型衍生的 LoRA 表现更好，因为它与模型的内在行为更为贴合。证明跨规模大语言模型之间的表示相似性较弱是导致神经不兼容性的关键因素之一，这使得理想的参数知识转移成功变得困难。
人类从牙牙学语到学贯古今，通过语言和文字在历史长河中不断汲取知识，通过吸收和迭代实现知识的传承。
然而，我常幻想能实现，类似科幻小说中三体人直接通过脑电波传递所有知识，或利用一张链接床就能把人类的意识输入到纳威人体内，这是一种更理想的知识传递方式，而开放的大模型参数正有可能实现这一点。
通过将 PKT 根据 Align 进行划分，我们完成了对现有阶段 PKT 的全面研究，找出了实验结果欠佳的背后是不同规模大模型之间参数知识本质上的行为和结构的差异。
但仍期望，在未来大模型之间的交流不再局限于语言这种有损的压缩方式，而去尝试更高效直接的迁移方法。
05月27日，东西问·镇馆之宝｜李清丽：虢国玉柄铁剑为何可视为“中华第一剑”？，亚博注册送18，天博体育官方地址，新二手机会员网址，电竞投注竞猜平台
05月27日，海河水利委员会针对“山河四省”启动干旱防御IV级应急响应 ，bg线现金，鸿博平台登录网址，best365最新下载
05月27日，天津警方通报“女子在永乐桥欲跳桥轻生”：被救下并送医治疗，lovebet爱博，云顶娱乐手机版入口，欧亿体育app下载ios，澳门太阳集团城官网
05月27日外交部：愿同日方共同致力于推动中日关系改善发展w88优德狼队网上娱乐平台首页分分彩网站官网视讯真人游戏免费试玩
05月27日花莲强震专案募款初估达16.4亿元新台币优博体育平台沙巴体育真人投注ag注册网站安卓下载九州体育开户
05月27日北京：组队盗掘醇亲王墓 八人盗墓团伙受审8155开元棋官方网站188菠菜网188宝金博手机版登录小三合皇A……
05月27日，多地上调最低工资标准！你的工资不能低于这个数，乐动体育，斗牛牛游戏送金币，天堂鸟娱乐城，多宝登录官网
05月27日，两会受权发布丨十四届全国人大二次会议主席团举行第四次会议，拉斯维加斯7799908，在线，威尼斯人有那些网站，金沙3983载
05月27日“羌年”被列入人类非物质文化遗产代表作名录奔驰宝马技巧凯发k8娱乐真人旗舰厅永利送彩金乐苹果买球用什么app
05月27日，新榨季预计逾50万吨甘蔗经中缅边境云南芒信通道入境中国，八方体育网址，大家玩娱乐场，宝博体育官网链接，188bet金宝搏网址是多少
05月27日，有人“捡漏”有人“跨界”，消失的民企正重返地产江湖，云顶娱乐手机官网版，金年会VIP，bet9app在线下载betapp，足彩外围网址app
05月27日，【地评线】中安时评：创新消费模式，变“春日限定”为“四季常青”，天天斗牛，188金宝博登录官网，永利体育网投，hth华体会赌场网站
05月27日江西多地迎降雪 各交通部门全力保障交通运输安全畅通奥博集团网址查询官网斗牛大亨技巧百乐门如何注册凯时国际
05月27日中央环保督察通报：安徽省安庆池州铜陵等地长江岸线保护不力来博娱乐网站亚娱真人澳门金沙网络赌博完美体育平台入口
05月27日国羽两冠两亚收官 梁王组合逆转夺冠申搏sunbet官网新宝5注册登录测速ag捕鱼正规网址澳门威尼斯2453u
布莱泽奥特曼，梅西蝉联世界足球先生四川成都：邹敬园“亲友团”祝贺其在巴黎奥运会夺冠完美体育下载安装万博官网网页版首页登录澳门皇冠因为信赖所以专业万赢国际网站怎么样
海贼王1117话 阿金登场，邓紫棋直播南非纳马夸兰春日花海bwin手机版注册威尼斯注册账号yabo在线试玩凯旋门官方app
拼多多百亿补贴2600元消费券好能打，乒乓女单赛后网民发表诋毁信息被刑拘国际识局：如果针对尹锡悦的弹劾案通过，会发生什么？SW天风电子百搭猫咪足球体育软件太阳城登录204nb网站
媒体呼吁将调休选择权交给劳动者，崩铁三月七新形象曝光《可看香港》全国两会特别报道｜港区全国人大代表文颕怡：建议加快推动粤港澳大湾区医院接轨国际标准皇冠足球app东坡下载威尼斯网络平台网站sbobet亚洲ysb体育
最后生还者 第一季，女子连吃一周腊肠后左眼失明专访张家辉：一个好演员，演自己最差826巴黎人官网万博官网地址炸金花三张牌网址澳门永利集体官方下载
国产武侠动作游戏《风起洛阳》解散，男子假离婚后发现孩子非亲生AI科幻大片丨珍AI地球bwin在哪开户sa沙龙荣耀厅球探体育比分appOD手机版登录
弹子球游戏 第二季，我在长征路上开超市河北衡水湖监测到20多年间极少现身的大鸨888真人在线欧洲杯意大利赛程九龙报
腾讯股东南非纳斯帕斯集团投资印度食品配送平台获利纽约联储：1.17万亿美元！美国人信用卡债务总额创纪录