幸运飞艇清华新框架让大模子学会「精读略读」！完满12倍端到端加快，基准评分翻倍

发布日期：2026-02-15 22:40 点击次数：147

让大模子像东谈主类相通阅读！通过精读略读完满性能与效果的双重飞跃。

在长落魄文场景中，Transformer 架构的二次计较复杂度让推理速率急剧下跌，而东谈主类靠近长文档时却能半谈落发——咱们不会逐字阅读整本演义，而是对要津情节精读，对配景描摹略读。

来自清华大学、鹏城履行室与阿里巴巴改日活命履行室的联接盘考团队发现：现存任务关系的压缩轮番不仅堕入效果瓶颈——要么一次性加载全文（效果低），要么自总结冉冉压缩（速率慢），更难以兼顾"保留要津信息"与"保握当然谈话可解释性"。

受东谈主类阅读领路启发，他们建议全新框架 RAM（Read As HuMan），初次将"精读 + 略读"的混系数策引入落魄文压缩，不仅在多个长文本基准上得回超卓阐扬，更在平均 1.6 万 token 的输入上完满12 倍端到端加快。

像东谈主类相通阅读：精读进犯本色，略读配景本色

盘考团队从领路科学中罗致灵感：东谈主类阅读时会动态分拨提神力——对与假想高度关系的本色进行精读（close reading），保留一都语义细节；对次要配景信息接纳略读（skimming），快速索要中枢语义。

RAM 将这一排为编削为可计较的自恰当压缩计策：

精读区：高关系片断齐全保留原始文本，确保要津信息零失掉，保管当然谈话可解释性

略读区：低关系片断通过查询交流压缩为单个语义向量，极致削减冗余本色

羼杂默示：精读文本与略读向量按原治安拼接，真钱三公app下载变成"显式 + 隐式"羼杂落魄文，既保留要津细节又大幅缩长短度

更要津的是，RAM 突破了现存轮番的效果瓶颈：整个片断与查询并行编码，绝对阴私了全文一次性加载的二次复杂度，也开脱了自总结压缩的串行恭候，真实完满"压缩即推理"的高效活水线。

授东谈主以渔：让模子学会"何时精读、何时略读"

仅有计策不够，若何让模子精确判断"哪些本色值得精读"？RAM 引入对比学习优化方案规模：

欺诈正负样本对（含谜底片断 / 无关片断）熟谙查询 - 片断关系性判别器

通查询交流的提神力计较计较片断进犯性，动态决定段落的保留（精读）和压缩（略读）

略读经过接纳查询交流加权平均：对每个 token 计较与查询的相似度，幸运飞艇app下载聚焦索要与任务关系的语义"精华"

这种假想使 RAM 在熟谙阶段仅需单次熟谙，即可泛化至多种任务（问答、摘抄）与任性压缩比例（2x – 32x）。更令东谈主惊喜的是，尽管熟谙时最大长度仅 2 万 token，RAM 在 3.2 万 tokens 的 NarrativeQA 测试中性能反超未压缩原文，展现出高大的长度外推智商——它学会的不是系念固定方法，而是组合式语义表征。

奉行出真知：效果与性能的双重飞跃多种任务上阐扬出色

在 NaturalQuestions、HotpotQA 等四大问答基准与 MultiNews 摘抄任务上，RAM 以 LLaMA-3.1-8B 和 Qwen3-4B 为基座，在 4x/8x 压缩下均展现出优胜性能。以 Qwen3-4B 为例，4x 压缩时 EM 分数达 66.59（输入原文时 32.77），阐明压缩非但未毁伤性能，反而通以前噪进步了推理质地。