HyperAIHyperAI

Command Palette

Search for a command to run...

Extract-0:用于文档信息提取的专用语言模型

Henrique Godoy

Abstract

本文提出了一种名为Extract-0的70亿参数语言模型,该模型专为文档信息抽取任务进行优化,其性能超越了参数量大几个数量级的诸多模型。通过将合成数据生成、基于低秩适配(LoRA)的监督微调以及基于组相对策略优化(GRPO)的强化学习相结合的创新方法,Extract-0在包含1000个多样化文档抽取任务的基准测试中取得了0.573的平均奖励得分,优于GPT-4.1(0.457)、o3(0.464)和GPT-4.1-2025(0.459)。训练方法采用了一种具有记忆保持特性的合成数据生成流程,从多种文档来源生成了280,128个训练样本,随后进行参数高效的微调,仅调整模型权重的0.53%(即76.6亿参数中的4040万参数)。强化学习阶段引入了一种基于语义相似性的新型奖励函数,有效应对信息抽取任务中固有的歧义性问题。本研究证明,针对特定任务的优化能够使模型在显著降低计算资源消耗的前提下,超越通用型系统。


Build AI with AI

From idea to launch — accelerate your AI development with free AI co-coding, out-of-the-box environment and best price of GPUs.

AI Co-coding
Ready-to-use GPUs
Best Pricing

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供