🌦️拉萨小雨8~17℃北京 9/-2℃上海 17/6℃广州 26/14℃深圳 26/14℃杭州 19/7℃成都 18/9℃全国天气 »登录
首页 / 人工智能 / 正文

大模型的数据生意:人类如何蒸馏自己

腾讯网 2026-11-06 00:00 21 阅读 5421 字

晚点LatePost

2026-11-06 07:30 发布于 北京 晚点LatePost官方账号

蒸完人类上下几千年的数据之后,大模型开始 “蒸人”。

编辑丨高洪浩 黄俊杰

成都中和与天津侯台都是城郊结合处的老村镇。一群人在这里为大型互联网公司训练大模型,大多月薪不足 1 万元。

他们每天从阅读大模型生成的答案开始:核对事实,检查有没有答非所问,打分、比较优劣,有时还要亲手写一份示范。做完一条,再看下一条。模型要学的任务,从财务分析、修改程序,扩展到生物制药、芯片设计,人也得为这些任务准备示范和评分标准。

这些重复、琐碎的工作,构成了今天大模型训练中最重要的一环——数据生产。

“这家公司最大的创新就是数据。” 一位负责数据评测的人士这样评价 Anthropic。2025 年,当网上现成的文本越来越难满足训练需求,Anthropic 开始从人类的实际工作中收集数据:律师接到合同,先查哪些法规,修改哪些条款,改完如何复核——把过程记录下来,整理成训练数据,让模型学习。

中国模型公司在 2026 年初开始行动。腾讯混元负责人姚顺雨直接管理混元数据团队;阿里将千问的数据团队交给集团合伙人委员会成员范禹;字节在年中将 Seed 旗下 Global Data 团队升级为 AI 数据与安全部门,与 Seed 平行,服务所有大模型团队。

金融、法律、医疗,乃至核物理,模型公司很难只靠内部员工生产这些领域的数据。需求撑起了百亿美元级的公司:2025 年,《福布斯》估算 Surge AI 价值约 240 亿美元;同年 10 月,Mercor 融资估值达到 100 亿美元。有的创业公司只有两三个人,专为一个行业搭建 强化学习 环境,Anthropic 一单就能包下它们一整年的产能。

2026 年初以来,中国也出现了数十家数据供应商。UniPat 估值已达 30 亿美元。教授、科学家、投行和律所的从业者,开始兼职出题、写答案、演示操作、评价模型。参加出题的人,被戏称为 “人奸” 或 “碳奸”。

史无前例的自我 “ 蒸馏 ” 开始了。

2026 年上半年,一家提供大模型 API 调用服务的创业公司,与一家头部云厂商谈合作。创业者想拿到更便宜的价格,对方答应了,条件是获得用户使用模型时产生的数据。

创业者算了一笔账:即使给每名用户免费提供价值 100 元的调用额度,只要能积累足够多的高质量数据,再卖给模型公司,仍然划算。同一时间,一家头部 AI 数据公司也向他发出了收购要约。

用户完成任务时留下的操作轨迹,成为模型训练最受重视的数据之一。一位互联网公司数据团队人士说,目前最迫切的需求是编程和工作两类。

编程数据有两种用途:练习评测集中的题目,在排行榜上拿高分;或学习实际任务,比如开发游戏、搭建 3D 模型。据我们了解,需求最旺盛时,一些模型厂每天在编程数据上的投入可以超过 1000 万美元。

工作数据则要还原办公过程:从文件里找资料、读懂邮件中的要求和期限,再往表格里填数字、编辑文档、查询网页和数据库、调用工具。一位数据服务商创始人说,金融和法律行业的经济价值高,大量任务在线上完成、以 Office 文件交付,是比较理想的训练环境。

“我们参照真实数据,用大模型模拟了一份示例,包括任务、环境、操作过程和评分标准,不是任何公司的真实交付。示例中的题目共修改了 3 版。”

假设模型要学做杠杆收购测算表,帮助基金判断一笔收购划不划算、该出多少钱、如何借钱和还钱,准备数据就不只是找一张做好的表。

请投资并购专家提供完整的测算表、投资报告,以及当时用到的资料:收购双方的信息、被收购公司的经营数据、行业报告、借款条件和收购条款。以饮料公司为例,经营数据包括利润、经销商返利、销量、原料成本等。

专家要还原制作过程:读邮件,确认收购价格和回报要求;查经营资料,核对利润和返利支出;根据销量、原料价格估算收入与成本;把数字填进表格,计算借款、利息和还本金额;调整价格和经营预期,比较投资回报,最后提出建议。每一步都要说明查了什么、做了什么、为什么这样做。

专家还得写一份评分清单:哪些环节必须做好,哪些只是加分项,哪些错误会让整份作业不合格。

再请另一位专家复核,让模型试做:两位专家按同一清单评分,结果应基本一致,否则就要改标准;模型轻易拿满分的题,也会被筛掉。

任务邮件、原始资料、参考测算表和报告、操作记录、评分清单,共同构成一条训练数据。

难的是还原真实工作。一位数据服务商说,报告往往边写边改,中途会有新材料、新要求。有些修改依据留在邮件和聊天记录里,有些只是专家凭经验作出的判断,没有记录。

拿最终报告给模型出题,得先还原当时的材料和要求。信息不全,模型做不出,未必是能力不够;把信息一次给齐,它又学不到如何应对变化。

“越贴近真实工作、没有唯一答案的任务,数据需求越大。” 前述服务商说,同样的材料,不同的人会写出不同的分析,模型还不擅长处理这类任务。数学、物理等有标准答案的数据仍用于探索能力上限,但 “收不了太多钱”。

一条人工数据售价从几百元到上万元不等,一批通常至少 1000 条。海外报价的数字相近,单位则换成美元。

任务越复杂,价格越高。一份投资机构的完整尽调案例,包括投资意见底稿、财务模型和被投公司经营数据,报价可达 5 万元。核物理、芯片设计等小众领域的数据更稀缺,市面上一出现就会被抢走。

一位接近月之暗面的人士说,公司训练 K3 时,在海外买了一批用于芯片设计的电子设计自动化(EDA)数据,“价格在数百万美元左右”。K3 技术报告也展示了相关探索,但官方将其定位为早期概念验证,披露的是仿真结果。

早期的数据生产没这么专业。字节刚训练大模型时,从内容审核团队抽人,还付钱请正式员工下班后写数据,内部戏称为 “众包”。

一位 Seed 后训练 团队人士说,员工为 AI 陪伴产品猫箱编写对话,用户说一句、模型回复一次算一轮。一条长数据有 100-200 轮,审核通过后报酬基本能上千元。参与者有编剧、文学创作者,也有审核和编辑人员。“有的人一个月就能拿上万元。”

如今,字节通过 Xpert 平台招募专家,Seed STEM 科学家计划邀请了 100 位前沿科学领域的学者。数据创业公司也搭起平台,请各行业的人把工作经验做成数据。

Mercor 曾花费超过 50 万美元,请金融、法律、医疗和管理咨询等领域的专业人士制作 200 道任务,平均每道开发成本超过 2500 美元。出题者有人曾在 高盛 、 摩根大通 和麦肯锡工作。Surge AI 则有超过 400 人的专家顾问团。

中国专家数据平台 Humanlaya 聚集了约 300 个行业和学科的超过 10 万名专家,2026 年获得高瓴、红杉中国、今日资本等机构投资,估值接近 10 亿美元。

一位在 AI 数据平台兼职的法律行业人士说,她每月交付约 40 条数据,拿到 2 万多元,平均每条约 600 元。第一次做一条花了 75 分钟,熟悉后约半小时。

专家的头衔不等于数据质量。许多教授不亲自做实验,难以还原硕士生、博士生的一线操作。平台因此雇用既懂行业又懂算法的全职员工,检查数据,并挑出可以重复使用的出题方法。10 位专家交来的方案,如果有 5 种能换材料、换条件继续出题,就安排算法人员扩成 50 条、500 条。

有的公司更依赖自己合成数据。UniPat 超过半数员工是大模型研究员,公司自己做模型、开发 评测基准 ,也与大厂联合研究,借此预判需求,提前生产数据。

数据能批量生产,也会很快过时。一家大厂订购教模型修复代码错误的数据,还没交付,模型已经从其他数据学会了;任务执行系统更新,也可能让修复代码变得更容易。这批数据就不值原来的价钱了。

不过,总有人接手。一位供应商说,除大厂和头部创业公司,小红书、米哈游、京东、九坤、蚂蚁等也有需求。各家进度不同,别家用过的数据,起步晚的团队可能还用得上。

还有一些交易不在明面上。创业公司攒下一批模型厂商账号,转卖 API 调用服务,再出售调用产生的数据。另一些公司从模型公司内部人员手里买数据,转卖给同行;经手人可能在算法、工程、基础设施或采购岗位。部分交易靠回扣维系,单笔合同数百万元乃至上千万元,内部人员从中分成。

“每天就像是在捡钱。” 一位数据供应商说。

模型公司很难全靠自己生产数据。

一位月之暗面研究员说,编程任务分修复错误、开发功能、编写测试、重构代码、优化性能等方向。先做什么、怎样搭环境和验证结果,团队起初没经验,人手又少,“很多数据其实都是实习生自己拍脑袋做的,很粗糙”。

公司开发编程命令行产品时,也想先让同事使用、积累反馈,但内部真正用得上的不足 50 人。即使开放给付费用户,高质量样本也未必多。一位大厂办公 Agent 产品经理说,产品用的模型不是最顶级的,用户任务也不一定复杂,“有的时候,几万条里才可能用到几条”。涉及工作文件和隐私,数据使用也更谨慎。

靠招人补齐能力同样困难。外部出现更强模型,团队就倾向于用其输出训练自己的模型,减少人工数据生产;蒸馏难以继续带来提升,人工需求又会上升。

一位独立模型厂人士测算,高峰期可能需要 6000 人生产数据,低谷期连 2000 人都用不上。总共只有几百人的模型公司,不可能长期养着这样一支团队。

外部供应商愿意一份数据卖多家。但大厂则普遍愿意支付 3-4 倍溢价,永久买断或限时独占。今天合格的训练数据,半年后可能只剩一成有用。等竞争对手能买到,价值已经不同了。

预算之外,买家还得知道自己需要什么。

蚂蚁买金融数据时,会把一个投研报告类需求拆成上百个案例、十多个子类,写清每类多少篇、案例什么样。“做蚂蚁的项目很多时候是亏钱的。” 一位服务商说,细致的要求增加了交付难度。

验收先看合规,再看质量。比如字节明确禁止蒸馏和使用非法 API。买家通常逐条读样本,检查结论是否深入、输入文件是否有错、有没有空白文档。一家模型公司的一号位曾问供应商:“文件格式名里多了一个空格,prompt 里没写这个空格,训给模型会不会有问题?”

另一个办法是拿去训练,看评测能否涨分。不涨,通常就不会继续采购。

月之暗面拒绝过 Surge AI 提出的深度独家合作。知情人士说,他们认为供应商规模大了,交付会更多集中于通用任务,很难持续提供细分、长尾数据。

“拒绝的前提是知道自己要什么、对数据有足够高的敏感度和品味。差距也从这里拉开。” 一位数据供应商说。

在 DeepSeek,绝大多数员工从事数据相关工作。“梁文峰偶尔也会参与数据标记。” 一位 DeepSeek 人士说。姚顺雨接手混元后,重新清洗已有数据、迭代基础设施,让混元 3 Preview 明显超越前代;正式版再优化后训练数据、扩大强化学习规模,能力又有提升。

但做数据的人,收入不一定跟着模型能力涨。一位头部互联网公司的研究员说,公司一支团队做了 1 万条数据,训练效果很好。很多参与者月薪只有 8000-9000 元,按 18 薪算,一年不到 20 万元。同一公司的算法人员,年薪包则在 1000 万元左右。效果上去了,奖励主要给算法团队;数据做得好坏,员工到手的钱差别不大。

履历耀眼的算法研究员,如今也把大量时间花在清理样本、调整数据配比、编写评分规则上。

这与他们入行时的期待不同。大语言模型刚兴起时,他们追逐的是新算法、新架构。2024 年 9 月 OpenAI 发布 o1,2025 年 1 月 DeepSeek 发布 R1,强化学习让模型在反复尝试中,根据得分调整解题方式。数学有答案,编程能测试,研究员期待模型从中学到推理,再用到其他领域。

但会写报告、回客户邮件的好坏评判不像解题、编程这么容易。模型还可能为拿奖励而 “钻空子”:编造看似合理的过程,骗过负责评分的模型。研究员只好回来改数据、改评分规则、补漏洞。

竞争还压缩了他们的时间。最近一年,多个公司的后训练团队往往每一两个月就要发一个版本,研究员从早上 10 点半工作到深夜,休假也带着电脑。

“本质上大家在技术路径、数据处理和质量上都拉不开代差,就看谁先发出来。” 一位后训练研究员说,“很多事拖个两三个月,做出来也没了意义。”

为了赶上进度,他们指挥模型批量收集、修改数据,让更强的模型检查结果,自己盯着过程、处理问题。模型越强,能接手的步骤越多,下一轮训练也能更快开始。

2026 年,OpenAI 在一篇介绍内部研发变化的文章里说,编程 Agent 已深度参与研究员的日常:写实验代码、跑测试、排查基础设施故障。

Anthropic 也披露了类似的工作状态:一次常规升级导致数万个训练任务崩溃。工程师把故障信息和集群访问权限交给 Claude。模型逐项测试环境设置,找出引发故障的调试开关,复现问题并验证修复。公司称,这项通常需要人做两三天的工作,模型用了约 2 小时。一位工程师形容,工作就是 “面对一群 Claude,每一个都在争夺他的注意力。”

研究员把各行业专家的知识、经验和判断做成数据,训练模型接手他们的工作。现在,模型要学的,也包括研究员每天正在做的事。

当前文章地址:https://www.hnzqwl.cn/item/wire/81845.php

↑