简单介绍一下大模型的数据来源

我此前在国内外的几家数据标注平台上干了一段时间，自觉对这部分比较了解。感觉吧里有时候的讨论有点缺乏事实基础，我就说说我知道的。
大模型的数据很多人说是来自网络的，实际上网络数据并不好拿，比如新闻报道，网友发言，一些人的博客等，一是数量和信息量少，二是里面偏见，逻辑错误等很多。所以很早就不再作为主要训练数据了。
ai生成的数据也是不能直接用于ai训练的，因为噪声会放大，有用ai画的图微调ai画图模型经验的人都可能体验过。现在或许有所谓数据合成的，那应该也是有专门方法的。
语言对ai训练的影响非常小，几乎所有模型都是混着各种语言的数据训练的，这从模型输出时偶尔会汉语夹杂英语，英语夹杂阿拉伯语等现象可以看出。数据标注中语言类的标注是最便宜的，只是用来学习方言，或者术语，或者习惯等。
最晚从chatgpt-4o开始，oa两家就开始了大量数据标注任务，也就是花钱买数据。分很多领域，自然科学领域最早是需要学士学位，后面学历越卡越高，需要qs前100的博士学位。具体标注方法是，首先，提出一个客观的科学问题难倒ai，然后指出ai回答中至少15条错误，或者不完整的地方，并提供依据与修改建议。最后提出好的回答需要避免的问题。这部分会引入大量的“不是...而是...”句式，和防御性的语句，为ai现在的回答风格产生了很大的影响。随后会有其它ai评价提出的问题是否真实存在，你的格式是否规范等，以及随机专人审核。专人审核是非常严格的，两次不合格会被任务开除。
可以想象，挑战ai是非常困难的，所以很多人会使用一些极其冷门，或者叫corner cases来让ai出错，这就导致有的ai训练完特别容易钻牛角尖。
此外，也有数学推理任务标注，图像识别标注，谜语标注等，总之ai的每一项能力都有对应的数据标注。这部分其实就像是从文献中偷知识，因为直接用文献训练存在版权问题，但是经过数据标注后，知识的结构更有助于训练，也避免了版权纠纷。

早期ai主要以写作为主，当时标注任务也有描述图片，描述结构，或是语言各个纬度(易读性，完整性，拟人性等)的评分项目，后面代码任务出现后，语言类的标注就少很多了。代码任务我没有参与，因为要求有计算机学位加五年以上开发经验啥的。之后有一些任务是评价ai输出的冗余度，相关性等，后来就看到模型开始讲词元效率，可能从那开始ai就不再以说人话为目标，而是以自身运行效率优先。这两方面的割裂可以解决，就是使用多个不同训练目标的模型在不同任务上。应该已经这么做了，但语言能力一直不太行，很可能就是自然语言的数据集已经不够用了。谷歌的模型这方面比较好，可能是用自己搜索引擎输入和油管评论做数据集了。

▍@真心惶惶：也就是说Claude和双子座早期在文本上这么优秀，是因为他们雇佣了大量的作者进行打标签，我还以为只需要扫进去就够了

后面从龙虾开始，厂商看到了ai控制电脑大有可为，所以也有很多专业软件的标注任务。比如我就收到了电路设计相关软件的任务邀请，可惜我不会。这种标注任务本质上是为ai写一个非常详细的说明书，告诉它点一个地方会发生什么，各个模块的位置，联系，与使用顺序等。如果没有这个训练，ai只能通过反复截屏来观察理解，有了这个工具后，ai会软件的理解使用会突飞猛进。当一个模型可以非常熟练地使用一个软件时，它是很容易教会其它ai怎么用，所以oa两家每当宣传完自家独特优势后，马上就会被追上。可能就是一个小小的skill文件的事情。

模型刷分是不可避免的。每个模型都希望有自己远远强于别的模型的点，所以不同厂商会设计不同的标注任务，比如数学物理特化任务等。现在有的标注任务甚至要求只有拿过数学奥林匹克竞赛奖的人才能参加。相应地，会有人设计出测试方法来衡量各个模型。对于顶尖的领域，设计方法的人，和实际参与标注的人，几乎是同一批人，所以信息泄露是不可避免的。
此前o家放出七百多篇数学论文，我感觉方法就是找人大量出题，穷举出ai回答似乎自圆其说的问题来。因为我自己的感受就是，最难的部分在出题，想出一个人能理解的难题并不容易。而ai完全不擅长出题挑战自己这种创造性任务。

我很好奇这些数据是怎么用于训练的。比方说给ai挑错，难道训练时是反转角色，假装这是ai在给用户挑错？

▍@抑阳流光：标注的结果是，一个输入提示词，对应一些得分点与扣分点，这样就可以给ai的回答打分了。训练是反复进行的，某次回答得分高了，就增加这次的权重，否则就降低权重。

数据标注任务给我留下的一点感触就是，世界上的知识实在是非常有限，没有人能想到别人想不到的事情，科学家也仅仅比普通人高了那么一点点。所以使用穷举，就可能把所有知识和结构列举出来。
现在大模型看起来是如此的完美，是因为许多人反复挑战它各个方面，使得它似乎变得光滑，我感觉这是非常原始的方法，但也没有新的方法出现。

我有个学长现在就在帮AI在工业软件操作上打标签他有时候会开玩笑的跟我们说现在他帮忙训练AI就是在蒸馏自己

▍@抑阳流光：是的，这就是在蒸馏自己。希望你师兄能多拿点钱。

有的人对国产模型没有信心，觉得在软件使用上和一流水平有差距。其实就是缺乏对应的训练。国内数据标注规模相对于国外还是太小了，因为这个很花钱。一个普通规模的标注任务可能需要千万美元这个量级。在软件使用方面，我觉得这其实是很亏的，因为最难的一步是人把低密度的信息传递给ai，而ai之间相互学习就容易得多。我觉得这部分应该能够很快赶上。至少比算力问题好解决。

▍@绝道在水瓶：数据倒是不担心，这领域属于磨时间磨投入，属于是西大没太大先发优势，我们也没太大成本优势，加大投入慢慢来就行。

国外有很多公司有一些比较疯狂的尝试，比如a家就有给全球各个科研单位提供免费的ai服务，因为科研单位的ai对话信息量是非常高的，这些人会反复挑战ai来确保结论成立。将来说不定会倒贴钱请科研单位用，因为这部分数据确实很难得。国内应该也可以这么搞。还有一些公司把摄像头绑在人脑袋上，实时监控人看到的现象与人的动作，将来用这些数据训练机器人。

▍@梅佑仁2098：现在谷歌就有请科学家来用，免费发放反重力额度的活动，我也去填表了（虽然觉得根本不可能过），发回来的反馈邮件说参与者是预期的好几倍，审核花的时间被迫拉长。。

这个听着怎么有些像高学历人才对ai做特化训练一样?

▍@抑阳流光：是的，就是特化训练。医生，律师，会计，甚至自媒体人，都要挑里面的高级人才来进行任务。因为一般人真的想不出能让ai出错的回答。

比较搞笑的是当时网上有很多用脑筋急转弯让ai出错的，比如去150米外洗车，开车去还是走路去。当时大多数模型都出错被嘲笑。马上就有一个puzzle项目出来，就是需要人提出类似的题，以及正确的思考方法。效果很显著，ai现在能回答出类似的脑筋急转弯了。

哇😯，虽然我不是相关工作人员就我用GPT搞科研来的经历来说好像确实是这么回事。我一般让GPT浏览实验数据进行分析和建议，但是长时间使用过程中会出现注意力偏移等问题需要用严厉点的措辞进行矫正，有时候给出的建议一直偏片面和保守，所以也需要在经过几轮对话以后强调研究的主线，并且单纯的AI建议也很容易出现逻辑漏洞或者没考虑到的地方进行批评，所以它一回复“你说的对”“是我没考虑到”“我的问题”之类的之后的对话就会好很多。对AI训练的过程是不是也是这样呢?感觉这样的话，感觉让deepseek和国内高校，科研单位等合作确实可以啊。毕竟最近OpenAI连爆那么多论文，我也希望国模能发真的更好。

▍@Godel_Rosser：如果国内的高效和科研单位以能不能给ai提供优质数据（的智能化战略意义）作为评价标准，那么国内科研体制中的人员还有足够的能力吗？就可验证性最高的数学和代码领域而言，要教会ai的话最重要的是什么能力？ 虽然我也不认为教会gpt杀穿ETH的那些原始标注会有多高门槛。数学问题天然地能够靠巨大算力来推进能力边界。

deepseek用的是合成语料吗 这个可以说说吗，如果训练集是穷举 那怎么做平衡呢

▍@抑阳流光：deepseek这个我不清楚，我觉得它们有什么合成方法，不然效果不会这么好。也有可能它有很多用户，用户对话是可以用于训练的

这些是后训练吧，人类强化训练？数据集标标注不是在训练前吗

▍@抑阳流光：这是训练前的数据集创建。虽然包含人类对ai模型的反馈，但是此处作答的模型不是接下来要被训练的模型，只是为了验证“这个问题是不是此前模型能力外的”

好贴！

难怪「不是A而是B」到处都是，原来是标注任务里带出来的。这个锅总算找到主了。

▍@xy丶千千晚星：不是…而是…， 排除一个错误答案同时得到一个正确答案，在 ai 训练中得分更高

有意思。那算力大小在这期间的影响是？

▍@抑阳流光：一方面，算力多就能多训练，因为训练就像抽卡，说不定什么超参数设置就能炼出特别好的模型。另一方面，算力多可以训练超大参数模型。

拿边角题逼它出错，钻牛角尖就有出处了。

学到了

Zcode偷数据是不是为了这个

▍@薄切子：跟ai交流过程中逐步解决问题的过程，也就是git的仓库，简直就是天生的训练语料，而且很多都是不公开的数据，Z/最近没什么动静我都怀疑是被爆出来了没办法继续偷训练数据了

顶

依旧数据标注

值得指出的是，如果要纠正一个人或模型的错误，不是而是很好用，但是模型面对的不止是纠错等任务，更多的是正常对话和coding任务

这样不够快，不够大量，搞不好最后数据成为模型 scaling 的瓶颈了。毕竟专家是有限的。假设存在 RSI 奇点，那么后期用模型来标注是可行的。假设不存在的话，采用利用大模型的专家。

▍@抑阳流光：现在都说不准当前这样训练的上限在哪。有可能已经很接近上限了，新的模型只是更多的场景特化。

标注数据和网络大数据对应不同的训练阶段，两者不矛盾，基座模型只是个语言续写模型，不用标注，后续加入各种技能确实是靠指标注数据来指令对齐

▍@eccarrot：另外语言肯定也是有影响的，国模首先训练集中文占比就不一样，关系到训练效率，只是现在大家都卷任务去了，也没太多人长期多语言混用，对语言的差异没什么直观感受

那未来的目标是让AI自己给自己提问题吗？

我此前在国内外的几家数据标注平台上干了一段时间，自觉对这部分比较了解。感觉吧里有时候的讨论有点缺乏事实基础，我就说说我知道的。
大模型的数据很多人说是来自网络的，实际上网络数据并不好拿，比如新闻报道，网友发言，一些人的博客等，一是数量和信息量少，二是里面偏见，逻辑错误等很多。所以很早就不再作为主要训练数据了。
ai生成的数据也是不能直接用于ai训练的，因为噪声会放大，有用ai画的图微调ai画图模型经验的人都可能体验过。现在或许有所谓数据合成的，那应该也是有专门方法的。
语言对ai训练的影响非常小，几乎所有模型都是混着各种语言的数据训练的，这从模型输出时偶尔会汉语夹杂英语，英语夹杂阿拉伯语等现象可以看出。数据标注中语言类的标注是最便宜的，只是用来学习方言，或者术语，或者习惯等。
最晚从chatgpt-4o开始，oa两家就开始了大量数据标注任务，也就是花钱买数据。分很多领域，自然科学领域最早是需要学士学位，后面学历越卡越高，需要qs前100的博士学位。具体标注方法是，首先，提出一个客观的科学问题难倒ai，然后指出ai回答中至少15条错误，或者不完整的地方，并提供依据与修改建议。最后提出好的回答需要避免的问题。这部分会引入大量的“不是...而是...”句式，和防御性的语句，为ai现在的回答风格产生了很大的影响。随后会有其它ai评价提出的问题是否真实存在，你的格式是否规范等，以及随机专人审核。专人审核是非常严格的，两次不合格会被任务开除。
可以想象，挑战ai是非常困难的，所以很多人会使用一些极其冷门，或者叫corner cases来让ai出错，这就导致有的ai训练完特别容易钻牛角尖。
此外，也有数学推理任务标注，图像识别标注，谜语标注等，总之ai的每一项能力都有对应的数据标注。这部分其实就像是从文献中偷知识，因为直接用文献训练存在版权问题，但是经过数据标注后，知识的结构更有助于训练，也避免了版权纠纷。

早期ai主要以写作为主，当时标注任务也有描述图片，描述结构，或是语言各个纬度(易读性，完整性，拟人性等)的评分项目，后面代码任务出现后，语言类的标注就少很多了。代码任务我没有参与，因为要求有计算机学位加五年以上开发经验啥的。之后有一些任务是评价ai输出的冗余度，相关性等，后来就看到模型开始讲词元效率，可能从那开始ai就不再以说人话为目标，而是以自身运行效率优先。这两方面的割裂可以解决，就是使用多个不同训练目标的模型在不同任务上。应该已经这么做了，但语言能力一直不太行，很可能就是自然语言的数据集已经不够用了。谷歌的模型这方面比较好，可能是用自己搜索引擎输入和油管评论做数据集了。

▍@真心惶惶：也就是说Claude和双子座早期在文本上这么优秀，是因为他们雇佣了大量的作者进行打标签，我还以为只需要扫进去就够了

后面从龙虾开始，厂商看到了ai控制电脑大有可为，所以也有很多专业软件的标注任务。比如我就收到了电路设计相关软件的任务邀请，可惜我不会。这种标注任务本质上是为ai写一个非常详细的说明书，告诉它点一个地方会发生什么，各个模块的位置，联系，与使用顺序等。如果没有这个训练，ai只能通过反复截屏来观察理解，有了这个工具后，ai会软件的理解使用会突飞猛进。当一个模型可以非常熟练地使用一个软件时，它是很容易教会其它ai怎么用，所以oa两家每当宣传完自家独特优势后，马上就会被追上。可能就是一个小小的skill文件的事情。

模型刷分是不可避免的。每个模型都希望有自己远远强于别的模型的点，所以不同厂商会设计不同的标注任务，比如数学物理特化任务等。现在有的标注任务甚至要求只有拿过数学奥林匹克竞赛奖的人才能参加。相应地，会有人设计出测试方法来衡量各个模型。对于顶尖的领域，设计方法的人，和实际参与标注的人，几乎是同一批人，所以信息泄露是不可避免的。
此前o家放出七百多篇数学论文，我感觉方法就是找人大量出题，穷举出ai回答似乎自圆其说的问题来。因为我自己的感受就是，最难的部分在出题，想出一个人能理解的难题并不容易。而ai完全不擅长出题挑战自己这种创造性任务。

我很好奇这些数据是怎么用于训练的。比方说给ai挑错，难道训练时是反转角色，假装这是ai在给用户挑错？

▍@抑阳流光：标注的结果是，一个输入提示词，对应一些得分点与扣分点，这样就可以给ai的回答打分了。训练是反复进行的，某次回答得分高了，就增加这次的权重，否则就降低权重。

数据标注任务给我留下的一点感触就是，世界上的知识实在是非常有限，没有人能想到别人想不到的事情，科学家也仅仅比普通人高了那么一点点。所以使用穷举，就可能把所有知识和结构列举出来。
现在大模型看起来是如此的完美，是因为许多人反复挑战它各个方面，使得它似乎变得光滑，我感觉这是非常原始的方法，但也没有新的方法出现。

我有个学长现在就在帮AI在工业软件操作上打标签他有时候会开玩笑的跟我们说现在他帮忙训练AI就是在蒸馏自己

▍@抑阳流光：是的，这就是在蒸馏自己。希望你师兄能多拿点钱。

有的人对国产模型没有信心，觉得在软件使用上和一流水平有差距。其实就是缺乏对应的训练。国内数据标注规模相对于国外还是太小了，因为这个很花钱。一个普通规模的标注任务可能需要千万美元这个量级。在软件使用方面，我觉得这其实是很亏的，因为最难的一步是人把低密度的信息传递给ai，而ai之间相互学习就容易得多。我觉得这部分应该能够很快赶上。至少比算力问题好解决。

▍@绝道在水瓶：数据倒是不担心，这领域属于磨时间磨投入，属于是西大没太大先发优势，我们也没太大成本优势，加大投入慢慢来就行。

国外有很多公司有一些比较疯狂的尝试，比如a家就有给全球各个科研单位提供免费的ai服务，因为科研单位的ai对话信息量是非常高的，这些人会反复挑战ai来确保结论成立。将来说不定会倒贴钱请科研单位用，因为这部分数据确实很难得。国内应该也可以这么搞。还有一些公司把摄像头绑在人脑袋上，实时监控人看到的现象与人的动作，将来用这些数据训练机器人。

▍@梅佑仁2098：现在谷歌就有请科学家来用，免费发放反重力额度的活动，我也去填表了（虽然觉得根本不可能过），发回来的反馈邮件说参与者是预期的好几倍，审核花的时间被迫拉长。。

这个听着怎么有些像高学历人才对ai做特化训练一样?

▍@抑阳流光：是的，就是特化训练。医生，律师，会计，甚至自媒体人，都要挑里面的高级人才来进行任务。因为一般人真的想不出能让ai出错的回答。

比较搞笑的是当时网上有很多用脑筋急转弯让ai出错的，比如去150米外洗车，开车去还是走路去。当时大多数模型都出错被嘲笑。马上就有一个puzzle项目出来，就是需要人提出类似的题，以及正确的思考方法。效果很显著，ai现在能回答出类似的脑筋急转弯了。

哇😯，虽然我不是相关工作人员就我用GPT搞科研来的经历来说好像确实是这么回事。我一般让GPT浏览实验数据进行分析和建议，但是长时间使用过程中会出现注意力偏移等问题需要用严厉点的措辞进行矫正，有时候给出的建议一直偏片面和保守，所以也需要在经过几轮对话以后强调研究的主线，并且单纯的AI建议也很容易出现逻辑漏洞或者没考虑到的地方进行批评，所以它一回复“你说的对”“是我没考虑到”“我的问题”之类的之后的对话就会好很多。对AI训练的过程是不是也是这样呢?感觉这样的话，感觉让deepseek和国内高校，科研单位等合作确实可以啊。毕竟最近OpenAI连爆那么多论文，我也希望国模能发真的更好。

▍@Godel_Rosser：如果国内的高效和科研单位以能不能给ai提供优质数据（的智能化战略意义）作为评价标准，那么国内科研体制中的人员还有足够的能力吗？就可验证性最高的数学和代码领域而言，要教会ai的话最重要的是什么能力？ 虽然我也不认为教会gpt杀穿ETH的那些原始标注会有多高门槛。数学问题天然地能够靠巨大算力来推进能力边界。

deepseek用的是合成语料吗 这个可以说说吗，如果训练集是穷举 那怎么做平衡呢

▍@抑阳流光：deepseek这个我不清楚，我觉得它们有什么合成方法，不然效果不会这么好。也有可能它有很多用户，用户对话是可以用于训练的

这些是后训练吧，人类强化训练？数据集标标注不是在训练前吗

▍@抑阳流光：这是训练前的数据集创建。虽然包含人类对ai模型的反馈，但是此处作答的模型不是接下来要被训练的模型，只是为了验证“这个问题是不是此前模型能力外的”

好贴！

难怪「不是A而是B」到处都是，原来是标注任务里带出来的。这个锅总算找到主了。

▍@xy丶千千晚星：不是…而是…， 排除一个错误答案同时得到一个正确答案，在 ai 训练中得分更高

有意思。那算力大小在这期间的影响是？

▍@抑阳流光：一方面，算力多就能多训练，因为训练就像抽卡，说不定什么超参数设置就能炼出特别好的模型。另一方面，算力多可以训练超大参数模型。

拿边角题逼它出错，钻牛角尖就有出处了。

学到了

Zcode偷数据是不是为了这个

▍@薄切子：跟ai交流过程中逐步解决问题的过程，也就是git的仓库，简直就是天生的训练语料，而且很多都是不公开的数据，Z/最近没什么动静我都怀疑是被爆出来了没办法继续偷训练数据了

ai左脚踩右脚升天最重要的技术，可能是训练阶段注入的算力硬件生产技术体系的知识。如果这也依赖于极少数专家的话，未来的局势会怎么样？等等我拿你的信息当上文喂给ai试试。
另外人类的专家名号对ai来说很快就要不够用了。有些“学科体系”本来就充满各种偶然构造和缺陷。也许知识的获取和验证能力才是关键。我一直在研究什么样的提示词能够让ai把足够大量的token花在检索和权威性验证上。

顶

依旧数据标注

值得指出的是，如果要纠正一个人或模型的错误，不是而是很好用，但是模型面对的不止是纠错等任务，更多的是正常对话和coding任务