天生式人工智能技能不断发展，演习数据来源成为人们最关注的问题之一。
去年11月，国家数据局等17部门联合印发的《“数据要素×”三年行动操持（2024—2026年）》提到，要提升数据供给水平、培植高质量语料库和根本科学数据库。
近日， 第七届数字中国培植峰会首发研究成果新闻发布会在福州举行。会议现场发布了多份由数字中国研究院（福建）、同济大学、阿里、高德等单位联合体例的多本数据要素行业白皮书。个中，《大模型演习数据白皮书》（以下简称“《白皮书》”）剖析了当前大模型研发面临的标准制订、质量评估、总量不敷等问题，并考试测验提出建议。
“我们期望通过推动数据要素市场培植办理大模型研发面临的数据瓶颈，继而发挥大模型对付数据的处理和剖析能力，创造更大的生产力。”数字中国研究院（福建）副院长邬群勇在发布会现场指出。
高质量数据难题待解
在天生式人工智能时期，大模型表现与演习数据质量息息相关。高质量数据模型演习和运用过程中有着不可替代的主要性。
高质量数据并非用之不竭的资源。一项来自EpochAlResearch团队的研究就表明，高质量的措辞数据存量将在2026年耗尽。
要解困，首先须要明白什么是高质量数据。
由于技能更迭节奏、家当发展速率都很快，人们对大模型表现和功能的预期也在不断变革。《白皮书》指出，当前数据质量高低的剖断标准紧张取决于模型的运用目的，数据类型会根据模型的发展阶段“因时而动”、根据技能职员的理解判断“因人而异”、根据模型的演习效果“因效而定”。
因此，对质量的比较只能在同类型语估中展开。《白皮书》指出，这类比较每每须要从质量、规模、多样性三个维度出发。
质量方面，被视为“高质量”常日是由于其信息已经通过了有用性或质量筛选。比如新闻、论文数据等会经由专业标准筛选，社交媒体上的内容则可能由用户互动积极性筛选。如果不愿定来源，则可以通过少量样本人工评价判断其可读性、帮助性、安全性等指标的质量。
数据规模算是比较旧调重弹的问题。在Scaling laws（规模法则，也称标度律）还相称有说服力确当下，当模型的参数或打算量按比例扩大时，模型性能也与之成比例提升。“不纯挚是语料规模越大越好，而是高信息密度的语料规模越大越好。”《白皮书》中进一步提示。
同类型语估中的多样性也是值得关注的问题。《白皮书》认为，担保多样性将有效减小模型可能表现出的偏见或系统性不平等。
判断标准确定，“数据从哪来”是下一步要面对的问题。
“首先是数据开放程度有待进一步加强。虽然数据开放共享的理念得到推广，但实际可用的开放数据与市场需求仍旧存在较大缺口。”邬群勇在接管21世纪经济宣布采访时指出，虽然一些公共平台开放了数据获取的API，但其数据做事伴随严格的限定，比如限定访问量，附加收费等。
此外，受限于代价评估、质量判断等配套规则、标准并未完善，数据代价被确认，进而走向流利利用之路也面临一定寻衅。
针对高质量数据供给难题，现行方案侧重于进一步构建行之有效的数据开放机制，鼓励行业数据、公共数据等充分流转运用。
合成数据或成新路径
事实上，建立数据开放机制，在演习过程中引入合成数据或许也是一条“开源”的路径。
合成数据是通过算法和数学模型创建的数据。通过建模真实数据的分布，然后在该分布上进行采样，创建出新数据集，能够让合成数据仿照出真实数据中的统计模式和关系。在大模型演习中，合成数据能够发挥补充或替代真实数据的浸染。
据媒体宣布，OpenAI、Anthropic、DeepMind等公司都曾表态将探索在演习中引入合成数据的可能性。《白皮书》也提到，OpenAI的Sora就用到了大量由游戏引擎合成的视频数据作为演习集。
《白皮书》认为，合成数据办理了部分类型的真实天下数据难以不雅观测的问题，拓展了演习数据的多样性。比如，一些“边缘情形”（如极度景象、罕见病）或者真实天下中的“潜在隐患”（如金融诱骗等安全风险）数据的天生可以填补因样本分布不屈衡导致的客不雅观限定。
邬群勇认为，合成数据可以提高模型演习的效率。一方面，合成数据可以根据特定的需求进行设计，比真实数据集更广泛，可确保知足特定的数据质量标准。另一方面，这类数据可以快速天生，险些不须要人类标注，且不须要进行繁琐的数据洗濯和预处理事情，可提高数据获取效率。
合成数据天生过程可能存在偏差或噪声，有不雅观点认为数据的质量和真实性无法完备仿照客不雅观天下。但在邬群勇看来，部分噪声数据对模型演习来说是必需的，有助于提高模型的鲁棒性。
对付饱受质疑的隐私安全顾虑，《白皮书》提到，合成数据可以替代个人特色数据，有助于用户隐私保护，办理数据获取合规性的问题。当前，类似 “猜你喜好”功能的实现每每须要大量用户数据的参与。大模型理解力逐渐提高确当下，一方面，可以用合成数据替代用户数据演习模型；另一方面，用户的需求也可以通过与模型的自然措辞互换被系统理解。“全体过程在提升推举匹配度的同时，还可以降落推举模型对个人特色数据的依赖。”《白皮书》指出。
在可及的未来，合成数据将有望在几大场景发挥浸染。
首先，合成数据可运用于多模态数据的天生。利用仿照器天生的多模态场景数据还广泛运用于具身智能机器人、自动驾驶、AIforScience等场景的演习。
其次是高代价领域知识的天生。合成数据能通过对现有数据的深加工，将之前不能被用于演习的数据转化为可用。例如工业制造领域，利用合成数据，可以把生产、制造等工艺流程干系的原始数据，结合行业知识图谱，转化为可供大模型学习的工业语料，以缓解行业语料短缺的问题。
据咨询公司Gartner预测，到2030年，合成数据将彻底取代真实数据，成为AI模型所利用的数据的紧张来源。美国AI研究机构Cognilytica数据显示，2021年合成数据市场规模大概在1.1亿美元，到2027年将达到11.5亿美元。
更多内容请下载21财经APP