文章摘要
【关 键 词】 AI盛会、开源数据、大模型、数据集、行业应用
北京智源大会作为一年一度的AI行业盛会，汇聚了众多AI领域的顶尖学者和产业专家。本次大会的亮点之一是开源数据的讨论和贡献，智源研究院在推动全球大模型开源生态方面发挥了重要作用。
开源数据对于大模型的发展至关重要。OpenAI在2020年提出的Scaling Law揭示了模型规模、训练数据和模型效果的关系，表明大量计算资源和数据投入可以显著提升模型性能。目前，几乎所有大模型公司都在沿着Scaling Law的路线演进。然而，随着模型参数的不断增长，对数据量的需求也在增加，未来可能面临“数据荒”的问题。
为应对这一挑战，智源研究院在数据领域采取了多项措施。首先，智源推出了全球最大语料库WuDaoCorpora，开放了200GB的高质量低风险中文语料，支持全球大模型研究。此外，智源还开源了可商用的指令数据集COIG、中英文文本对语义向量模型训练数据集MTP，以及高质量中文互联网语料库CCI 1.0等多个项目。
在行业应用中，大模型面临的最大挑战之一是缺乏海量、高质量的行业特定数据集。IndustryCorpus 1.0作为目前全球最大的多行业中英双语数据集，包含3.4TB的开源行业预训练数据，覆盖了18个行业类别。通过使用医疗行业数据集进行示范模型训练，智源展示了该数据集在提升模型行业能力方面的有效性。
智源研究院副院长林咏华在接受采访时表示，开源数据对于大模型数据生态至关重要。他指出，如果没有Common Crawl等开源数据集，大模型的发展可能会延后。此外，林咏华还提到了中文数据面临的挑战，包括数据孤岛问题和版权问题。他认为，需要通过技术手段和合作来解决这些问题，推动中文数据的汇聚和流动。
在数据交易方面，林咏华认为，随着大模型的兴起，数据交易所上的挂牌交易可能会逐渐增多。但他同时指出，大模型预训练数据的质量参差不齐，采购方很难过滤每一条数据的质量，这也是目前数据交易面临的挑战之一。
展望未来，智源研究院将继续在数据领域进行布局，包括开源更多高质量的文本和多模态数据，以及挖掘垂类数据，以支持大模型在行业的落地和应用。通过不断扩大和优化开源数据集，智源研究院致力于推动人工智能技术的创新和发展。
原文和模型
【原文链接】 阅读原文 [ 5142字 | 21分钟 ]
【原文作者】 硅星人Pro
【摘要模型】 moonshot-v1-32k
【摘要评分】 ★★★★★
相关文章
