百川发布超千亿大模型 Baichuan 3：多项中文任务评测超 GPT-4、中文医疗任务最佳大模型

1,388 0 0

作者信息

【原文作者】 Founder Park
【作者简介】 来自极客公园，专注与科技创业者聊「真问题」。
【微信号】 Founder-Park

文章摘要

【关键词】 百川智能、Baichuan 3、超千亿参数、医疗能力、迭代式强化

百川智能发布了其超千亿参数的大模型Baichuan 3，该模型在多个通用能力测试中表现出色，特别是在中文任务上超越了GPT-4。Baichuan 3在医疗领域的权威评测中也显示出了卓越的中文效果，超过了GPT-4，成为中文医疗任务中表现最佳的大模型。此外，Baichuan 3采用了迭代式强化学习技术，进一步提升了语义理解和生成能力，在诗词创作等方面的表现也优于其他大模型。

在基础能力方面，Baichuan 3在英文评测中接近GPT-4水平，在多个中文评测中超越GPT-4，显示出其在中文任务上的优势。百川智能为了解决超千亿参数模型在训练过程中的挑战，提出了多种创新技术，如动态数据选择、重要度保持和异步CheckPoint存储等，有效提升了模型的各项能力。

在医疗数据集方面，Baichuan 3构建了超过千亿Token的医疗数据集，涵盖了广泛的医学知识。模型在医疗领域的全能特性，如多模态学习、深层推理、稳定性能和知识更新能力等，都得到了充分的发挥。Baichuan 3在医疗领域的任务效果显著提升，在多个中英文医疗测试中的成绩提升了2到14个百分点。

在技术突破方面，百川智能通过迭代式强化学习技术，大幅提升了Baichuan 3的语义理解和生成创作能力。特别是在诗词创作方面，Baichuan 3的表现远超GPT-4，能够创作出格式、韵律、表意都优秀的作品。

总的来说，Baichuan 3的发布标志着百川智能在大模型领域的一个新里程碑，其在通用中文任务和医疗领域的强大表现，将为百川智能在各种复杂应用场景中落地大模型技术提供有力支撑。