LLM将成历史？开源bGPT或颠覆深度学习范式：直接模拟二进制，开启模拟数字世界新纪元！

810 0 0

模型信息

【模型公司】 月之暗面
【模型名称】 moonshot-v1-32k
【摘要评分】 ★★★★★

文章摘要

新智元报道介绍了微软亚洲研究院推出的基于字节的Transformer模型bGPT，该模型能够处理不同类型的数据，生成文本、图像和音频，甚至模拟计算机行为。bGPT与传统基于词表的语言模型不同，能够直接处理原始二进制数据，目标是全面模拟数字世界。研究团队在论文中展示了bGPT在建模上的潜力，通过字节级处理，将所有数据视为字节序列，使bGPT能够将不同类型的数据纳入同一框架之下。

bGPT在处理原生二进制数据方面表现出强大的能力和可扩展性，例如在模拟MIDI音乐数据转换算法时达到极低的错误率。在CPU建模任务中，bGPT展现出超过99.99%的准确率。此外，bGPT还能处理多种数据类型，如文本、图像和音频，将其融合进统一的模型架构中。

bGPT在文本生成方面表现出色，无需依赖词汇表，支持所有语言。在图像生成方面，尽管存在一定的挑战，但纹理和光影效果通常准确。音频生成方面，bGPT生成的音频样本保持了较高的准确度。研究团队已将bGPT的代码和模型开源，以便技术爱好者在不同数据集上训练和探索字节模型在数字领域的应用前景。尽管bGPT在计算开销方面存在局限性，但未来的工作计划将集中在开发更高效的算法和利用硬件进步，提高处理更大规模数据序列的能力。

原文信息

【原文链接】 阅读原文
【阅读预估】 2111 / 9分钟
【原文作者】 新智元
【作者简介】 智能+中国主平台，致力于推动中国从互联网+迈向智能+新纪元。重点关注人工智能、机器人等前沿领域发展，关注人机融合、人工智能和机器人革命对人类社会与文明进化的影响，领航中国新智能时代。