张鹏对话无问芯穹夏立雪:中国的Scaling Law是场景优势,异构算力解决大模型落地难题

AIGC动态8个月前发布 Founder Park
1,132 0 0
张鹏对话无问芯穹夏立雪:中国的Scaling Law是场景优势,异构算力解决大模型落地难题

 

文章摘要


【关 键 词】 大模型算力MxN架构推训一体智算运营

在最近的一次对话直播中,无问芯穹联合创始人兼CEO夏立雪与极客公园创始人张鹏探讨了大模型的发展、国内算力问题以及大模型的落地难题。夏立雪认为,尽管中国的大模型公司面临严峻的算力挑战,但通过应用场景的Scaling Law,中国仍有机会实现大模型的有效落地。无问芯穹推出的“MxN”架构旨在解决大模型在不同硬件上的运行问题,为开发者提供类似水电煤气的基础资源。

夏立雪指出,英伟达在GTC上发布的B系列显卡虽然在技术上有所提升,但并没有实现夸张的“黑魔法”式提升。然而,英伟达通过持续的系统层面技术升级,证明了其在Scaling Law方面的领先地位。他还提到,推理场景将成为算力未来的重点,英伟达已经在这一领域取得了显著的收入占比。

在中国,算力资源的稀缺导致了多元异构算力的出现。夏立雪认为,这为国内算力市场创造了独特的机会。无问芯穹致力于将算力和大模型变成像水电一样的基础资源,通过其Infini-AI平台,为开发者提供易于使用且性价比高的大模型服务资源。

夏立雪还强调了“推训一体”的重要性,即训练和推理的一体化。他认为,未来的理想状态是在不断使用过程中实时地将数据提供给系统,从而实现系统的即时反馈和迭代。尽管目前大模型的成本仍然较高,但这一方向具有重要意义。

无问芯穹的名字来源于清华校歌中的歌词,寓意着探索芯片和智慧的极限。公司的核心任务是解决不同大模型与不同硬件之间的连接问题,以及实现模型与硬件的深度优化。夏立雪表示,无问芯穹的优化能力将有助于降低大模型落地的成本,从而推动整个产业的发展。

在对话中,夏立雪还提到了无问芯穹的客户类型,包括各行各业的场景客户。他们关注的是如何将自己的场景与大模型高性价比地结合起来。无问芯穹提供的易用且性价比高的大模型服务资源,使客户能够直接开箱即用。

最后,夏立雪将无问芯穹定位为智算领域的运营商,将算力和模型作为基础资源提供给客户。他认为,未来每个公司都会有自己的智算资源部,而无问芯穹正是在为这一趋势做好准备。

原文和模型


【原文链接】 阅读原文 [ 8663字 | 35分钟 ]
【原文作者】 Founder Park
【摘要模型】 moonshot-v1-32k
【摘要评分】 ★★★★★

© 版权声明
“绘蛙”

相关文章

暂无评论

暂无评论...