文章摘要
【关 键 词】 AI算力、大模型、无问芯穹、免费体验、算力优化
无问芯穹,一家成立于2023年的清华系AI公司,致力于提供大模型软硬件一体化的算力解决方案。
近期,该公司推出了“无穹Infini-AI大模型开发与服务平台”,旨在帮助开发者体验和对比不同模型与芯片的性能。
平台的亮点在于提供百亿tokens的免费配额,以及支持多模型与多芯片之间的软硬件联合优化。
无问芯穹认为,中国市场不缺乏AI应用场景,而是面临着算力难题。
公司的目标是解决这一问题,通过提供高性价比的算力服务,降低AI应用的落地成本。
无穹Infini-AI平台支持20多个模型和10余种计算卡,包括但不限于Baichuan2、ChatGLM系列、Llama2、Qwen系列等,以及AMD、壁仞、寒武纪等计算卡品牌。
无问芯穹的服务不仅限于现有模型,还支持第三方平台或自定义训练的模型迁移托管,并提供定制化的计费方案。
公司联合创始人兼CEO夏立雪表示,随着时间推移,平台的性价比优势将越来越明显。
中国的算力总规模位居全球第二,但行业内仍感到算力不足。
无问芯穹通过建立大模型生态系统,实现了不同模型自动部署到不同硬件上,有效利用各种算力资源。
公司在多种计算卡上取得了性能优化,与AMD中国达成了战略合作关系,共同提高商用AI应用性能。
无问芯穹的团队具备搭建大规模高性能AI计算平台的能力,并已实现跨域多云间的统一调度。
公司还计划推出大模型专用处理器LPU,以提升大模型在端侧硬件上的能效与速度。
戴国浩,公司联合创始人兼首席科学家,展示了基于FPGA的大模型处理器,通过软硬件协同优化技术,显著降低了FPGA部署成本。
无穹LPU预计将于2025年面世,旨在降低大模型在各个场景中的落地成本,使AI能力更广泛地服务于人们的生活。
原文和模型
【原文链接】 阅读原文 [ 2348字 | 10分钟 ]
【原文作者】 量子位
【摘要模型】 gpt-4
【摘要评分】 ★★★★☆