标签:AIGC发展
CXL,AI时代的“运力”引擎
生成式人工智能(AIGC)的快速发展对算力芯片提出了更高的要求,同时也暴露了传统系统设计在计算需求方面的不足。在2024开放计算中国峰会上,专家指出,内存...
谷歌开源Gemma Scope,更好解释大模型工作原理
随着多模态大模型的快速发展,其内部神经网络参数数量庞大,导致开发人员难以控制模型输出内容,容易出现“幻觉”现象。为了解决这一问题,稀疏自编码器(SAE)...
苹果开源视觉模型界的“瑞士军刀”,能执行数十种任务
苹果和瑞士洛桑联邦理工学院的研究人员共同开发了4M-21,一个大规模多模态视觉模型,并于近日开源。该模型以其30亿参数量却能提供包括图像分类、目标检测、语...
OpenAI发布CriticGPT模型,帮助人类找出ChatGPT错误
OpenAI于6月28日发布了CriticGPT,这是基于GPT-4的最新模型,专为开发人员设计,旨在提高人类反馈强化学习(RLHF)的效率,从而生成更高质量的训练数据。RLHF...
麻省理工提出“跨层注意力”,极大优化Transformer缓存
在人工智能生成内容(AIGC)领域,Transformer架构因其在大语言模型(LLM)中的关键作用而备受关注。然而,随着模型参数的指数级增长,传统的Transformer架构...
谷歌推出基于Transformer的创新技术——无限注意力
随着生成式AI产品如ChatGPT和Sora等的流行,Transformer架构已成为处理文本、图像、视频和音频等数据的大型语言模型(LLM)的基础。谷歌提出了一种名为Infini...
OpenAI收购Rockset,增强ChatGPT等数据搜索功能
OpenAI于2024年6月22日宣布收购实时搜索和数据分析公司Rockset,旨在整合Rockset的员工和产品至OpenAI的ChatGPT等产品中,为企业和用户提供更强大的搜索和数...