标签：Transformer
哈佛辍学生搞AI芯片公司：融资1.2亿美元，面向一个模型
AI芯片初创公司Etched近期宣布已筹集1.2亿美元资金，挑战Nvidia在AI芯片设计领域的领导地位。Etched正在研发一款名为Sohu的新芯片，专注于处理AI中的Transfor...
麻省理工提出“跨层注意力”，极大优化Transformer缓存
在人工智能生成内容（AIGC）领域，Transformer架构因其在大语言模型（LLM）中的关键作用而备受关注。然而，随着模型参数的指数级增长，传统的Transformer架构...
谷歌推出基于Transformer的创新技术——无限注意力
随着生成式AI产品如ChatGPT和Sora等的流行，Transformer架构已成为处理文本、图像、视频和音频等数据的大型语言模型（LLM）的基础。谷歌提出了一种名为Infini...
AI研究的主要推动力会是什么？ChatGPT团队研究科学家：算力成本下降
OpenAI研究科学家Hyung Won Chung在斯坦福大学的演讲中探讨了AI研究的主要推动力，并通过Transformer的发展来阐释这一推动力。Chung认为，AI研究的核心推动力...
拯救Transformer推理能力！DeepMind新研究TransNAR：给模型嵌入「算法推理大脑」
DeepMind最近提出了一种结合Transformer和神经算法推理器（NAR）的混合架构方法，以解决Transformer模型在算法推理任务上的缺陷。这种新的架构被称为TransNAR...
再战Transformer！原作者带队的Mamba 2来了，新架构训练效率大幅提升
自2017年提出以来，Transformer架构在AI大模型领域占据了主导地位，尤其是在语言建模方面。然而，随着模型规模的扩大和序列长度的增加，其局限性也逐渐凸显，...
谷歌推出TransformerFAM架构，以更低的消耗处理长序列文本
在人工智能领域，Transformer架构对大型模型产生了深远影响，被广泛应用于ChatGPT、Sora、Stable Diffusion等知名模型。然而，它在处理超长文档时，注意力复...
GPT-3水平的Sora 就强大到不敢给普通人用？可我也不知道把它用在哪儿
2023年以来，多模态视频生成技术取得了显著的进展，其中OpenAI旗下视频生成模型Sora在2024年2月发布后迅速成为全球焦点。Sora在视频生成效果和质量上具有明显...
Llama 3细节公布！AI产品总监站台讲解：Llama系列超庞大生态系统
背景介绍：Meta公司在2023年2月组建了一个跨领域的团队，致力于开发Llama系列模型。Llama 2模型于2023年7月发布，参数范围从7B到70B，代表了当时的先进技术。...
国产 Sora 的秘密，藏在这个清华系大模型团队中
在视频AIGC（人工智能生成内容）领域，Sora技术因其在长视频生成方面的突破性进展而备受关注。Sora采用的Diffusion加Transformer架构在生成内容的准确性和灵...
