标签：Transformer
清华系多模态大模型公司刚刚融了数亿元！放话“今年达到Sora效果”
生数科技是一家清华系多模态大模型公司，最近完成了一轮数亿元的融资，由多家投资方领投。他们的研究成果包括文生图、文生3D模型、文生视频等领域。公司提出...
OpenAI开源了：Transformer自动debug工具上线GitHub
OpenAI最近开放了用于分析Transformer内部结构的工具Transformer Debugger（TDB），该工具结合了自动可解释性技术和稀疏自动编码器，可以帮助人们快速探索模...
DenseMamba：大模型的DenseNet时刻，Mamba和RetNet精度显著提升
华为诺亚方舟实验室的研究者们提出了一种名为DenseSSM的新方法，用于改进状态空间模型（SSM）中的隐藏信息流动。DenseSSM通过在不同层之间有选择性地整合浅层...
开源、可商用，仅需0.5秒图片直接生成3D模型！
文章主要介绍了开源大模型平台Stability.ai与Tripo AI联合开发的TripoSR项目。TripoSR是一个能将图片快速转换为高质量3D模型的工具，它支持商业化和学术研究...
DeepMind携Mamba华人作者推Transformer革命之作！性能暴涨媲美Llama 2，推理能效大幅碾压
摘要：谷歌DeepMind推出了两种新的RNN架构——Hawk和Griffin，它们在d基准测试中超越了Transformer。Griffin模型在训练数据减少一半的情况下，全面优于Mamba，...
首批类Sora模型出现，色拉布上线Snap Video，效果优于Pika、不输Gen-2
SnapChat背后的公司Snap联合特伦托大学等机构发布了一款名为Snap Video的文本生成视频模型。该模型采用了可扩展的时空Transformer架构，旨在提高视频生成的质...
想训练类Sora模型吗？尤洋团队OpenDiT实现80%加速
摘要总结：Sora的创新：2024年，Sora的出现为文生视频研究者设立了新目标。其核心技术之一是将视觉数据转化为统一表征形式，结合Transformer和扩散模型，展现...
Mamba正式被ICLR拒收！“年度最佳技术原理解读”却火了
Mamba，这个被寄予厚望的Transformer挑战者，尽管在学术界引起了广泛关注，但最终还是被ICLR会议拒绝。尽管如此，Mamba的热度并未受到影响，一篇关于它的最新...
补齐Transformer规划短板，田渊栋团队的Searchformer火了
摘要：机器之心报道了Meta FAIR田渊栋团队提出的Searchformer模型，这是一种基于Transformer的模型，旨在提升Transformer在多步规划任务中的性能。尽管Transf...
国内公司有望做出Sora吗？这支清华系大模型团队给出了希望
Sora 视频生成技术引发关注OpenAI 发布的 Sora 视频生成技术引起了业界的广泛关注。Sora 能够生成长达 1 分钟的流畅、逼真视频，这一技术突破让研究者担心国...
