“激活函数”的搜索结果
DeepMind研究成本大起底，一篇ICML论文烧掉1290万美元
DeepMind近期在ICML 2024上发表的一篇论文，详细研究了大型语言模型（LLM）在扩展规模时的算法和架构细节，包括参数和优化器的选择。这...
谷歌开源Gemma Scope，更好解释大模型工作原理
随着多模态大模型的快速发展，其内部神经网络参数数量庞大，导致开发人员难以控制模型输出内容，容易出现“幻觉”现象。为了解决这一问题...
反转了？在一场新较量中，号称替代MLP的KAN只赢一局
多层感知器（MLP）作为深度学习模型的基本组成部分，在机器学习领域具有不可替代的地位。然而，MLP存在一些局限性，如难以解释的表示和...
WAIC 最具技术想象力成果发布：新架构面壁小钢炮又一次验证并加速了面壁定律
2020年，1750亿参数规模的GPT-3模型问世，其训练成本高昂，需要使用1000张英伟达A100 GPU，花费81.6万美元，耗时22天。然而，到了2024年...
华为盘古 5.0 强势登场：参数跃升万亿级，理解能力突破至感应 level，团队亲述幕后黑科技！
华为开发者大会于6月21日召开，会上华为云盘古大模型5.0正式发布。盘古5.0在全系列、多模态和强思维三个方面进行了全新升级，推出了多种...
英伟达开源合成数据大模型：奖励模型，超过GPT-4 Turbo
全球人工智能领导者英伟达（Nvidia）于6月15日在其官网开源了一款名为Nemotron-4 340B的大模型，专为生成合成数据而设计。该模型能够快...
手机流畅运行470亿大模型：上交大发布LLM手机推理框架PowerInfer-2，提速29倍
在移动设备上部署大型模型成为行业焦点，但受限于内存和算力的不足，这些模型相对较小，且消耗大量资源，限制了其应用场景。苹果公司在...
全新神经网络架构KAN一夜爆火！200参数顶30万，MIT华人一作，轻松复现Nature封面AI数学研究
一种名为KAN的全新神经网络架构被提出，它与传统的MLP（多层感知机）架构有显著不同，并且在使用更少的参数的情况下，在数学和物理问题...
Transformer要变Kansformer？用了几十年的MLP迎来挑战者KAN
本文提出了一种新型的神经网络架构——Kolmogorov-Arnold Networks（KAN），作为多层感知器（MLP）的替代方案。MLP作为深度学习模型的基础...
MLP一夜被干掉！MIT加州理工等革命性KAN破记录，发现数学定理碾压DeepMind
新智元报道了一项由MIT、加州理工、东北大学等机构的团队发布的全新神经网络结构——Kolmogorov–Arnold Networks（KAN）。这项研究挑战了...
1
2
