标签：计算优化
MoE也有Scaling Law，「百万专家」利用率近100%！DeepMind华人挑战MoE极限
谷歌DeepMind的研究科学家Xu Owen He最近提出了一种名为PEER（参数高效专家检索）的新技术，该技术能够将混合专家（MoE）模型的专家数量扩展到百万级别，同时...
从LLM中完全消除矩阵乘法，效果出奇得好，10亿参数跑在FPGA上接近大脑功耗
在深度学习领域，矩阵乘法（MatMul）一直占据着核心地位，尤其是在语言模型中。然而，这一操作在计算开销和内存访问方面占据了很大比例。近期，来自加州大学...
港大字节提出多模态大模型新范式，模拟人类先感知后认知，精确定位图中物体
多模态大模型（MLLM）在视觉任务中展现出强大的认知理解能力，但目前大多数模型局限于单向的图像理解，难以在图像上进行精确定位。这一问题限制了模型在图像...
