标签：模型评估
DeepSeek-R1自写CUDA内核跑分屠榜！斯坦福学霸狂飙GPU编程自动化挑战人类
斯坦福和普林斯顿研究团队开发的KernelBench框架揭示了大型语言模型在生成优化CUDA内核方面的潜力与局限。DeepSeek-R1在自动生成GPU内核任务中超越OpenAI o1...
大模型都喜欢拍马屁，Gemini最能拍！斯坦福：这不安全、不可靠
斯坦福大学研究人员针对大语言模型在交互中表现出的谄媚倾向展开系统性研究，揭示了该行为对关键应用领域的潜在风险。通过AMPS数学计算和MedQuad医疗建议数据...
第一个被人类骗钱的AI傻了，近5万美元不翼而飞！Scaling Law还能带我们到AGI吗？
全球首个AI智能体Freysa被人类骗走近5万美元的事件引起了广泛关注。Freysa被设计为在任何情况下都不能转账或批准资金转移，但通过精心设计的prompt工程，一名...
MMMU华人团队更新Pro版！多模态基准升至史诗级难度：过滤纯文本问题、引入纯视觉问答
新智元报道了多模态大型语言模型（MLLMs）在多学科多模态理解和推理（MMMU）基准测试中的最新进展。尽管这些模型在排行榜上的表现不断提升，但对其是否真正理...
刚刚，OpenAI又双叒叕鸽了！没等来“草莓”发布，只敷衍发了评测集，网友：拿这来抢谷歌发布会风头？
OpenAI和谷歌在人工智能领域的竞争并未如外界预期那样激烈。OpenAI发布了一系列指标，作为其安全开发和部署前沿模型的方法的一部分，这些指标用于评估和预测...
Bengio团队提出多模态新基准，直指Claude 3.5和GPT-4o弱点
张天宇在其研究中提出了一种名为视觉字幕恢复（Visual Caption Restoration, VCR）的新任务，旨在探究视觉语言模型（Vision-Language Models, VLM）的推理能...
LeCun谢赛宁首发全新视觉多模态模型，等效1000张A100干翻GPT-4V
LeCun和谢赛宁团队近日推出了Cambrian-1，一种采用以视觉为中心方法设计的多模态大语言模型（MLLM），并全面开源了模型权重、代码、数据集以及详细的指令微调...
ACM最新论文戳破大公司「开源」谎言，GenAI时代到底如何定义「开源模型」
在AI时代，开源的定义变得模糊不清。传统软件中的开源概念，如Linux和Windows的对比，已经不再适用于AI模型。Open Source Initiative（OSI）指出，传统的开源...
GPT-4系列模型，在文档理解中的多维度评测
Snowflake的研究人员对OpenAI的GPT-4系列模型进行了深入研究，评估了其在文本生成、图像理解、文档摘要等方面的能力。通过在DocVQA、InfographicsVQA、SlideV...
刺激！扣子模型广场上线，实时 PK 高下立见
扣子模型广场的推出为用户在选择国内主流大语言模型时提供了一种全新的评估方式。该平台借鉴了国际开放研究组织LMSYS Org的大模型竞技场Chatbot Arena的匿名...
1
2
