英伟达股价暴跌！或与 Llama 3 发布有关？

788 0 0

文章摘要

本文介绍了Meta发布的Llama 3大模型以及Groq平台上Llama 3的运行速度超快的情况。Llama 3经过预训练和指令微调，参数分别为8B和70B，支持广泛的用例，并在行业基准测试中展示了最先进的性能，包括改进的推理能力。Groq发布了在其LPU™推理引擎上运行的Llama 3 8B和70B，并提供给开发者社区。通过计算机教授Alvaro Cintas的对比测试，Groq系统在运行Llama 3模型时的推理速度超过800 token/秒。根据Artificial Analysis的独立基准测试，Groq在Llama 3 8B和70B上的吞吐量分别达到877 token/秒和284 token/秒，是所有供应商中最高的2倍多，且价格较其他供应商更具竞争力。Groq采用了一种全新的处理器架构Tensor Streaming Processor，专为深度学习中的矩阵乘法操作进行优化，通过优化数据流来降低延迟和能耗，提高性能并降低成本。在AI处理器市场中，Groq等初创企业正挑战Nvidia的主导地位，尤其在推理技术方面表现活跃。当前AI硬件基础设施的竞争重点在于构建能与AI模型快速发展相匹配的基础设施，以满足不断增长的应用需求。Groq的高效推理硬件结合开源模型如Llama 3，有望让AI技术更具成本效益，推动AI在各领域的广泛应用。尽管Nvidia仍占据市场领先地位，但其他竞争者也在不断追赶。在新一代架构挑战传统的浪潮中，AI的硬件基础仍在不断演进。