英伟达发了个有点弱的端侧模型，却想喊话大家举手投降

模型信息

【模型公司】 月之暗面
【模型名称】 moonshot-v1-32k

作者信息

【原文作者】 硅星人Pro
【作者简介】 硅（Si）是创造未来的基础，欢迎来到这个星球。
【微 信 号】 Si-Planet

文章摘要

【关 键 词】 Chat with RTX、英伟达、大语言模型、本地部署、量化

英伟达在2024年推出了Chat with RTX，这是一个本地部署的大语言模型工具，允许用户与模型进行文本、PDF、Word文档等多种格式内容的交互。

尽管在中文交互方面存在不足，但英文表现较好，尤其在资料索引能力上。

Chat with RTX采用了INT4量化，以适应个人电脑的性能限制，实现了全程无联网的本地计算资源和资料库。

英伟达通过这一产品展示了其技术，尤其是TensorRT技术，但这些技术的使用需要相应的权限，从而可能形成对人工智能软件市场的垄断。

英伟达的50系列显卡将进一步提升Chat with RTX的性能，同时，开发者和消费者可能需要购买英伟达的GPU产品和开发套件以满足新需求。

这标志着英伟达在大模型领域可能开启新的商业模式。

原文信息

【原文链接】 阅读原文
【原文字数】 2095
【阅读时长】 7分钟