微软亚研院新作：让大模型一口气调用数百万个API！

315 0 0

文章摘要

【关键词】 人工智能、TaskMatrix.AI、微软、基础大模型、API

微软近期发布了一种新型AI生态系统——TaskMatrix.AI，该系统通过将基础大模型与数以百万计的应用程序编程接口（APIs）连接起来，以完成数字和物理领域的多样化任务。TaskMatrix.AI的核心思想是利用现有的基础大模型作为类似大脑的中央系统，结合其他AI模型和系统的APIs作为各种子任务解决者。

TaskMatrix.AI的整体架构由四个关键组件构成：多模态对话基础模型（MCFM）、API平台、API选择器和API执行器。MCFM负责与用户沟通，理解他们的目标和上下文，并基于API生成可执行代码以完成特定任务。API平台提供一个统一的API文档架构，用于存储数以百万计具有不同功能的API。API选择器根据MCFM对用户指令的理解，推荐相关的API。API执行器通过调用相关API执行生成的动作代码，并返回中间和最终的执行结果。

TaskMatrix.AI还提供了两个可学习的机制，以更有效地将MCFM与API对齐：基于人类反馈的强化学习（RLHF）和向API开发者提供反馈。RLHF是一种基础大模型的通用技术，它使用强化学习方法，利用人类反馈来优化机器学习模型。在TaskMatrix.AI中，RLHF利用这些反馈来增强MCFM和API选择器，从而在处理复杂任务时实现更快的收敛和更好的性能。

TaskMatrix.AI能完成的任务非常广泛，小到文字、图像信息的基本信息处理，大到控制机器人平台、接入物联网（IoT）等通用平台任务，TaskMatrix都能胜任。例如，它可以执行图像处理任务，并且能够接受语言和图像作为输入。它还能够通过语音指令理解并自动执行计算机操作系统、专业软件以及智能手机应用的操作。此外，TaskMatrix.AI还可以连接机器人和物联网设备，实现对体力劳动和智能家居操作的自动化管理。

然而，TaskMatrix.AI仍面临一些挑战，包括需要一个能够处理多种输入的强大基础大模型，构建和维护一个包含数百万API的平台，处理大量API时需要能够合理选择和推荐相关的API来完成任务，以及在API能够访问物理和数字世界时，确保模型忠实于用户指令并保持数据私密性等。