IBM推出创新框架用“黑盒”方式，评估大模型的输出

文章摘要

【关 键 词】 黑盒框架、置信度评估、语义特征、句法特征、模型性能

在AIGC领域，大语言模型（LLM）的准确性、安全性和可解释性比性能和评测排名更为关键。IBM研究人员开发了一种黑盒框架，无需访问内部结构、参数或训练数据，即可评估大模型的输出和置信度。该框架通过六种提示扰动策略激发模型输出的变异性，包括随机解码、释义、句子排列、实体频率放大、停用词移除和分割响应一致性。基于这些策略，构建了语义和句法两种特征，用于训练置信度模型。

语义特征关注输出的语义等价集合数量，句法特征通过计算输出之间的句法相似性来评估置信度。模型训练采用标准的监督学习流程，标签基于模型输出与真实答案的ROUGE分数匹配程度生成。该框架在TriviaQA、SQuAD、CoQA和Natural Questions数据集上进行了实验，结果显示在AUROC指标上显著优于现有黑盒置信度估计方法，性能提升超过10%。

研究人员指出，该框架具有很好的扩展性和应用性，可以添加不同的扰动策略来检测和适应不同类型的大模型。此外，只需在一个模型上训练置信度模型，多数情况下可以应用到同类模型中。这一研究成果为大模型的评估和应用提供了一种有效的黑盒方法，有助于推动AIGC领域的进一步发展。

原文和模型

【原文链接】 阅读原文 [ 1138字 | 5分钟 ]
【原文作者】 AIGC开放社区
【摘要模型】 moonshot-v1-32k
【摘要评分】 ★☆☆☆☆

Moonshot AI

月之暗面 (Moonshot AI) 创立于2023年3月，致力于寻求将能源转化为智能的最优解，通过产品与用户共创智能，2023年10月推出全球首个支持输入20万汉字的智能助手产品Kimi。创始团队核心成员参与了 Google Gemini、Google Bard、盘古NLP、悟道等多个大模型的研发，多项核心技术被Google PaLM、Meta LLaMa、Stable Diffusion等主流产品采用。