文章摘要
【关 键 词】 谷歌、LLMs、图形问题、编码方法、性能提升
谷歌团队在ICLR 2024上提出了一种将图形数据转换为适合LLMs理解的形式的方法。
在计算机科学领域，图形结构由节点（代表实体）和边（表示实体之间的关系）构成。
然而，由于LLMs主要在常规文本上训练，并没有图的结构，将图转化为LLMs能理解的文本是一项非常复杂的任务。
谷歌团队使用两种不同的方法将图形编码为文本，并将文本和问题反馈给LLM。
他们还创造了一个名为GraphQA的基准，用于研究不同的图推理问题解决方法，并演示了如何以一种让LLM能够解决图形相关问题的方式来表述图相关问题。
使用正确的方法，使得LLMs在图形任务上最高得以提升60%的性能。
谷歌团队设计了GraphQA基准测试，它可以被看作是一门考试，旨在评估LLM针对特定于图形问题的能力。
GraphOA通过使用多种类型的图表，确保广度和连接数量的多样性，以寻找LLMs在处理图形时可能存在的偏差情况，并使整个过程更接近LLMs在实际应用中可能遇到的情况。
在进行图形编码时，研究人员解决了如何表示单个节点和描述节点之间关系的两个关键问题。
他们通过系统地结合各种节点和边的编码方式，产生了一些函数。
在GraphOA上进行的三个关键实验中，LLMs在大多数基本任务上的表现并不比随机猜测好多少。
但编码方式显著影响结果，选择合适的编码函数可以极大的提高任务的准确度。
此外，规模更大的模型在图形推理任务中表现更好，但在某些任务上，如确定图中两个节点是否相连的任务，规模并不像其他任务那么重要。
这表明LLMs在某些图任务上仍有改进的空间。
研究人员还发现，图的结构对LLMs的性能有很大影响。
例如，在一个询问循环是否存在的任务中，LLMs在紧密相连的图形中表现出色，但在路径图中表现不佳。
但同时提供一些混合样本有助于LLMs适应，比如在循环检测任务中，研究人员在提示中添加了一些包含循环和一些不包含循环的示例作为少样本学习的例子，通过这种方式提高了LLMs的性能。
总的来说，谷歌团队的这项研究为LLMs理解图形问题提供了新的方法，但这仅仅是开始，还有许多需要改进和探索的地方。
原文和模型
【原文链接】 阅读原文 [ 1318字 | 6分钟 ]
【原文作者】 新智元
【摘要模型】 gpt-4-32k
【摘要评分】 ★★★★★
