模型信息
【模型公司】 Azure
【模型名称】 gpt-4-32k
【摘要评分】 ★★★★★
文章摘要
【关 键 词】 港大、OpenGraph、图学习、图神经网络、零样本预测
香港大学发布了一种名为OpenGraph的通用图基座模型，该模型能够从大型语言模型（LLM）中蒸馏零样本图泛化能力。图学习技术能够对复杂的关系数据进行挖掘和学习，具有巨大的应用价值。然而，这种技术通常需要大量、高质量的标注数据才能获得较好的训练效果。OpenGraph模型的出现，解决了这一问题。
OpenGraph模型的设计目标是捕捉通用的拓扑结构模式，对测试数据进行零样本预测。即仅通过前向传播过程，就可以对测试图数据进行高效的特征提取和准确预测。为了实现这一目标，模型需要解决三个挑战：跨数据集的Token集合变化、高效的节点间关系建模和训练数据稀缺。
为了应对这些挑战，OpenGraph模型采用了统一图Tokenizer、可扩展的图Transformer和大语言模型知识蒸馏三个部分。其中，统一图Tokenizer用于将不同图数据影射为统一的token序列；可扩展的图Transformer用于对节点间的复杂依赖关系进行建模；大语言模型知识蒸馏则用于生成各种图结构数据，用于通用图模型的训练。
实验结果显示，OpenGraph模型在零样本预测任务上表现出色，具有显著的泛化能力。在未来的工作中，研究者计划赋予模型自动发现噪声连接和具有反事实学习影响力的结构的能力，同时学习各种图的通用和可转移的结构模式。
原文信息
【原文链接】 阅读原文
【阅读预估】 4802 / 20分钟
【原文作者】 新智元
【作者简介】 智能+中国主平台，致力于推动中国从互联网+迈向智能+新纪元。重点关注人工智能、机器人等前沿领域发展，关注人机融合、人工智能和机器人革命对人类社会与文明进化的影响，领航中国新智能时代。
相关文章
