通用图大模型HiGPT：一己之力建模任何图结构关系！来自港大数据智能实验室&百度

文章摘要

【关 键 词】 HiGPT、异质图、大模型、图学习、语言模型

文章介绍了香港大学数据智能实验室最新推出的图结构大模型HiGPT，该模型是由GraphGPT的原班人马打造而成。GraphGPT是将图数据与大模型结合的代表方法之一，但仅适用于同质图，对于生活中更常见的异质图则无法胜任。因此，HiGPT应运而生，专注于复杂的异质图学习任务，实现了一个模型建模任意关系类型的目标。HiGPT面临的挑战包括关系类型异质性偏移、复杂异质图结构和模型微调的数据稀缺。为了解决这些挑战，HiGPT采用了上下文异质图Tokenizer、异质图指令微调和Mixture-of-Thought指令增强等方法。上下文异质图Tokenizer通过预训练提高了语义建模能力，异质图指令微调框架增强了大语言模型对异质关系和同质关系的感知能力，而Mixture-of-Thought机制则解决了数据稀缺性问题。研究团队由港大数据智能实验室的GraphGPT原班人马以及百度等机构的研究人员完成，他们在监督学习和零样本学习中超越了一众主流模型。此外，HiGPT还展现了在图上下文学习中的优异表现，仅通过添加图问答示例就能在1 shot训练中击败60 shot模型，表现出了出色的图-意识。整个研究团队在图学习、推荐系统、城市计算等领域有持续的探索，近期开源了多个与大语言模型相关的项目，包括GraphGPT、HiGPT、LLMRec、RLMRec、UrbanGPT和GraphEdit等。文章最后提供了相关论文、代码和项目网站的链接，欢迎进一步探索。

原文和模型

【原文链接】 阅读原文 [ 1549字 | 7分钟 ]
【原文作者】 量子位
【摘要模型】 gpt-3.5-turbo-0125
【摘要评分】 ★☆☆☆☆

OpenAI ChatGPT

ChatGPT是OpenAI公司开发的一种大型语言模型。它是一种基于Transformer架构的深度学习模型，可以对语言进行建模和生成。它可以处理问答、对话生成、文本生成等多种任务。