A curated list of papers and resources based on "Large Language Models on Graphs: A Comprehensive Survey" (TKDE)

当前项目代码仓暂无内容

自动翻译

图上的大型语言模型精选资源列表

这是一份基于我们的调研论文精心挑选的关于图上大型语言模型（LLMs）的论文和资源列表：《图上的大型语言模型：全面调研》（Large Language Models on Graphs: A Comprehensive Survey）。

关于图上多模态学习的精选仓库可在此处找到 这里。

本仓库将持续更新。别忘了点星

关注最新动态！

如果您觉得这些资源对您的研究有所帮助，请在Citations部分引用该论文。感谢！

为什么要在图上使用LLMs？

大型语言模型（LLMs）如ChatGPT和LLaMA，凭借其强大的文本编码/解码能力和新发现的涌现特性（如推理），在自然语言处理领域取得了重大进展。虽然LLMs主要设计用于处理纯文本，但在许多现实场景中，文本数据与丰富的结构信息以图的形式相关联（如学术网络、电子商务网络），或者图数据附带有丰富的文本信息（如带描述的分子）。此外，尽管LLMs已展示了其基于纯文本的推理能力，但尚未充分探索这种能力是否可以推广到图场景（即基于图的推理）。在本文中，我们对图上大型语言模型相关的场景和技术进行了全面回顾。

观点

统一大型语言模型与知识图谱：路线图。 预印本

Shirui Pan, Linhao Luo, Yufei Wang, Chen Chen, Jiapu Wang, Xindong Wu [PDF], 2023.6
将图与大型语言模型集成：方法与展望 预印本

Shirui Pan, Yizhen Zheng, Yixin Liu [PDF], 2023.10
迈向图基础模型：调研与展望。 预印本

Jiawei Liu, Cheng Yang, Zhiyuan Lu, Junze Chen, Yibo Li, Mengmei Zhang, Ting Bai, Yuan Fang, Lichao Sun, Philip S. Yu, Chuan Shi. [PDF], 2023.10
图遇大型语言模型：进展与未来方向。 预印本

Yuhan Li, Zhixun Li, Peisong Wang, Jia Li, Xiangguo Sun, Hong Cheng, Jeffrey Xu Yu. [PDF], 2023.11

纯图

数据集

我们调研论文表3中的内容：《图上的大型语言模型：全面调研》。

直接回答

语言模型能否以自然语言解决图问题？ 预印本

Heng Wang, Shangbin Feng, Tianxing He, Zhaoxuan Tan, Xiaochuang Han, Yulia Tsvetkov. [PDF] [代码], 2023.5,
GPT4Graph：大型语言模型能否理解图结构数据？一项实证评估与基准测试。 预印本

Jiayan Guo, Lun Du, Hengyu Liu, Mengyu Zhou, Xinyi He, Shi Han. [PDF], 2023.5,
评估大型语言模型在图上的表现：性能见解与比较分析。 预印本

Chang Liu, Bo Wu. [PDF] [代码], 2023.8, [PDF], 2023.5,
像图一样说话：为大型语言模型编码图。 预印本

Bahare Fatemi, Jonathan Halcrow, Bryan Perozzi. [PDF], 2023.10,
GraphLLM：提升大型语言模型的图推理能力。 预印本

Ziwei Chai, Tianjie Zhang, Liang Wu, Kaiqiao Han, Xiaohai Hu, Xuanwen Huang, Yang Yang. [PDF] [代码], 2023.10,
LLM4DyG：大型语言模型能否解决动态图上的问题？ 预印本

Zeyang Zhang, Xin Wang, Ziwei Zhang, Haoyang Li, Yijian Qin, Simin Wu, Wenwu Zhu [PDF] [代码], 2023.10,
我应该使用哪种模态 - 文本、基元还是图像？：使用大型语言模型理解图。 预印本

Debarati Das, Ishaan Gupta, Jaideep Srivastava, Dongyeop Kang [PDF] [代码], 2023.11,
GraphArena：在图计算问题上评估大型语言模型的基准测试。 预印本

Jianheng Tang, Qifan Zhang, Yuhan Li, Jia Li [PDF] [代码], 2024.7,
LLMs也会虚构图：结构视角。 复杂网络2024

Erwan Le Merrer, Gilles Tredan [PDF], 2024.9,

启发式推理

StructGPT: 大型语言模型处理结构化数据的通用框架。 预印本

Jinhao Jiang, Kun Zhou, Zican Dong, Keming Ye, Wayne Xin Zhao, Ji-Rong Wen. [PDF] [代码], 2023.5,
Think-on-Graph: 大型语言模型在知识图谱上的深度与负责任推理。 预印本

Jiashuo Sun, Chengjin Xu, Lumingyuan Tang, Saizhuo Wang, Chen Lin, Yeyun Gong, Lionel M. Ni, Heung-Yeung Shum, Jian Guo. [PDF] [代码], 2023.7,
在网络职位推荐中探索大型语言模型对图数据的理解。 预印本

Likang Wu, Zhaopeng Qiu, Zhi Zheng, Hengshu Zhu, Enhong Chen. [PDF] [代码], 2023.7,
知识图谱提示子在多文档问答中的应用。 AAAI2024

Yu Wang, Nedim Lipka, Ryan Rossi, Alex Siu, Ruiyi Zhang, Tyler Derr. [PDF] [代码], 2023.8,
ChatRule: 使用大型语言模型挖掘逻辑规则进行知识图谱推理。 预印本

Linhao Luo, Jiaxin Ju, Bo Xiong, Yuan-Fang Li, Gholamreza Haffari, Shirui Pan. [PDF] [代码], 2023.9,
在图上进行推理：大型语言模型推理的忠实性与可解释性。 预印本

Linhao Luo, Yuan-Fang Li, Gholamreza Haffari, Shirui Pan. [PDF] [代码], 2023.10,
Thought Propagation: 使用大型语言模型进行复杂推理的类比方法。 预印本

Junchi Yu, Ran He, Rex Ying. [PDF], 2023.10,
大型语言模型可以学习时间推理。 预印本

Siheng Xiong, Ali Payani, Ramana Kompella, Faramarz Fekri. [PDF], 2024.1,
探索大型语言模型在图推理中的局限性。 预印本

Palaash Agrawal, Shavak Vasania, Cheston Tan. [PDF], 2024.2,
为多模态大型语言模型的图推理渲染图。 预印本

Yanbin Wei, Shuai Fu, Weisen Jiang, James T. Kwok, Yu Zhang. [PDF], 2024.2,
在异步计划推理中增强大型语言模型。 预印本

Fangru Lin, Emanuele La Malfa, Valentin Hofmann, Elle Michelle Yang, Anthony Cohn, Janet B. Pierrehumbert. [PDF], 2024.2,
大型语言模型图回忆的微观结构与准确性。 预印本

Yanbang Wang, Hejie Cui, Jon Kleinberg. [PDF], 2024.2,
结构引导提示：通过探索文本的图结构指导大型语言模型的多步骤推理。 预印本

Kewei Cheng, Nesreen K. Ahmed, Theodore Willke, Yizhou Sun. [PDF], 2024.2,
GraphInstruct: 赋予大型语言模型以图理解和推理能力。 预印本

Zihan Luo, Xiran Song, Hong Huang, Jianxun Lian, Chenhao Zhang, Jinqi Jiang, Xing Xie, Hai Jin. [PDF], 2024.3,
在必要时呼唤我：LLM 可以高效且忠实地在结构化环境中进行推理。 预印本

Sitao Cheng, Ziyuan Zhuang, Yong Xu, Fangkai Yang, Chaoyun Zhang, Xiaoting Qin, Xiang Huang, Ling Chen, Qingwei Lin, Dongmei Zhang, Saravan Rajmohan, Qi Zhang. [PDF], 2024.3,
探索大型语言模型在图生成中的潜力。 预印本

Yang Yao, Xin Wang, Zeyang Zhang, Yijian Qin, Ziwei Zhang, Xu Chu, Yuekui Yang, Wenwu Zhu, Hong Mei. [PDF], 2024.3,
GraphInsight: 在大型语言模型中解锁图结构理解的洞察力。 预印本

Yukun Cao, Shuo Han, Zengyi Gao, Zezhong Ding, Xike Xie, S. Kevin Zhou. [PDF], 2024.5,
大型语言模型能否像专业人士一样分析图？一个基准、数据集和模型。 NeurIPS 2024

Xin Li, Weize Chen, Qizhi Chu, Haopeng Li, Zhaojun Sun, Ran Li, Chen Qian, Yiwei Wei, Zhiyuan Liu, Chuan Shi, Maosong Sun, Cheng Yang. [PDF] [代码] [模型与数据集], 2024.9,
用于在图上进行推理的大型语言模型的图线性化方法。 预印本

Christos Xypolopoulos, Guokan Shang, Xiao Fei, Giannis Nikolentzos, Hadi Abdine, Iakovos Evdaimon, Michail Chatzianastasis, Giorgos Stamou, Michalis Vazirgiannis. [PDF], 2024.10,
GRS-QA -- 图推理结构化问答数据集。 预印本

Anish Pahilajani, Devasha Trivedi, Jincen Shuai, Khin S. Yone, Samyak Rajesh Jain, Namyong Park, Ryan A. Rossi, Nesreen K. Ahmed, Franck Dernoncourt, Yu Wang. [PDF], 2024.11,

算法推理

Graph-ToolFormer：通过 ChatGPT 增强的提示，赋予大型语言模型以图形推理能力。 预印本

Jiawei Zhang. [PDF] [代码], 2023.4,
Graph Chain-of-Thought：通过在图上进行推理增强大型语言模型。 预印本

Bowen Jin, Chulin Xie, Jiawei Zhang, Kashob Kumar Roy, Yu Zhang, Suhang Wang, Yu Meng, Jiawei Han. [PDF] [代码] [数据集], 2024.4,
从局部到全局：一种基于图的 RAG 方法用于查询聚焦摘要。 预印本

Darren Edge, Ha Trinh, Newman Cheng, Joshua Bradley, Alex Chao, Apurva Mody, Steven Truitt, Jonathan Larson. [PDF], 2024.4,
大型语言模型是图算法推理者吗？ 预印本

Alexander K Taylor, Anthony Cuturrufo, Vishal Yathish, Mingyu Derek Ma, Wei Wang. [PDF] [代码], 2024.10,

文本属性图

数据集

表 7 在我们的综述论文中大型语言模型在图上：全面综述。

TEG-DB：文本边缘图的综合数据集和基准测试。 NeurIPS 2024

Zhuofeng Li, Zixing Gou, Xiangnan Zhang, Zhongyuan Liu, Sirui Li, Yuntong Hu, Chen Ling, Zheng Zhang, Liang Zhao. [PDF] [代码] [数据集], 2024.9,

大型语言模型作为预测器（节点）

图作为序列（节点）

MATCH：在大型层次结构中进行元数据感知文本分类。 WWW 2021

Yu Zhang, Zhihong Shen, Yuxiao Dong, Kuansan Wang, Jiawei Han. [PDF] [代码], 2021.2,
QA-GNN：结合语言模型和知识图进行问题解答。 NAACL 2021

Michihiro Yasunaga, Hongyu Ren, Antoine Bosselut, Percy Liang, Jure Leskovec. [PDF] [代码], 2021.4,
自然语言是图所需的一切。 预印本

Ruosong Ye, Caiqi Zhang, Runhui Wang, Shuyuan Xu, Yongfeng Zhang. [PDF], 2023.8,
大型语言模型能否有效利用图结构信息：何时及为何。 预印本

Jin Huang, Xingjian Zhang, Qiaozhu Mei, Jiaqi Ma. [PDF] [代码], 2023.9,
图神经提示与大型语言模型。 预印本

Yijun Tian, Huan Song, Zichen Wang, Haozhu Wang, Ziqing Hu, Fang Wang, Nitesh V. Chawla, Panpan Xu. [PDF], 2023.9,
基于提示的节点特征提取器，用于文本属性图的少量学习。 预印本

Xuanwen Huang, Kaiqiao Han, Dezheng Bao, Quanjin Tao, Zhisheng Zhang, Yang Yang, Qi Zhu. [PDF], 2023.9, ,
GraphText：在文本空间中进行图推理。 预印本

Jianan Zhao, Le Zhuo, Yikang Shen, Meng Qu, Kai Liu, Michael Bronstein, Zhaocheng Zhu, Jian Tang [PDF], 2023.10,
GraphGPT：面向大型语言模型的图指令微调。 预印本

Jiabin Tang, Yuhao Yang, Wei Wei, Lei Shi, Lixin Su, Suqi Cheng, Dawei Yin, Chao Huang. [PDF], 2023.10,
在文本丰富的网络上学习多路嵌入，仅需一个文本编码器。 预印本

Bowen Jin, Wentao Zhang, Yu Zhang, Yu Meng, Han Zhao, Jiawei Han. [PDF][代码], 2023.10,
使用大型语言模型进行文本属性图的解耦表示学习。 预印本

Yijian Qin, Xin Wang, Ziwei Zhang, Wenwu Zhu. [PDF], 2023.10,
ReasoningLM：通过预训练语言模型中的结构子图推理，实现知识图上的问题解答。 EMNLP23

Jinhao Jiang, Kun Zhou, Wayne Xin Zhao, Yaliang Li, Ji-Rong Wen. [PDF], 2023.12,
Chain of History：使用 LLMs 进行时态知识图补全的学习和预测。 预印本

Ruilin Luo, Tianle Gu, Haoling Li, Junzhe Li, Zicheng Lin, Jiayi Li, Yujiu Yang. [PDF] [代码], 2024.1,
在大规模异构图上进行可扩展的链接预测，使用大型语言模型。 预印本

Baolong Bi, Shenghua Liu, Yiwei Wang, Lingrui Mei, Xueqi Chen. [PDF], 2024.1,
基于相似度的邻居选择，用于图 LLMs。 预印本

Rui Li, Jiwei Li, Jiawei Han, Guoyin Wang. [PDF], 2024.2,
让你的图说话：为 LLMs 编码结构化数据。 预印本

Bryan Perozzi, Bahare Fatemi, Dustin Zelle, Anton Tsitsulin, Mehran Kazemi, Rami Al-Rfou, Jonathan Halcrow. [PDF], 2024.2,
InstructGraph：通过图中心指令微调和偏好对齐增强大型语言模型。 预印本

Jianing Wang, Junda Wu, Yupeng Hou, Yao Liu, Ming Gao, Julian McAuley. [PDF], 2024.2,
图神经网络增强的检索，用于 LLMs 的问题解答。 预印本

Zijian Li, Qingyan Guo, Jiawei Shao, Lei Song, Jiang Bian, Jun Zhang, Rui Wang. [PDF], 2024.6,
LLMs 作为零样本图学习者：将 GNN 表示与 LLM 标记嵌入对齐。 预印本

Duo Wang, Yuan Zuo, Fengzhi Li, Junjie Wu. [PDF], 2024.8,

图增强的大型语言模型（节点）

知识图谱的图变换器文本生成。 NAACL 2019

Rik Koncel-Kedziorski, Dhanush Bekal, Yi Luan, Mirella Lapata, Hannaneh Hajishirzi. [PDF] [代码], 2019.4,
GraphFormers：文本图上表示学习的嵌套图神经网络变换器。 NeurIPs 2021

Junhan Yang, Zheng Liu, Shitao Xiao, Chaozhuo Li, Defu Lian, Sanjay Agrawal, Amit Singh, Guangzhong Sun, Xing Xie. [PDF][代码], 2021.5,
GreaseLM：用于问答的图推理增强语言模型。 ICLR 2022

Xikun Zhang, Antoine Bosselut, Michihiro Yasunaga, Hongyu Ren, Percy Liang, Christopher D Manning 和 Jure Leskovec. [PDF] [代码], 2022.1,
Heterformer：异质文本丰富网络上的基于变换器的深度节点表示学习。 KDD 2023

Bowen Jin, Yu Zhang, Qi Zhu, Jiawei Han. [PDF][代码], 2022.5,
隐藏模式网络。 预印本

Ramsés J. Sánchez, Lukas Conrads, Pascal Welke, Kostadin Cvejoski, César Ojeda. [PDF], 2022.7,
DRAGON：基于文本知识的双向语言模型预训练。 NeurIPs 2022

Michihiro Yasunaga, Antoine Bosselut, Hongyu Ren, Xikun Zhang, Christopher D. Manning, Percy Liang, Jure Leskovec. [PDF][代码], 2022.10,
Edgeformers：基于图的文本边缘网络表示学习增强变换器。 ICLR 2023

Bowen Jin, Yu Zhang, Yu Meng, Jiawei Han. [PDF][代码], 2023.1,
Patton：基于文本丰富网络的预训练语言模型。 ACL 2023

Bowen Jin, Wentao Zhang, Yu Zhang, Yu Meng, Xinyang Zhang, Qi Zhu, Jiawei Han. [PDF][代码], 2023.5,
图语言模型。 预印本

Moritz Plenz, Anette Frank. [PDF], 2024.1,
大型语言模型在文本图上的高效微调和推理。 预印本

Yun Zhu, Yaoke Wang, Haizhou Shi, Siliang Tang. [PDF], 2024.1,
HyperBERT：结合语言模型的超图感知层进行文本属性超图节点分类。 预印本

Adrián Bazaga, Pietro Liò, Gos Micklem. [PDF], 2024.2,
释放LLM作为文本和图结构数据的多模态编码器的力量。 预印本

Jiacheng Lin, Kun Qian, Haoyu Han, Nurendra Choudhary, Tianxin Wei, Zhongruo Wang, Sahika Genc, Edward W Huang, Sheng Wang, Karthik Subbian, Danai Koutra, Jimeng Sun. [PDF], 2024.10,

基于图的LLM微调

解释科学文档之间的关系。 ACL 2021

Kelvin Luu, Xinyi Wu, Rik Koncel-Kedziorski, Kyle Lo, Isabel Cachola, Noah A. Smith. [PDF], 2020.2,
SPECTER：使用引文信息变换器的文档级表示学习。 ACL 2020

Arman Cohan, Sergey Feldman, Iz Beltagy, Doug Downey, Daniel S. Weld. [PDF], 2020.4,
预训练用于即时检索：超链接也是你所需要的。 CIKM 2021

Zhengyi Ma, Zhicheng Dou, Wei Xu, Xinyu Zhang, Hao Jiang, Zhao Cao, Ji-Rong Wen. [PDF] [代码], 2021.8,
基于引文嵌入的科学文档表示的邻域对比学习。 EMNLP 2022

Malte Ostendorff, Nils Rethmeier, Isabelle Augenstein, Bela Gipp, Georg Rehm. [PDF][代码], 2022.2,
基于元数据的对比学习用于零样本多标签文本分类。 WWW 2022

Yu Zhang, Zhihong Shen, Chieh-Han Wu, Boya Xie, Junheng Hao, Ye-Yi Wang, Kuansan Wang, Jiawei Han. [PDF][代码], 2022.2,
LinkBERT：使用文档链接预训练语言模型。 ACL 2022

Michihiro Yasunaga, Jure Leskovec, Percy Liang. [PDF][代码], 2022.3,
E2EG：使用图拓扑和基于文本的节点属性进行端到端节点分类。 ICDM 2023

Tu Anh Dinh, Jeroen den Boef, Joran Cornelisse, Paul Groth. [PDF], 2022.8,
TwHIN-BERT：一种用于多语言推文表示的社交增强预训练语言模型。 KDD 2023

Xinyang Zhang, Yury Malkov, Omar Florez, Serim Park, Brian McWilliams, Jiawei Han, Ahmed El-Kishky. [PDF] [代码], 2022.9,
TouchUp-G：通过图中心微调改进特征表示。 预印本

Jing Zhu, Xiang Song, Vassilis N. Ioannidis, Danai Koutra, Christos Faloutsos. [PDF], 2023.9,
Wikiformer：用于即时检索的预训练，带有维基百科结构信息。 预印本

Weihang Su, Qingyao Ai, Xiangsheng Li, Jia Chen, Yiqun Liu, Xiaolong Wu, Shengluan Hou. [PDF], 2023.12,
WalkLM：用于属性图嵌入的统一语言模型微调框架。 NeurIPs 2023

Yanchao Tan, Zihao Zhou, Hang Lv, Weiming Liu, Carl Yang. [PDF], 2023.12,
GLaM：通过邻域划分和生成子图编码对大型语言模型进行领域知识图对齐微调。 AAAI 2024

Stefan Dernbach, Khushbu Agarwal, Alejandro Zuniga, Michael Henry, Sutanay Choudhury. [PDF], 2024.2,
UniGLM：为文本属性图训练一个统一的语言模型。 预印本 2024

Yi Fang, Dongzhe Fan, Sirui Ding, Ninghao Liu, Qiaoyu Tan. [PDF], 2024.6,

LLM 作为编码器

优化

GNN-LM：基于全局上下文的 GNN 语言模型。 ICLR 2022

孟宇翔、宗世、李晓oya、孙晓飞、张天伟、吴飞、李纪为。 [PDF] [代码]，2021.10，
通过自监督多尺度邻域预测进行节点特征提取。 ICLR 2022

Eli Chien、Wei-Cheng Chang、Cho-Jui Hsieh、Hsiang-Fu Yu、Jiong Zhang、Olgica Milenkovic、Inderjit S Dhillon。 [PDF][代码]，2021.11，
通过图神经网络在赞助搜索中改进文本编码器。 WWW 2021

朱杰森、崔艳玲、刘玉明、孙浩、李雪、Pelger Markus、杨天琪、张亮洁、张儒飞、赵海沙。 [PDF] [代码]，2022.1
在赞助搜索中行为图增强的相关性建模。 SIGIR 2021

李超卓、庞博晨、刘玉明、孙浩、刘征、谢星、杨天琪、崔艳玲、张亮洁、张琪。 [PDF] [代码], 2022.4
高效有效的语言和图神经网络模型训练。 AAAI 2023

Ioannidis Vassilis N、Song Xiang、Zheng Da、Zhang Houyu、Ma Jun、Xu Yi、Zeng Belinda、Chilimbi Trishul、Karypis George。 [PDF], 2022.6，
在大型图语料库上进行图感知语言模型预训练，以帮助多种图应用。 KDD 2023

谢汉、郑达、马军、张厚宇、Ioannidis Vassilis N、Song Xiang、Ping Qing、Wang Sheng、Yang Carl、Xu Yi、Zeng Belinda、Chilimbi Trishul。 [PDF], 2023.6，
探索大型语言模型（LLMs）在图学习中的潜力。 预印本

陈志凯、毛海涛、李航、金伟、温洪志、魏小驰、王帅强、尹大卫、樊文奇、刘辉、唐继亮。 [PDF] [代码], 2023.7，
SimTeG：一种简单方法改进文本图学习。 预印本

段科举、刘谦、Chua Tat-Seng、Yan Shuicheng、Ooi Wei Tsang、Xie Qizhe、何俊翔。 [PDF] [代码], 2023.8，

数据增强

解释作为特征：基于LLM的文本属性图特征。 预印本

何晓昕、Bresson Xavier、Laurent Thomas、Perold Adam、LeCun Yann、Hooi Bryan。 [PDF] [代码], 2023.5，
在图上无需标签的节点分类，使用大型语言模型（LLMs）。 预印本

陈志凯、毛海涛、温洪志、韩浩宇、金伟、张海阳、刘辉、唐继亮。 [PDF], 2023.9，
利用大型语言模型（LLMs）增强文本属性图学习。 预印本

于剑翔、任宇翔、龚成华、谭家奇、李翔、张雪沧。 [PDF], 2023.10，
大型语言模型作为文本属性图的拓扑结构增强器。 预印本

孙盛银、任宇翔、马晨、张雪沧。 [PDF], 2023.11，
文本属性图的全面研究：基准测试与反思。 NeurIPS 2023

严浩、李超卓、龙若松、严超、赵建安、庄文文、阴军、张佩燕、韩伟豪、孙浩、邓伟伟、张琪、孙立超、谢星、王森。 [PDF] [代码], 2023.11，
从大型语言模型中提取事件序列知识。 预印本

Wadhwa Somin、Hassanzadeh Oktie、Bhattacharjya Debarun、Barker Ken、Ni Jian。 [PDF], 2024.1，
不要忘记连接！使用基于图的重新排序改进RAG。 预印本

Dong Jialin、Fatemi Bahare、Perozzi Bryan、Yang Lin F.、Tsitsulin Anton。 [PDF], 2024.5，
GAugLLM：通过大型语言模型改进图对比学习的文本属性图。 KDD 2024

方艺、樊东哲、赵道臣、谭乔宇。 [PDF], 2024.5，

效率

训练您自己的GNN教师：文本图的图感知蒸馏。 PKDD 2023

Mavromatis C.、Ioannidis V. N.、Wang S.、Zheng D.、Adeshina S.、Ma J.、Zhao H.、Faloutsos C.、Karypis G.。 [PDF], 2023.4，
在图上高效微调大型语言模型。 预印本

Xue Rui、Shen Xipeng、Yu Ruozhou、Liu Xiaorui。 [PDF], 2023.12，
为文本属性图学习蒸馏大型语言模型。 预印本

Pan Bo、Zhang Zheng、Zhang Yifei、Hu Yuntong、Zhao Liang。 [PDF], 2024.2，
参数高效微调大型语言模型进行图表示学习。 预印本

Zhu Qi、Zheng Da、Song Xiang、Zhang Shichang、Jin Bowen、Sun Yizhou、Karypis George。 [PDF], 2024.4，
在文本属性图中桥接局部细节和全局上下文。 预印本

Wang Yaoke、Zhu Yun、Zhang Wenqiao、Zhuang Yueting、Li Yunfei、Tang Siliang。 [PDF], 2024.6，
图语言模型。 ACL 2024

Plenz Moritz、Frank Anette。 [PDF][代码], 2024.1，
图神经网络在极其微弱文本监督下能否学习语言？ 预印本

Li Zihao、Zheng Lecheng、Jin Bowen、Fu Dongqi、Jing Baoyu、Ban Yikun、He Jingrui、Han Jiawei。 [PDF], 2024.12，

作为对齐器的大型语言模型（节点）

预测对齐

通过在文本丰富的网络上学习实现的微监督结构丰富文本分类。 WWW 2021

Xinyang Zhang, Chenwei Zhang, Luna Xin Dong, Jingbo Shang, Jiawei Han. [PDF] [代码], 2021.2,
通过变分推理在大规模文本属性图上进行学习。 ICLR 2023

Jianan Zhao, Meng Qu, Chaozhuo Li, Hao Yan, Qian Liu, Rui Li, Xing Xie, Jian Tang. [PDF][代码], 2023.1,

潜在空间对齐（节点）

ConGraT：用于联合图和文本嵌入的自监督对比预训练。 预印本

William Brannon, Suyash Fulay, Hang Jiang, Wonjune Kang, Brandon Roy, Jad Kabbara, Deb Roy. [PDF] [代码], 2023.5,
通过图基预训练和提示增强低资源文本分类。 SIGIR 2023

Zhihao Wen, Yuan Fang. [PDF], 2023.5,
GRENADE：用于文本属性图自监督表征学习的图中心语言模型。 EMNLP 2023

Yichuan Li, Kaize Ding, Kyumin Lee. [PDF][代码], 2023.10,
通过文本属性异质图预训练语言模型。 预印本

Tao Zou, Le Yu, Yifei HUANG, Leilei Sun, Bowen Du. [PDF] [代码], 2023.10,

文本配对图（分子）

数据集

我们综述论文中的表8 大型语言模型在图上：全面综述。

作为预测器的大型语言模型（图）

图作为序列

SMILES-BERT: 大规模无监督预训练用于分子属性预测 BCB 19

王盛, 郭宇智, 王宇宏, 孙红茂, 黄俊洲 [PDF] [代码], 2019.09,
MolGPT: 使用Transformer-解码器模型进行分子生成 Journal of Chemical Information and Modeling

Viraj Bagal, Rishal Aggarwal, P. K. Vinod, U. Deva Priyakumar [PDF] [代码], 2021.10, ,
一个深度学习系统桥接分子结构与生物医学文本，理解能力与专业人士相当 Nature Communications

曾zeni, 姚元, 刘志远, 孙茂松 [PDF] [代码], 2022.02,
Chemformer: 用于计算化学的预训练Transformer Machine Learning: Science and Technology

Ross Irwin, Spyridon Dimitriadis, Jiazhen He, Esben Jannik Bjerrum [PDF] [代码], 2022.02,
大规模分布式训练Transformer用于化学指纹识别 Journal of Chemical Information and Modeling

Hisham Abdel-Aty, Ian R. Gould [PDF] [代码], 2022.06,
Galactica: 用于科学的的大型语言模型 预印本

Ross Taylor, Marcin Kardas, Guillem Cucurull, Thomas Scialom, Anthony Hartshorn, Elvis Saravia, Andrew Poulton, Viktor Kerkez, Robert Stojnic [PDF] [代码], 2022.11,
分子与自然语言之间的翻译 EMNLP 2022

Carl Edwards, Tuan Lai, Kevin Ros, Garrett Honke, Kyunghyun Cho, Heng Ji. [PDF] [代码], 2022.12,
通过多任务语言模型统一分子和文本表示 ICML 2023

Dimitrios Christofidellis, Giorgio Giannone, Jannis Born, Ole Winther, Teodoro Laino, Matteo Manica [PDF] [代码], 2023.05,
大型语言模型在化学领域的应用：八项任务的全面基准测试 NeurIPS 2023

郭泰成, 郭科汉, 钮波浩, 梁振文, 郭志春, Chawla Nitesh V., Olaf Wiest, 张祥亮 [PDF] [代码], 2023.9,
MolXPT: 为生成性预训练封装分子与文本 ACL 2023

刘泽群, 张伟, 夏应翠, 吴立军, 谢舒芳, 秦涛, 张明, 刘铁岩. [PDF], 2023.05,
使用自然语言进行交互式分子发现 预印本

曾zeni, 阴邦晨, 王树鹏, 刘家锐, 杨成, 姚海申, 孙星志, 孙茂松, 谢国通, 刘志远. [PDF] [代码], 2023.06,
利用大型语言模型增强分子发现：分子-标题翻译视角下的ChatGPT应用 预印本

李佳童, 刘云庆, 樊文奇, 魏小勇, 刘辉, 唐季亮, 李庆. [PDF], 2023.06, [代码],
回归Transformer实现分子语言建模的序列回归与生成 Nature Machine Intelligence

Jannis Born, Matteo Manica [PDF] [代码], 2023.6, ,
大型语言模型能否增强分子属性预测？ 预印本

钱晨, 唐怀艺, 杨志瑞, 梁红, 刘勇. [PDF] [代码], 2023.7,
Mol-Instructions: 用于大型语言模型的大型生物分子指令数据集 预印本

方银, 梁小转, 张宁宇, 刘康伟, 黄瑞, 陈卓, 樊小辉, 陈怀军 [PDF], 2023.07,
GPT-MolBERTa: 用于分子属性预测的GPT分子特征语言模型 预印本

Balaji, Suryanarayanan, Rishikesh Magar, Yayati Jadhav. [PDF], 2023.10,
大型语言模型对科学发现的影响：使用GPT-4的初步研究 预印本

Microsoft Research AI4Science, Microsoft Azure Quantum [PDF], 2023.11,
面向语言模型中的3D分子-文本解释 ICLR 2024

李思航, 刘志远, 罗燕晨, 王祥, 何祥南, 巢志成, 蔡天成, 李琪. [PDF], 2024.1,
MolTC: 面向语言模型的分子关系建模 预印本

方俊锋, 张帅, 吴昌, 杨正谊, 刘志远, 李思航, 王焜, 杜文杰, 王祥. [PDF], 2024.2,
大型语言模型是上下文中的分子学习器 预印本

李佳童, 刘伟, 丁志豪, 樊文奇, 李宇强, 唐季亮. [PDF], 2024.3,
HIGHT: 用于图-语言对齐的层次图标记化 预印本

陈永强, 姚泉明, 张巨正, 程杰, 毕玉涛. [PDF], 2024.6,
MolecularGPT: 开放式大型语言模型用于少量样本分子属性预测 预印本

刘雨言, 丁思锐, 周盛, 樊文奇, 谭巧玉 [PDF], 2024.6,

图增强型LLM (Graph)

Text2Mol：基于自然语言查询的跨模态分子检索。 EMNLP 2021

Carl Edwards, ChengXiang Zhai, Heng Ji. [PDF] [代码], 2021.10,
GIMLET：基于指令的分子零样本学习的统一图-文本模型。 预印本

Haiteng Zhao, Shengchao Liu, Chang Ma, Hannan Xu, Jie Fu, Zhi-Hong Deng, Lingpeng Kong, Qi Liu. [PDF] [代码], 2023.6,
Prot2Text：基于GNN和Transformers的多模态蛋白质功能生成。 预印本

Hadi Abdine, Michail Chatzianastasis, Costas Bouyioukos, Michalis Vazirgiannis [PDF], 2023.07,
ReLM：利用语言模型增强化学反应预测。 EMNLP 2023

Yaorui Shi, An Zhang, Enzhi Zhang, Zhiyuan Liu, Xiang Wang. [PDF] [代码], 2023.10,
基于生物医学知识图谱的提示生成，以增强大型语言模型。 预印本

Karthik Soman, Peter W Rose, John H Morris, Rabia E Akbas, Brett Smith, Braian Peetoom, Catalina Villouta-Reyes, Gabriel Cerono, Yongmei Shi, Angela Rizk-Jackson, Sharat Israni, Charlotte A Nelson, Sui Huang, Sergio E Baranzini [PDF] [代码], 2023.11,
L+M-24：构建语言+分子的数据集 @ ACL 2024 预印本

Carl Edwards, Qingyun Wang, Lawrence Zhao, Heng Ji [PDF] [代码], 2024.2,

LLM 作为对齐器（图）

潜在空间对齐（图）

一种将分子图与自然语言相关联的多模态基础模型。 预印本

Bing Su, Dazhao Du, Zhao Yang, Yujie Zhou, Jiangmeng Li, Anyi Rao, Hao Sun, Zhiwu Lu, Ji-Rong Wen [PDF] [代码], 2022.09,
用于基于文本检索和编辑的多模态分子结构-文本模型。 预印本

Shengchao Liu, Weili Nie, Chengpeng Wang, Jiarui Lu, Zhuoran Qiao, Ling Liu, Jian Tang, Chaowei Xiao, Anima Anandkumar [PDF], 2022.10,
使用多模态对比学习从自然语言中提取分子属性 ICML 2023 工作坊计算生物学

Romain Lacombe, Andrew Gaut, Jeff He, David Lüdeke, Kateryna Pistunova [PDF], 2023.07,
ProtST：蛋白质序列与生物医学文本的多模态学习。 ICML 2023

Minghao Xu, Xinyu Yuan, Santiago Miret, Jian Tang. [PDF] [代码], 2023.1,
在药物发现中增强活动预测模型，使其能够理解人类语言。 ICML 2023

Philipp Seidl, Andreu Vall, Sepp Hochreiter, Günter Klambauer. [PDF] [代码], 2023.5,
MolFM：一种多模态分子基础模型。 预印本

Yizhen Luo, Kai Yang, Massimo Hong, Xing Yi Liu, Zaiqing Nie. [PDF] [代码], 2023.7,
GIT-Mol：一种用于分子科学的图-图-文多模态大型语言模型。 预印本

Pengfei Liu, Yiming Ren, Zhixiang Ren [PDF], 2023.08,
MolCA：具有跨模态投影器和单模态适配器的分子图-语言建模。 EMNLP 2023

Zhiyuan Liu, Sihang Li, Yanchen Luo, Hao Fei, Yixin Cao, Kenji Kawaguchi, Xiang Wang, Tat-Seng Chua. [PDF] [代码], 2023.10,
CHEMREASONER：使用量子化学反馈在大型语言模型的知识空间中进行启发式搜索。 预印本

Henry W. Sprueill, Carl Edwards, Khushbu Agarwal, Mariefel V. Olarte, Udishnu Sanyal, Conrad Johnston, Hongbin Liu, Heng Ji, Sutanay Choudhury. [PDF], 2024.2,
图神经网络能否在极弱的文本监督下学习语言？ 预印本

Zihao Li, Lecheng Zheng, Bowen Jin, Dongqi Fu, Baoyu Jing, Yikun Ban, Jingrui He, Jiawei Han. [PDF], 2024.12,

其他

使用大型语言模型中的噪声注释进行实体对齐。 NeurIPS 2024

Shengyuan Chen, Qinggang Zhang, Junnan Dong, Wen Hua, Qing Li, Xiao Huang. [PDF] [代码], 2024.9,
迭代图对齐。 预印本

Fangyuan Yu, Hardeep Singh Arora, Matt Johnson. [PDF], 2024.8,
大型语言模型基于图的代理规划能否得到改善？ NeurIPS 2024

Xixi Wu, Yifei Shen, Caihua Shan, Kaitao Song, Siwei Wang, Bohang Zhang, Jiarui Feng, Hong Cheng, Wei Chen, Yun Xiong, Dongsheng Li. [PDF] [代码], 2024.5,
GraphTeam：通过多代理协作促进基于大型语言模型的图分析。 预印本

Xin Li, Qizhi Chu, Yubin Chen, Yang Liu, Yaoqi Liu, Zekai Yu, Weize Chen, Chen Qian, Chuan Shi, Cheng Yang. [PDF] [代码], 2024.10,
GCoder：改进大型语言模型用于广义图问题解决。 预印本

Qifan Zhang, Xiaobin Hong, Jianheng Tang, Nuo Chen, Yuhan Li, Wenzhong Li, Jing Tang, Jia Li. [PDF] [代码], 2024.10,
用于长文本语言模型输出的图不确定性度量。 NeurIPs 2024

Mingjian Jiang, Yangjun Ruan, Prasanna Sattigeri, Salim Roukos, Tatsunori Hashimoto. [PDF], 2024.10

贡献

我们非常欢迎对该仓库的贡献！

如果您发现了任何错误或拥有相关的资源，请随时创建一个 Issue 或 Pull Request。

论文格式：

1. **[paper title].** `[]`

    *[authors].* [[PDF]([pdf link])] [[Code]([code link])], published time, ![](https://img.shields.io/badge/[architecture]-blue) ![](https://img.shields.io/badge/[size]-red)

引用

如果您发现本资源对您的研究有所帮助，请引用以下论文。

@article{jin@llmgraph,
  title={Large Language Models on Graphs: A Comprehensive Survey},
  author={Jin, Bowen and Liu, Gang and Han, Chi and Jiang, Meng and Ji, Heng and Han, Jiawei},
  journal={arXiv preprint arXiv:2312.02783},
  year={2023}
}

请提供您希望翻译的文本内容，我将根据您的要求进行翻译。

项目介绍