LLM - 搭建 DrugGPT 与药物分子领域结合的 ChatGPT 系统

news2024/10/6 14:26:49

欢迎关注我的CSDN：https://spike.blog.csdn.net/
本文地址：https://blog.csdn.net/caroline_wendy/article/details/131384199

DrugChat

论文：DrugChat: Towards Enabling ChatGPT-Like Capabilities on Drug Molecule Graphs

DrugChat，基于图神经网络和大型语言模型的原型系统，能够实现类似ChatGPT的功能，对药物分子图进行交互式问答和文本描述。本文收集了两个包含药物分子图和问题答案配对的数据集，用于训练 DrugChat。DrugChat 的目标是革新与药物分子图的交互方式，加速药物发现，预测药物性质，提供药物设计和优化的建议等。这是第一个将图数据与大型语言模型结合的系统，可以扩展到其他类型的图数据分析。

系统的工作流程如下：

  1. 用户输入一个药物分子图或一个问题。
  2. 系统将药物分子图转换为一个图向量，然后将其与问题拼接起来，形成一个输入序列。
  3. 系统将输入序列输入到一个预训练的大型语言模型中，得到一个输出序列。
  4. 系统将输出序列解码为一个答案或一个文本描述，返回给用户。

部署的模型需要重新训练。

1. 配置环境

1.1 配置基础 Docker 环境

启动 Docker 环境：

nvidia-docker run -it --privileged --network bridge --shm-size 32G --name gpt-[your name] -p 9300:9300 -v /nfs:/nfs glm:nvidia-pytorch-1.11.0-cu116-py3

安装 conda 环境：

cd files/
bash Miniconda3-py38_23.3.1-0-Linux-x86_64.sh

配置 pip 环境：

rm /opt/conda/pip.conf
rm /root/.config/pip/pip.conf
rm /root/.pip/pip.conf
mkdir ~/.pip
vim ~/.pip/pip.conf

pip.conf中配置如下：

[global]
no-cache-dir = true
index-url = https://pypi.tuna.tsinghua.edu.cn/simple/
extra-index-url = https://pypi.ngc.nvidia.com
trusted-host = pypi.ngc.nvidia.com, pypi.tuna.tsinghua.edu.cn

配置 conda 环境：

cp .condarc ~/.conda/.condarc

.condarc中配置如下：

channels:
  - defaults
show_channel_urls: true
default_channels:
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2
custom_channels:
  conda-forge: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  msys2: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  bioconda: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  menpo: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  pytorch: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  simpleitk: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
channel_priority: disabled
allow_conda_downgrades: true

完成全部配置：

source ~/.bashrc
nvidia-smi

2.2 配置专属 Docker 环境

构建 PyTorch 环境：

git clone https://github.com/UCSD-AI4H/drugchat
cd drugchat
cat environment.yml
conda env create -f environment.yml
conda activate drugchat

安装时间较长，请耐心等待。

检查 PyTorch 是否可用：

python -c "import torchvision; print(torchvision.__version__)"
python -c "import torch; print(torch.__version__)"

如果不可用，卸载 PyTorch，并重新安装：

conda list | grep "torch"
conda uninstall torch pytorch torchvision torchaudio cudatoolkit

检查 CUDA 环境，选择安装命令：

nvidia-smi
conda install pytorch==1.12.1 torchvision==0.13.1 torchaudio==0.12.1 cudatoolkit=11.[6 or 4 by your version] -c pytorch -c conda-forge

构建 PyTorch Geometric 环境：

conda install pyg=2.3.0 pytorch-scatter=2.1.0 -c pyg

准备 vicuna_weights，由LLaMA-13B-hf与Vicuna-13B的参数合成：

# 参数位置
workspace/vicuna-13b-weight

参数地址，位于 pipeline/configs/models/drugchat.yaml，修改路径：

# Vicuna
llama_model: "/home/h5guo/shared/Mini-GPT4/vicuna_weights"

2. 训练模型

运行训练命令，确保没有任何错误：

nvidia-smi
CUDA_VISIBLE_DEVICES=1 bash finetune_gnn.sh
CUDA_VISIBLE_DEVICES=1 nohup bash finetune_gnn.sh > nohup.finetune_gnn.out &

等待运行完成，运行较慢 Loading LLAMA ，如遇问题，请参考 Bugfix 部分。

训练日志，大约需要4~5h * 10 = 40~50h，即3天，如下：

2023-06-25 15:47:38,120 [INFO] Start training epoch 0, 130458 iters per inner epoch.
Train: data epoch: [0]  [     0/130458]  eta: 2 days, 21:47:19  lr: 0.000001  loss: 2.5360  time: 1.9258  data: 0.0000  max mem: 27346
2023-06-25 15:47:40,048 [INFO] Reducer buckets have been rebuilt in this iteration.
Train: data epoch: [0]  [    50/130458]  eta: 5:54:04  lr: 0.000001  loss: 2.1791  time: 0.1299  data: 0.0000  max mem: 28622
...

Bugfix

Bug1: ImportError: libGL.so.1: cannot open shared object file: No such file or directory

OpenCV 异常，安装相应的包即可

sudo apt-get update 
sudo apt-get install ffmpeg libsm6 libxext6  -y

安装时遇到时间选项：选择 6 (Asia) 和 70 (Shanghai)

Bug2: FileNotFoundError: [Errno 2] No such file or directory: ‘ckpt/with_gnn_node_feat.pth’

修改源码 pipeline/models/mini_gpt4.py：

...
ckpt_path = cfg.get("ckpt", "")  # load weights of MiniGPT-4
import os
if ckpt_path and os.path.exists(ckpt_path):
    ckpt = torch.load(ckpt_path, map_location="cpu")
...

Bug3: RuntimeError: CUDA error: CUBLAS_STATUS_NOT_INITIALIZED when calling cublasCreate(handle)

CUDA缓存过低，使用 CUDA_VISIBLE_DEVICES 选择不同的卡：

nvidia-smi
CUDA_VISIBLE_DEVICES=1,2,3,5 bash finetune_gnn.sh

参考：

  • CSDN - Docker的常用命令（Image、Container、Jupiter）
  • CSDN - 高性能的 PyTorch 训练环境配置 (PyTorch3D 和 FairScale)
  • CSDN - 基于 Vicuna-13B 参数计算搭建私有 ChatGPT 在线聊天
  • CSDN - ModuleNotFoundError: No module named torch_geometric

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/683751.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

【简单认识Nginx服务性能与安全优化】

【简单认识Nginx服务性能与安全优化】

文章目录 Nginx隐藏版本相关信息1.隐藏版本号2.修改版本号及相关信息 二、修改Nginx运行时的属主和属组三、配置Nginx网页缓存时间四、配置Nginx站点日志分割五、设置Nginx长连接及超时时间六、配置Nginx网页压缩七、配置Nginx防盗链1.模拟盗链2.配置防盗链并测试 Nginx隐藏版本…
阅读更多...
【算法】数学相关知识总结

【算法】数学相关知识总结

文章目录 gcd 和 lcm取模运算 %求一个点和一片矩形区域之间的最短距离 本文用于记录一些关于算法题中偶尔被使用到的数学相关知识。 gcd 和 lcm gcd 和 lcm 分别是 最大公约数（Greatest common divisor） 和 最小公因数（Least Common Multip…
阅读更多...
Nginx-redis【会话保持】

Nginx-redis【会话保持】

什么是会话保持 当用于登录一个网站服务器， 网站服务器会将用户的登录信息存储下来（存储session），以保证我们能一直处于登录在线的状态 为什么要做会话保持 由于我们使用的是负载均衡轮询机制，会导致用户请求分散在…
阅读更多...
nginx页面优化

nginx页面优化

文章目录 nginx页面优化一.nginx优化1.版本号1.1查看版本号1.2修改版本号1.2.1修改配置文件1.2.2修改源码文件，重新编译安装 2.nginx的日志分割2.1 写日志分割的脚本2.2给脚本执行权限、执行2.3创建定时任务可以每个月固定分割一次 3.nginx的页面压缩3.1配置3.2验证…
阅读更多...
第1讲 Camera Sensor Driver课程简介

第1讲 Camera Sensor Driver课程简介

更多资源： 资源描述在线课程极客笔记在线课程知识星球星球名称：深入浅出Android Camera 星球ID: 17296815Wechat极客笔记圈 课程内容介绍 目标： 课程主要帮助大家理解camera sensor基本概念及原理知识，理解高通camera sensor驱…
阅读更多...
前端开发——常用案例分享

前端开发——常用案例分享

✅作者简介：2022年博客新星 第八。热爱国学的Java后端开发者，修心和技术同步精进。 🍎个人主页：Java Fans的博客 🍊个人信条：不迁怒，不贰过。小知识，大智慧。 💞当前专栏…
阅读更多...
美one，不想只做李佳琦背后的MCN

美one，不想只做李佳琦背后的MCN

文 | 螳螂观察 作者 | 青月 今年618，处在消费提振的关键时期，又面临着行业竞争日趋激烈，各大电商平台都希望能交出一份让市场满意的“期中答卷”，直播不可避免的成为了“兵家必争之地”。 京东请来了罗永浩与“交个朋友”入驻&a…
阅读更多...
抖音seo矩阵系统源码|需求文档编译说明（二）

抖音seo矩阵系统源码|需求文档编译说明（二）

目录 1.抖音seo矩阵系统文档开发流程 2.各平台源码编译方式说明 3.底层技术功能表达式 1.抖音seo矩阵系统文档开发流程 ①产品原型 ②需求文档 ③产品流程图 ④部署方式说明 ⑤完整源码 ⑥源码编译方式说明 ⑦三方框架和SDK使用情况说明和代码位置 ⑧平台操作文档 ⑨程序架…
阅读更多...
完美外贸企业邮箱签名设置指南：提升专业形象，优化商务沟通

完美外贸企业邮箱签名设置指南：提升专业形象，优化商务沟通

邮箱签名是一个很好的方式，让您的外贸企业觉得你的公司比较专业。它可以包括公司名称和标志，联系信息和其他相关信息。以下是一些指导原则，可以帮助您创建适合您业务的邮箱签名: 第一步:选择一个合适的Logo 选择一个适合你的企业的标志是很重…
阅读更多...
踏响新中国钢铁工业的铿锵足音《淬火丹心》湖北卫视热血开播

踏响新中国钢铁工业的铿锵足音《淬火丹心》湖北卫视热血开播

由湖北省广播电视局、湖北广播电视台、湖北长江华晟影视有限责任公司等联合摄制，向勇执导，唐曾、吕一、王雨、董晴等主演的大型现代工业题材剧《淬火丹心》，将于6月25日登陆湖北卫视长江剧场开播。该剧以年轻一代中国钢铁人的励志成长为主线&…
阅读更多...
python包 配置镜像源

python包 配置镜像源

阅读更多...
排序算法——计数排序

排序算法——计数排序

计数排序 以升序排序为例 文章目录 计数排序什么是计数排序实现思路具体步骤实现代码时间复杂度和局限性时间复杂度局限性 什么是计数排序 计数排序是一个非基于比较的排序算法，该算法于1954年由 Harold H. Seward 提出基本思想：是对于给定的输入序列中…
阅读更多...
运算放大器（一）：电压跟随器

运算放大器（一）：电压跟随器

一、电压跟随器 电压跟随器（单位增益放大器、缓冲放大器或隔离放大器）是一种电压放大倍数为 1 的运算放大器，能够将输入信号的电压放大到同样的幅度并输出，同时保持输入输出电阻不变（电压跟随器的输入电阻很大&#x…
阅读更多...
Python网络编程:socket包的用法

Python网络编程:socket包的用法

持续补充 1 网络编程 网络编程，主要用于两台或多台计算机之间的通信，也可以是同一台计算机内不同进程之间的通信。Socket套接字可以用来实现网络通信。关于Socket套接字，需要注意以下几点： Socket是网络通信中应用层和传输层之间…
阅读更多...
安装numpy

安装numpy

pip install numpy1.21.6 -i https://mirrors.aliyun.com/pypi/simple/ 最外面的python.exe 是默认版本 下载包----第二种方式
阅读更多...
调用有道API实现图片翻译

调用有道API实现图片翻译

调用有道API实现图片翻译 1．作者介绍2．关于理论方面的知识介绍3．调用有道API实现图片翻译实验3.1官方代码与结果3.2解码3.3换行输出3.4 示例展示 1．作者介绍 周慧龙，男，西安工程大学电子信息学院&#xff…
阅读更多...
心电图机原理及电路超详细讲解

心电图机原理及电路超详细讲解

心电图机原理及电路超详细讲解 心电图主要器件导联单极导联和双极导联威尔逊中心端加压导联胸导联 心电图机的结构电路框图介绍输入部分过压保护电路高频滤波电路低压保护及缓冲放大器屏蔽驱动电路导联选择起搏脉冲抑制与定标电路肌电滤波、时间常数电路、封闭电路与电极异常检…
阅读更多...
【OC底层_消息发送与转发机制原理】

【OC底层_消息发送与转发机制原理】

文章目录 前言动态类型动态绑定为何为动态语言？ 什么是消息传递选择子SELIMPIMP和SEL的关系 消息发送1. 快速查找objc_msgSend()的执行流程objc_msgSend()深基核心逻辑及其参数解析源码解析消息发送的快速查找总结：objc_msgSend(receiver, sel, …)对于b…
阅读更多...
接口测试Post请求提交数据的四种类型

接口测试Post请求提交数据的四种类型

常见的post提交数据类型有四种： 第一种：application/json 这是最常见的json格式，也是非常友好的深受小伙伴喜欢的一种，如下 {“input1”:“xxx”,“input2”:“ooo”,“remember”:false} 第二种：application/x-www…
阅读更多...
【MySQL实战】笔记

【MySQL实战】笔记

1、MySQL的基本架构组成 MySQL的基本架构组成包括以下几个部分： 连接器（Connection Manager）：负责与客户端建立连接，并处理客户端发送的请求。连接器会验证客户端的身份、分配线程和缓存等资源，并将请求转…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023