从零开始运行BERT的详细教程，使用MRPC数据集进行测试

news2024/11/21 0:33:05

1、安装anaconda环境

镜像网址:Index of /anaconda/archive/ | 清华大学开源软件镜像站 | Tsinghua Open Source Mirror

2、配置环境变量

3、创建虚拟环境

#常用命令
#创建
conda create -n xxx python=3.8
#激活
conda activate xxx
#删除
conda remove -n xxx --all
#查看
conda env list


#创建虚拟环境
#这里使用conda创建一个新的虚拟环境：
conda create -n bert python=3.7
#bert的运行需要tensorflow的支持，要在该环境中安装一下tensorflow，需要注意的是，一定要安装下面指定版本，不然后面运行会报错。
conda activate bert             # 进入刚创建的虚拟环境
conda install tensorflow==1.14      # 安装tensorflow 1.14 版本

4、安装Pycharm

5、下载BERT工程

也可以用我提供的网盘链接下载我的工程

BERT 链接：百度网盘请输入提取码百度网盘为您提供文件的网络备份、同步和分享服务。空间大、速度快、安全稳固，支持教育网加速，支持手机端。注册使用百度网盘即可享受免费存储空间https://pan.baidu.com/s/17DQFiLWEca2q4eMQO501tg?pwd=mc16 提取码：mc16

推荐博主视频:【BERT模型实战教程：基于BERT模型的文本分类、情感分析及中文命名实体识别实战教程，迪哥带你玩转NLP核心框架—BERT模型！（人工智能/深度学习）】 3-数据读取模块_哔哩哔哩_bilibili

5、在Pycharm中配置虚拟环境

6、配置环境变量

--task_name=MRPC //要使用的数据集 --do_train=true //是否训练 --do_eval=true //是否训练后进行验证，即验证后的结果，准确率等参数 --data_dir=../GLUE/glue_data/MRPC //数据集位置 --vocab_file=../GLUE/BERT_BASE_DIR/uncased_L-12_H-768_A-12/vocab.txt//语料表的位置 --bert_config_file=../GLUE/BERT_BASE_DIR/uncased_L-12_H-768_A-12/bert_config.json --init_checkpoint=../GLUE/BERT_BASE_DIR/uncased_L-12_H-768_A-12/bert_model.ckpt --max_seq_length=128 // 这个看你电脑的配置，尽量别太大 --train_batch_size=8 // 这个看你电脑的配置，尽量别太大 --learning_rate=2e-5 --num_train_epochs=1.0 --output_dir=../GLUE/output // 训练好的模型输出路径

注意注意，这个要根据你的目录进行配置，../表示相对路径下的目录

这个非常重要，要仔细配置，确保无误，否则会出现，我在这错了半天，发现是我的路径多了个小东西

tensorflow/stream_executor/platform/default/dso_loader.cc:44] Successfully opened dynamic library cudart64_101.dll
Windows fatal exception: access violation

Current thread 0x00004a90 (most recent call first):
File "C:\Users\DELL\Anaconda3\envs\tensorflow-gpu\lib\site-packages\tensorflow_core\python\lib\io\file_io.py", line 84 in _preread_check
File "C:\Users\DELL\Anaconda3\envs\tensorflow-gpu\lib\site-packages\tensorflow_core\python\lib\io\file_io.py", line 122 in read
File "D:\senti\code\Bert\modeling.py", line 94 in from_json_file
File "D:/senti/code/Bert/run_classifier.py", line 844 in main
File "C:\Users\DELL\Anaconda3\envs\tensorflow-gpu\lib\site-packages\absl\app.py", line 250 in _run_main
File "C:\Users\DELL\Anaconda3\envs\tensorflow-gpu\lib\site-packages\absl\app.py", line 299 in run
File "C:\Users\DELL\Anaconda3\envs\tensorflow-gpu\lib\site-packages\tensorflow_core\python\platform\app.py", line 40 in run
File "D:/senti/code/Bert/run_classifier.py", line 1025 in <module>

Process finished with exit code -1073741819 (0xC0000005)