大家好，我是爱编程的喵喵。双985硕士毕业，现担任全栈工程师一职，热衷于将数据思维应用到工作与生活中。从事机器学习以及相关的前后端开发工作。曾在阿里云、科大讯飞、CCF等比赛获得多次Top名次。现为CSDN博客专家、人工智能领域优质创作者。喜欢通过博客创作的方式对所学的知识进行总结与归纳，不仅形成深入且独到的理解，而且能够帮助新手快速入门。

个人精心开设的《Python基础课程》专栏订阅量接近900，帮助不少同学解决了Bug。最近有一个学习很认真的同学给我反馈，专栏博客帮助他解决了大模型、爬虫、Python基础等各类问题，但有时候找起来不太方便，希望能对专栏的文章进行分门别类的整理，这样就能提高检索效率。

优秀的建议必须毫不犹豫地被接纳，虽然客观来说整理是一件工作量不小的事情，但想到蚕蛹化蝶之前必须经历痛苦的挣扎才能破茧成蝶。所以这两天一忙完工作就马不停蹄的继续整理。现有类别包括大模型、机器学习、爬虫、数据处理与可视化、anaconda & pip & jupyter notebook & ipython & pycharm、数据库与中间件、常用Python库、Python基础、github等，，大家可点击博客右侧的按钮查看目录，如下图所示：
在这里插入图片描述
本专栏每周至少更新5篇相关文章，目标至少是1000篇+，所以后续还会不断进行扩充，希望最终能够对订阅的同学们有所帮助。

1. 大模型

1.1 transformers & huggingface

huggingface_hub.utils._validators.HFValidationError Repo id must be in the form repo_name or name解决方案
TypeError: transformers.tokenization_utils_base.PreTrainedTokenizerBase._from_pretrained() got multiple values for keyword argument 'use_auth_token’解决方案
transformers加载模型时自动选择空闲的单个GPU的实战代码
transformers加载模型时自动选择空闲的多个GPU的实战代码
修改huggingface模型的储存位置的设置方法
huggingface datasets离线加载文件的解决方案
huggingface datasets map时出现KeyError: 'output’的解决方案
RuntimeError: expected scalar type Half but found Float解决方案
ValueError: paged_adamw_32bit is not a valid OptimizerNames, please select one of [‘adamw_hf’, ‘adamw_torch’, ‘adamw_torch_fused’, ‘adamw_torch_xla’, ‘adamw_apex_fused’, ‘adafactor’, ‘adamw_bnb_8bit’, ‘adamw_anyprecision’, ‘sgd’, ‘adagrad’]解决方案
tokenizers＞=0.13.3 is required for a normal functioning of this module, but found tokenizers解决方案
ValueError: Connection error, and we cannot find the requested files in the cached path.解决方案

1.2 pytorch

ModuleNotFoundError: No module named ‘torch._six‘的解决方案
Pytorch RuntimeError: No CUDA GPUs are available解决方案
OSError Unable to load weights from pytorch checkpoint file for pytorch_model.bin解决方案
Import Error: from torchtext.data import to_map_style_dataset解决方案
Pytorch加载torchvision从本地下载好的预训练模型的简单解决方案
RuntimeError Cuda extensions are being compiled…Pytorch binaries were compiled with Cuda 11.7解决方案
ImportError: libcupti.so.11.7: cannot open shared object file: No such file or directory解决方案
RuntimeError: Boolean value of Tensor with more than one value is ambiguous解决方案

1.3 ChatGLM加载、训练、预测

RuntimeError:Internal: src/sentencepiece_processor.cc(1101)model_proto-＞ParseFromArray(serialize.size())]解决方案
ModuleNotFoundError: No module named 'transformers_modules.chatglm-6b_v1’的解决方案
ModuleNotFoundError: No module named 'transformers_modules.chatglm2-6b’解决方案
OSError We couldn’t connect to https://huggingface.co to load file, couldn’t find chatglm2-6b 解决方案
高速下载ChatGLM模型文件的解决方案
高速下载ChatGLM2模型文件的解决方案
高速下载VisualGLM模型文件的解决方案
ChatGLM lora微调时出现KeyError: 'context’的解决方案
RuntimeError: Internal: [MASK] is already defined解决方案
ChatGLM ptuning predict(预测)为空值的解决方案
AttributeError: ‘ChatGLMConfig’ object has no attribute 'quantization_bit’解决方案
TypeError: quantize() got an unexpected keyword argument 'empty_init’解决方案
AttributeError: ‘ChatGLMModel’ object has no attribute 'prefix_encoder’解决方案

1.4 bitsandbytes

使用bitsandbytes出现CUDA detection failed解决方案
ERROR : Your GPU does not support Int8 Matmul ! 解决方案
cuda_setup.add_log_entry("WARNING: Compute capability < 7.5 detected解决方案
cuda_setup.add_log_entry("WARNING: Compute capability ＜ 7.5 detected! Only slow 8-bit matmul is supported for your GPU 解决方案
PackageNotFoundError: No package metadata was found for bitsandbytes解决方案
已经安装高版本CUDA的条件下bitsandbytes发现低版本的CUDA SETUP: Detected CUDA version 100解决方案

1.5 langchain

TypeError MyFAISS.similarity_search_with_score_by_vector got unexpected keyword argument filter解决方案
ImportError: cannot import name ‘SQLDatabaseChain‘ from ‘langchain‘解决方案
ValueError: Could not import faiss python package. Please install it with pip install faiss解决方案
OperationalError: (sqlite3.OperationalError) unable to open database file解决方案

1.6 fastchat

fastchat出现TypeError: unsupported operand type(s) for -: ‘NoneType’ and 'int’解决方案
Fastchat UnicodeDecodeError utf-8 codec can‘t decode bytes in position invalid continuation byte解决方案

1.7 GPU驱动、CUDA、CUDNN、NCCL等安装

A100 GPU服务器安装GPU驱动教程
A100 GPU服务器安装CUDA教程
A100 GPU服务器安装CUDNN教程
nvidia nccl安装和测试的实战教程
An NVIDIA kernel module ‘nvidia-uvm’ appears to already be loaded in your kernel解决方案
/usr/src/kernels/el7.linux/Makefile:1006: Cannot generate ORC metadata for CONFIG_UNWINDER_ORC=y解决方案
NVIDIA-SMI has failed because it couldn’t communicate with the NVIDIA driver.Make sure that解决方案
Linux卸载GPU驱动、CUDA的实战教程

1.8 通义千问

cuda_setup/main.py: UserWarning: /home/anaconda3/envs/qwen-7b did not contain [‘libcudart.so’…解决方案
ValueError: Unrecognized configuration class ＜class transformers_modules.Qwen-7B-Chat…解决方案
安装flash-attn出现RuntimeError current installed version g++ (4.8.5) is less than mininum version解决方案

1.9 llama

configuration_auto.py in getitem raise KeyError(key) KeyError: 'llama’解决方案
AttributeError: module transformers has no attribute LLaMATokenizer解决方案

1.10 paddle

ModuleNotFoundError: No module named 'paddle’解决方案
ImportError: libcudart.so.10.2: cannot open shared object file: No such file or directory解决方案

1.11 deepspeed

error "You‘re trying to build PyTorch with a too old version of GCC. We need GCC 5 or later."解决方案
RuntimeError: launcher ‘pdsh’ not installed解决方案

1.12 peft

ImportError: cannot import name ‘prepare_model_for_kbit_training’ from 'peft’解决方案
ValueError: Please specify `target_modules` in `peft_config`解决方案

1.13 cpm-bee & bmtrain

pip install安装CPM-Bee出现ModuleNotFoundError: No module named 'torch’的解决方案
RuntimeError: CUDA error: CUBLAS_STATUS_INVALID_VALUE when calling `cublasGemmEx 解决方案
ImportError: /home/anaconda3/lib/libstdc++.so.6: version `GLIBCXX_3.4.29’ not found解决方案
subprocess.CalledProcessError: Command '[‘which’, ‘x86_64-conda_cos6-linux-gnu-c++’]'解决方案
RuntimeError: The current installed version of g++ (4.8.5) is less than the mininum version CUDA解决方案

1.14 apex

ImportErrorImportError: cannot import name ‘UnencryptedCookieSessionFactoryConfig’ from pyramid解决方案

1.15 tensorflow

TensorFlow 2.10 Unable to register cuBLAS factory Attempting to register factory for plugin cuBLAS方案

1.16 其他

scripts/spider_qlora_finetune.sh: line 7: --source_max_len: command not found解决方案

2. 机器学习

2.1 sklearn

ModuleNotFoundError: No module named ‘sklearn‘解决方案
ModuleNotFoundError: No module named 'sklearn.__check_build._check_build‘解决方案
ImportError: cannot import name ‘_ccallback_c’ 解决方案
sklearn 逻辑回归Increase the number of iterations (max_iter) or scale the data as shown in解决方案
TypeError: classification_report() takes 2 positional arguments but 3 were given的解决方案
加载sklearn加州房价数据集出错 housing = fetch_california_housing() HTTPError: HTTP Error 403: Forbidden解决方案
加载sklearn 人脸数据集出错 fetch_olivetti_faces() HTTPError: HTTP Error 403: Forbidden解决方案
加载sklearn新闻数据集出错 fetch_20newsgroups() HTTPError: HTTP Error 403: Forbidden解决方案
加载sklearn covtype数据集出错 fetch_covtype() HTTPError: HTTP Error 403: Forbidden解决方案
西瓜数据集读取的详细解决方案
sklearn中f1_score参数解析

2.2 ltp

AttributeError: ‘LTP‘ object has no attribute 'seg’解决方案
AttributeError: ‘LTP’ object has no attribute 'sent_split’解决方案
AttributeError: ‘LTP’ object has no attribute 'init_dict’解决方案

2.3 nltk

[nltk_data] Error loading punkt: ＜urlopen error [Errno 111] Connection refused＞解决方案
Resource punkt not found. Please use the NLTK Downloader to obtain the resource 解决方案
离线下载NLTK依赖包([WinError 10061] 由于目标计算机积极拒绝，无法连接)的解决方案

2.4 spacy

spacy.load(‘en’) or spacy.load(‘de’)出现的OpenSSL SSl SysCallError(10054)解决方案
TypeError: Plain typing.NoReturn is not valid as type argument解决方案

2.5 joblib & flask

TypeError: an integer is required (got type bytes)的解决方案
python使用flask封装restful API的实战代码

2.6 模型读取与保存

详解python文件的读取与模型保存
模型&数据文件的读取与保存拓展

2.7 英文单词分割

Dictionary file not found symspellpy.py symspellpy.py in word_segmentation(self, StopIteration 解决方案

3. 爬虫

3.1 selenium

TypeError:__init__() got an unexpected keyword argunent 'executable_path’解决方案
selenium.common.SessionNotCreatedException Message session not created.ChromeDriver support version解决方案
Python安装selenium时requests 2.19.1 has requirement urllib3＜1.24,＞=1.21.1, but urllib3 incompatible解决方案
selenium ‘WebDriver’ object has no attribute 'find_element_by_link_text’解决方案
selenium ‘WebDriver’ object has no attribute 'find_element_by_xpath’解决方案

3.2 requests

爬虫编码UnicodeDecodeError: ‘utf-8’ codec can’t decode byte 0xb1 in position 78: invalid start byte解决方案
Python爬虫requests返回值为空的解决方案
python保存requests请求的文件的实战代码
下载网上的多行json并将其转换为字典的解决方案
下载网上压缩包(包含多行json)并将其转换为字典的解决方案
ImportError: cannot import name Template解决方案

3.3 其他

提取网页标题和文本内容的python库的实战教程

4. 数据处理与可视化

4.1 pandas.DataFrame

AttributeError: ‘DataFrame’ object has no attribute 'iteritems’解决方案
ValueError: If using all scalar values, you must pass an index解决方案
Python将字符串转换成dataframe
对DataFrame添加一列并且每个值赋值为列表(ValueError: Length of values does not match length of index)的解决方案
pandas获取DataFrame每月(每年)第一天或者最后一天对应行的实战代码
筛选DataFrame出某一列包含字符串的所有行的实战代码
改变DataFrame列顺序的实战代码

4.2 pandas

pd.read_json出现ValueError:Trailing data的解决方案
pd.read_excel出现xlrd.biffh.XLRDError: Excel xlsx file； not supported解决方案
PicklingError: Can’t pickle ＜function ＜lambda＞＞: attribute lookup ＜lambda＞ on __main__ failed解决方案
AttributeError: ‘Timestamp’ object has no attribute 'dt’解决方案
UserWarning: Workbook contains no default style, apply openpyxl’s default warn("Workbook contains no default style, apply openpyxl’s default"解决方案
import xlwings时_pickle.UnpicklingError: invalid load key, '\x00’解决方案
pandas to_excel产生空值的解决方案
df.rank & pd.pivot_table & pd.read_excel & df添加行 &调整df行列顺序(reindex再理解)
详解pandas基础

4.3 numpy

AttributeErrormodule ‘numpy’ has no attribute 'bool’解决方案
import numpy出现ImportError: DLL load failed: 找不到指定的模块的解决方案
numpy与pandas中apply与applymap与map三者的区别
np和pd中split&concatenate&unstack&列表嵌套问题（循环，转换）
详解numpy基础

4.4 matplotlib & seaborn

Linux中matplotlib出现RuntimeError: Invalid DISPLAY variable的解决方案
seaborn load_dataset报错的解决方案

4.5 excel & csv

详解python操作EXCEL(xlsxwriter/ExcelWriter)
ValueError: Append mode is not supported with xlsxwriter解决方案
pd.read_excel出现ValueError: Unknown engine: openpyxl解决方案
PermissionError: [Errno 13] Permission denied: '.xlsx’解决方案
pandas读取csv文件时设置列名的实战代码
Python将字典转换为csv的实战代码
csv多余逗号写入文件的解决方案
import xlwings时_pickle.UnpicklingError: invalid load key, '\x00’解决方案

4.6 json

字典转换json时出现TypeError: Object of type ‘datetime‘ is not JSON serializable解决方案
JSONDecodeError: Expecting property name enclosed in double quotes: line 2 column 3 (char 4)解决方案
ImportError: cannot import name 'json_util’解决方案
json.loads时TypeError: __init__() got an unexpected keyword argument ‘encoding’ 的解决方案

4.7 yaml

ModuleNotFoundError: No module named 'yaml’解决方案
pip install yaml出现ERROR: Could not find a version that satisfies the requirement yaml 解决方案
TypeError: load() missing 1 required positional argument: 'Loader’解决方案

4.8 pickle

pickle.load出现UnicodeDecodeError: ‘ascii’ codec can’t decode byte 0x8b in position 6: ordinal not in range(128)解决方案

4.9 zip

Python解压zip文件出现TypeError: pwd: expected bytes, got str的解决方案

5. anaconda & pip & jupyter notebook & ipython & pycharm

5.1 anaconda

Win7安装新版本anaconda出现Failed to extract packages解决方案
安装miniconda出现丢失api-mis-win-core-path-l1-1-0.dll的解决方案

5.2 conda

conda upgrade出现Solving environment:failed CondaValueError Malformed version string invalid chars解决方案
conda install出现CondaValueError: Malformed version string invalid character(s)解决方案
The environment is inconsistent, please check the package plan carefully解决方案
ERROR conda.core.link:_execute(502): error occurred while installing conda-forge::setuptools 解决方案
在conda环境下升级gcc的解决方案
SSLError(MaxRetryError('HTTPSConnectionPool(host=‘mirrors.tuna.tsinghua.edu.cn’, port=443)解决方案
详解创建python虚拟环境
在conda虚拟环境中安装ipython
ipython和conda python版本不一致的解决方案
CommandNotFoundError : No command ‘conda rename‘解决方案

5.3 pip

ERROR: Could not install packages due to an OSError: [WinError 5] 拒绝访问解决方案
pip._vendor.urllib3.exceptions.ReadTimeoutError: HTTPSConnectionPool(host=files.pythonhosted.org解决方案
pip install timeout错误解决方案
pip安装ERROR: Could not install packages due to an OSError: [Errno 28] No space left on device解决方案
详解离线安装Python库
pip卸载库对应所有依赖库的解决方案
pip install weditor出错error in setup command: Error parsing weditor\setup.cfg UnicodeDecodeError:解决方案
Cannot uninstall … It is a distutils installed project and thus we cannot accurately determine 解决方案
WARNING:Retrying Failed to establish a new connection: [Errno 101] Network is unreachable’)解决方案
WARNING:Retrying(Retry(total=4,connect=None,read=None,redirect=None,status =None))connect broken解决方案
Linux环境下修改pip的缓存地址的解决方案
pip install出现WARNING: Ignoring invalid distribution的解决方案
pip install出现socket.timeout: The read operation timed out的解决方案

5.4 jupyter notebook

jupyter notebook中指定kernel中pip安装库的解决方案
将conda环境安装到jupyter notebook kernel中的解决方案
jupyter ‘_xsrf‘ argument missing from post 解决方案
jupyter notebook闪退，命令行执行报错：ImportError: cannot import name ‘soft_unicode‘ from ‘markupsafe‘解决方案
jupyter notebook出现ERR_SSL_VERSION_OR_CIPHER_MISMATCH解决方案
Unable to load extension: pydevd_plugins.extensions.types.pydevd_plugin_pandas_types 解决方案
jupyter notebook输入密码后无法打开的解决方案
启动jupyter出现AttributeError: module ‘tornado.web’ has no attribute 'asynchronous’解决方案
traitlets_version.py AssertionError “.“.join(map(str, version_info)).replace(“.b“, “b“)解决方案
python中的attr问题(label endoer & jupyter notebook)

5.5 ipython

在conda虚拟环境中安装ipython
ipython和conda python版本不一致的解决方案
ipython出现The history saving thread hit an unexpected error OperationalError no such table history解决方案
禁止IPython产生历史记录的解决方案
删除ipython历史记录文件的解决方案
ImportError: cannot import name ‘create_prompt_application’ from 'prompt_toolkit.shortcuts’解决方案

5.6 pycharm

pycharm/idea连接服务器的实战方案

6. 数据库 & 中间件

6.1 mysql

pip install mysql出现error: subprocess - exited-with-error的解决方案
CSV转换为MySQL的Python实战代码
OperationalError: foreign key mismatch - “RESTAURANT“ referencing “GEOGRAPHIC“解决方案
IntegrityError: FOREIGN KEY constraint failed解决方案
ProgrammingError: 1064 (42000): You have an error in your SQL syntax;check the manual…解决方案
CSV转换为MySQL的Python实战代码

6.2 access(mdb)

Python读写access数据库的实战代码
Python读写mdb文件的实战代码

6.3 clickhouse

NoSuchModuleError: Can’t load plugin: sqlalchemy.dialects:clickhouse解决方案

6.4 hdfs

python读写hdfs文件的实用解决方案
ImportError: Can not find the shared library: libhdfs3.so解决方案

6.5 kafka

从小白的角度讲解kafka并使用java、python_API实战

6.6 其他

elasticsearch与kibana踩过的坑及其解决方案

7. 常用Python库

ERROR: Could not find a version that satisfies the requirement PIL (from versions: none)解决方案
ModuleNotFoundError: No module named 'setuptools.command.build’解决方案
AttributeError: ‘HTMLParser’ object has no attribute 'unescape’解决方案
pynlpir更新license Error: unable to fetch newest license解决方案
ModuleNotFoundError: No module named 'pyLDAvis.gensim’解决方案
pdfminer __init__() got an unexpected keyword argument 'codec’解决方案
python安装mpi4py的解决方案
twisted 18.7.0 requires PyHamcrest＞=1.9.0 解决方案
AttributeError: Can’t get attribute ‘f’ on <module ‘__main__’>解决方案

8. Python基础

8.1 编码

Python3中将\uXXXX字符串转换为可见字符串的解决方案
SyntaxError: Non-UTF-8 code starting with ‘\xb3’ in file解决方案
UnicodeDecodeError: ‘utf-8’ codec can’t decode byte 0xc1 in position 41694: invalid start byte解决方案
python中的解码与编码

8.2 built-in函数

ImportError: cannot import name ‘MutableMapping’ from 'collections’解决方案
详解python datetime&time&timeit
详解python os模块(os.walk&os.listdir)
AttributeError: module ‘xxx’ has no attribute
详解if __name__ == '__main__'和from __future__ import print_function

8.3 基础

一文学会python基础知识
python基础知识补充
python字符串中的引号问题
Python字符串split(‘\n’)后出错的解决方案
详解python中的参数解析argparse&sys.argv
详解python的全局变量与局部变量(global&nonlocal&locals)
java与python类对比
深入理解python装饰器
详解python异常处理try、except
详解python正则表达式
centos对pyc文件进行反编译的解决方案
IndentationError: expected an indented block解决方案
查看Python库依赖关系的解决方案
判断指定程序是否正在运行的Python实战代码

8.4 计算

Python分数计算的实战代码
Python使用科学计数法显示数字的解决方案
求解输入年份所有月的天数的Python实战代码

8.5 windows安装error: Microsoft Visual C++ 14.0解决方案

talib安装error: Microsoft Visual C++ 14.0 or greater is required. Get it with Microsoft C++ Build的解决方案
pyflux安装error:Microsoft Visual C++ 14.0 or greater is required. Get it with Microsoft C++ Build的解决方案
ecos安装error:Microsoft Visual C++ 14.0 or greater is required. Get it with Microsoft C++ Build的解决方案
gensim安装error: Microsoft Visual C++ 14.0 or greater is required. Get it with Microsoft C++ Build解决方案
wordcloud安装error:Microsoft Visual C++ 14.0 or greater is required.Get it with Microsoft C++ Build解决方案

9. 安全与网络

cpe(通用平台枚举)命名规范及python CPE库实战
AttributeError: module ‘netzob.Import.PCAPImporter.ImpactPacket’ has no attribute 'ARP’解决方案
python发送邮件的实战代码
验证email的Python实战代码
使用Python代码获取网站反应时间的实战代码
you-get出现[error] oops, something went wrong.解决方案

10. github

fatal: unable to access Failed to connect to github.com port 443: Timed out解决方案
git clone出现fatal: unable to access Failed to connect to github.com port 443: Timed out解决方案
git clone出现fatal: unable to access OpenSSL SSL_read: Connection was reset, errno 1054解决方案
error: external filter git-lfs smudge – %f failed解决方案