解决：ModuleNotFoundError: No module named ‘tiktoken’

背景

在使用之前的代码时，报错：
Traceback (most recent call last):
File “xxx”, line xx, in
import tiktoken
ModuleNotFoundError: No module named ‘tiktoken’

报错问题

  Traceback (most recent call last): 
    File "xxx", line xx, in  
          import tiktoken 
  ModuleNotFoundError: No module named 'tiktoken'

报错翻译

主要报错信息内容翻译如下所示：

  Traceback (most recent call last): 
    File "xxx", line xx, in  
          import tiktoken 
  ModuleNotFoundError: No module named 'tiktoken'

翻译：

追溯（最近一次通话）：
文件“xxx”，第xx行，在
导入tiktoken
ModuleNotFoundError:没有名为“tiktoken”的模块

报错位置代码

...
      import tiktoken 
...

报错原因

经过查阅资料，发现是这个错误通常是由于缺少tiktoken的依赖库，就会出现这样的提示。

小伙伴们按下面的解决方法即可解决！！！

解决方法

要解决这个错误，需要安装tiktoken的依赖库，即可解决。

方法一，直接安装

在window下安装tiktoken

pip install tiktoken

如果你嫌下载慢，可以更改下载源，

比如，利用豆瓣的下载源

pip install tiktoken -i http://pypi.douban.com/simple --trusted-host pypi.douban.com

附，国内各大源列表：

名称	地址
阿里	https://mirrors.aliyun.com/pypi/simple
豆瓣	http://pypi.douban.com/simple/
清华大学	https://pypi.tuna.tsinghua.edu.cn/simple
中国科学技术大学	https://pypi.mirrors.ustc.edu.cn/simple
华中理工大学	http://pypi.hustunique.com/simple
山东理工大学	http://pypi.sdutlinux.org/simple
网易	https://mirrors.163.com/pypi/simple/
腾讯	https://mirrors.cloud.tencent.com/pypi/simple

如果你使用的是conda环境，请尝试使用conda install安装tiktoken。

conda install -c https://conda.anaconda.org/menpo tiktoken

如果你使用的是pip安装tiktoken，可以尝试使用以下命令安装：

pip install --no-cache-dir tiktoken

方法二，手动下载安装

将安装包手动下载到本地进行安装，然后在cmd 中进入安装包的路径下面用：cd +路径，进入。

然后输入以下命令：

pip install tiktoken-0.5.2-cp312-cp312-win_amd64.whl

就可以进行安装了。

附下载链接，点击下载对应版本的dilb链接
https://pypi.org/project/tiktoken/#description

方法三，编译安装

如果上述方法都不能解决问题，你可以尝试从源代码编译安装tiktoken。具体步骤可以参考tiktoken的官方文档。

tiktoken 简介

tiktoken是OpenAI于近期开源的Python第三方模块，该模块主要实现了tokenizer的BPE（Byte pair encoding）算法，并对运行性能做了极大的优化。本文将介绍tiktoken模块的使用。

BPE(Byte pair encoding)算法是NLP中常见的tokenizer方式，关于其介绍和实现原理，读者可参考深入理解NLP Subword算法：BPE、WordPiece、ULM。

tiktoken已开源至Github，下图是使用GPT-2 tokenizer在1G文本上进行的性能测试，它会比其它开源的tokenizer库运行快3-6倍。

Github地址：https://github.com/openai/tiktoken
官方pip：https://pypi.org/search/?q=tiktoken

今天的分享就到此结束了

欢迎点赞评论关注三连