【阿里魔搭】modelscope包下载安装

news2024/11/10 17:01:28

最终解决方案:使用源码安装modelscope

这里写目录标题

  • 问题描述:pip安装包冲突
  • 安装步骤

问题描述:pip安装包冲突

一开始的是在3.11的虚拟环境下使用命令行pip install "modelscope[nlp]" -f https://modelscope.oss-cn-beijing.aliyuncs.com/releases/repo.html下载,一直报错显示包冲突

并且是这种报错,根本没办法调和。

 modelscope[nlp] 1.9.0 depends on datasets<=2.13.0 and >=2.8.0
    modelscope[nlp] 1.8.4 depends on datasets<=2.13.0 and >=2.8.0
    modelscope[nlp] 1.8.1 depends on datasets<=2.13.0 and >=2.8.0
 modelscope[nlp] 1.6.1 depends on datasets<=2.8.0 and >=2.7.0
    modelscope[nlp] 1.6.0 depends on datasets<=2.8.0 and >=2.7.0
    modelscope[nlp] 1.5.1 depends on datasets<=2.8.0 and >=2.7.0
    modelscope[nlp] 1.4.3 depends on datasets<=2.8.0 and >=2.7.0
    modelscope[nlp] 1.4.1 depends on datasets<=2.8.0 and >=2.7.0
    modelscope[nlp] 1.3.1 depends on datasets<=2.8.0 and >=2.7.0
 modelscope[nlp] 1.1.4 depends on datasets<=2.5.2
    modelscope[nlp] 1.1.3 depends on datasets<=2.5.2
    modelscope[nlp] 1.1.2 depends on datasets<=2.5.2
    modelscope[nlp] 1.1.1 depends on datasets<=2.5.2
    modelscope[nlp] 1.1.0 depends on datasets<=2.5.2
    modelscope[nlp] 1.0.4 depends on datasets<=2.5.2
    modelscope[nlp] 1.0.3 depends on datasets<=2.5.2
    modelscope[nlp] 1.0.2 depends on datasets<=2.5.2
    modelscope[nlp] 1.0.1 depends on datasets<=2.5.2
modelscope[nlp] 0.3.7 depends on datasets==2.1.0
    modelscope[nlp] 0.3.6 depends on datasets==2.1.0
    modelscope[nlp] 0.3.5 depends on datasets==2.1.0
    modelscope[nlp] 0.3.4 depends on datasets==2.1.0

后来在官网找到环境安装的说明:https://www.modelscope.cn/docs/环境安装
请添加图片描述
环境配置Python版本只显示了3.7和3.8,于是重新创建虚拟环境进行安装。

首先安装深度学习框架,看你的模型是需要pytorch还是tensorflow,根据官网下载对应版本请添加图片描述
后面继续pip install "modelscope[nlp]" -f https://modelscope.oss-cn-beijing.aliyuncs.com/releases/repo.html 进行安装但是出现相同问题,于是尝试使用通过源码安装

安装步骤

以下是安装全过程:

  1. 创建虚拟环境并激活

    conda create -n modelscope python=3.8
    conda activate modelscope
    
  2. 安装深度学习框架

    Pytorch:

    pip install torch torchvision torchaudio
    

    或Tensorflow:

    pip install --upgrade tensorflow==2.13.0 # 仅支持 CPU 的版本
    

    注: 客观上在国内使用pip安装的时候,如果默认是用海外的pypi源的话,可能因为网络问题,下载速度受限。如果有这个现象,可以考虑通过pip的"-i"命令行选项来手工配置仓库来源,例如"-i https://pypi.tuna.tsinghua.edu.cn/simple " 可以将配置仓库来源使用"清华源"。例如:

    pip3 install torch torchvision torchaudio -i https://pypi.tuna.tsinghua.edu.cn/simple
    

    常见的可用源还包括 “-i https://mirrors.bfsu.edu.cn/pypi/web/simple”, "-i https://mirrors.ustc.edu.cn/pypi/web/simple "等等,可以根据自己的网络条件自行选择。

  3. ModelScope Library 安装(源码安装)

    我使用pip安装失败遂不介绍,仅介绍源码安装

    1. 源码下载
      a. 可以使用git下载源码

       ```jsx
       git clone git@github.com:modelscope/modelscope.git
       cd modelscope
       git fetch origin master
       git checkout master
       ```
      

      b. 直接在github官网下载 https://github.com/modelscope/modelscope

    2. 一定要先cd去源码所在的目录中先,否则会报错

      请添加图片描述

      可以使用命令行检查是否转到对应目录下:

      dir
      type setup.py
      

      请添加图片描述

    1. 安装依赖:仅需体验NLP领域模型,执行如下命令安装依赖

      pip install ".[nlp]" -f https://modelscope.oss-cn-beijing.aliyuncs.com/releases/repo.html
      

      期间他会提示缺少某些包而报错,根据提示单独安装对应的包即可
      请添加图片描述

      如果有安装不成功的在后面加**--trusted-host [pypi.mirrors.ustc.edu.cn](http://pypi.mirrors.ustc.edu.cn)** 以避免潜在的安全警告

      pip install xxx --trusted-host pypi.mirrors.ustc.edu.cn
      pip install ".[nlp]" -f https://modelscope.oss-cn-beijing.aliyuncs.com/releases/repo.html --trusted-host pypi.mirrors.ustc.edu.cn
      
    2. 验证:安装成功后,即可使用对应领域模型进行推理,训练等操作。这里我们以NLP领域为例。安装后,可执行如下命令,运行中文分词任务,来验证安装是否正确:

      python -c "from modelscope.pipelines import pipeline;print(pipeline('word-segmentation')('今天天气不错,适合 出去游玩'))"
      
      (modelscope) E:\0.University\0.dissertation\code\modelscope\modelscope>python -c "from modelscope.pipelines import pipeline;print(pipeline('word-segmentation')('今
      天天气不错,适合 出去游玩'))"
      2024-03-21 10:23:41,578 - modelscope - INFO - PyTorch version 1.11.0+cpu Found.
      2024-03-21 10:23:41,580 - modelscope - INFO - Loading ast index from C:\Users\ammy\.cache\modelscope\ast_indexer
      2024-03-21 10:23:42,128 - modelscope - INFO - Loading done! Current index file version is 1.9.4, with md5 d07f5c3e9ea59df520487198f306c0b6 and a total number of 972
       components indexed
      2024-03-21 10:23:46,043 - modelscope - INFO - Model revision not specified, use default: master in development mode
      2024-03-21 10:23:46,044 - modelscope - INFO - Development mode use revision: master
      Downloading: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████| 243k/243k [00:00<00:00, 987kB/s]
      Downloading: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 976/976 [00:00<00:00, 194kB/s]
      Downloading: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 161/161 [00:00<00:00, 40.4kB/s]
      Downloading: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████| 46.7k/46.7k [00:00<00:00, 413kB/s]
      Downloading: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 388M/388M [02:29<00:00, 2.71MB/s]
      Downloading: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████| 9.74k/9.74k [00:00<00:00, 1.99MB/s]
      Downloading: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████| 30.0/30.0 [00:00<00:00, 7.54kB/s]
      Downloading: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████| 107k/107k [00:00<00:00, 659kB/s]
      2024-03-21 10:26:20,450 - modelscope - INFO - initiate model from C:\Users\ammy\.cache\modelscope\hub\damo\nlp_structbert_word-segmentation_chinese-base
      2024-03-21 10:26:20,450 - modelscope - INFO - initiate model from location C:\Users\ammy\.cache\modelscope\hub\damo\nlp_structbert_word-segmentation_chinese-base.
      2024-03-21 10:26:20,454 - modelscope - INFO - initialize model from C:\Users\ammy\.cache\modelscope\hub\damo\nlp_structbert_word-segmentation_chinese-base
      You are using a model of type bert to instantiate a model of type structbert. This is not supported for all configurations of models and can yield errors.
      2024-03-21 10:26:22,373 - modelscope - WARNING - No preprocessor field found in cfg.
      2024-03-21 10:26:22,373 - modelscope - WARNING - No val key and type key found in preprocessor domain of configuration.json file.
      2024-03-21 10:26:22,373 - modelscope - WARNING - Cannot find available config to build preprocessor at mode inference, current config: {'model_dir': 'C:\\Users\\amm
      y\\.cache\\modelscope\\hub\\damo\\nlp_structbert_word-segmentation_chinese-base'}. trying to build by task and model information.
      2024-03-21 10:26:22,392 - modelscope - INFO - cuda is not available, using cpu instead.
      2024-03-21 10:26:22,397 - modelscope - WARNING - No preprocessor field found in cfg.
      2024-03-21 10:26:22,397 - modelscope - WARNING - No val key and type key found in preprocessor domain of configuration.json file.
      2024-03-21 10:26:22,397 - modelscope - WARNING - Cannot find available config to build preprocessor at mode inference, current config: {'model_dir': 'C:\\Users\\amm
      y\\.cache\\modelscope\\hub\\damo\\nlp_structbert_word-segmentation_chinese-base', 'sequence_length': 512}. trying to build by task and model information.
      E:\anaconda\envs\modelscope\lib\site-packages\transformers\modeling_utils.py:977: FutureWarning: The `device` argument is deprecated and will be removed in v5 of Tr
      ansformers.
        warnings.warn(
      {'output': ['今天', '天气', '不错', ',', '适合', '出去', '游玩']}
      
      

参考:

https://www.modelscope.cn/docs/环境安装

https://blog.csdn.net/qq_41185868/article/details/127355894

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1535584.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

基于时空上下文(STC)的运动目标跟踪算法,Matlab实现

博主简介&#xff1a; 专注、专一于Matlab图像处理学习、交流&#xff0c;matlab图像代码代做/项目合作可以联系&#xff08;QQ:3249726188&#xff09; 个人主页&#xff1a;Matlab_ImagePro-CSDN博客 原则&#xff1a;代码均由本人编写完成&#xff0c;非中介&#xff0c;提供…

MyBatis:XML操作

&#x1f451;专栏内容&#xff1a;MyBatis⛪个人主页&#xff1a;子夜的星的主页&#x1f495;座右铭&#xff1a;前路未远&#xff0c;步履不停 目录 一、MyBatis XML方式1、配置数据库2、指明XML路径3、写持久层代码 二、基础操作1、新增2、删除3、更新4、查找Ⅰ、开启驼峰命…

权限提升-Web权限提升篇划分获取资产服务后台系统数据库管理相互转移

知识点 1、权限提升转移-分类&高低&场景 2、Web权限提升及转移-后台&数据库 3、后台权限及转移-转移对象&后台分类 章节点&#xff1a; 1、Web权限提升及转移 2、系统权限提升及转移 3、宿主权限提升及转移 4、域控权限提升及转移 基础点 0、为什么我们要学…

Spring AI Embeddings 和 Vector 入门

在前面 Spring AI Chat 简单示例 中介绍了 Chat 的基本用法&#xff0c;本文在此基础&#xff08;主要是pom.xml&#xff09;上继续探索 Embedding 和 Vector。 官方文档&#xff1a; embeddings: https://docs.spring.io/spring-ai/reference/api/embeddings/openai-embedding…

java算法第30天 | ● 332.重新安排行程 ● 51. N皇后 ● 37. 解数独

今天是三道困难题&#xff0c;一刷可以先跳过。 332.重新安排行程 本题的重点是使用Map<String,Map<String,Integer>>存储路径以便递归中根据上一个地点检索接下来的选择。注意&#xff0c;因为要求按字母顺序排列优先级&#xff0c;所以内层的Map要用TreeMap<…

Jupyter Notebook介绍、安装及使用教程

Jupyter Notebook介绍、安装及使用教程 一、什么是Jupyter Notebook&#xff1f;简介组成部分网页应用文档Jupyter Notebook的主要特点 二、安装Jupyter Notebook先试用&#xff0c;再决定安装安装前提使用Anaconda安装使用pip命令安装 三、运行Jupyter Notebook帮助启动默认端…

html5cssjs代码 032 边框属性示例

html5&css&js代码 032 边框属性示例 一、代码二、解释 该HTML文件定义了一个网页页面&#xff0c;主要介绍了HTML5中CSS边框属性的用法。 一、代码 <!DOCTYPE html> <html lang"zh-cn"><head><title>编程笔记 html5&css&j…

图Graph及相关算法(Dijkstra,Kruskal)

目录 无向图 有向图 邻接矩阵 邻接表 图的bfs&#xff0c;dfs 二部图&#xff08;二分图&#xff09; 有向无环图&#xff08;DAG&#xff09; 拓扑排序&#xff08;Topological Sort&#xff09; AOV网 迪杰斯特拉Dijkstra 最小生成树 克鲁斯卡尔&#xff1a;Krus…

回归预测 | Matlab基于SAO-BiLSTM雪融算法优化双向长短期记忆神经网络的数据多输入单输出回归预测

回归预测 | Matlab基于SAO-BiLSTM雪融算法优化双向长短期记忆神经网络的数据多输入单输出回归预测 目录 回归预测 | Matlab基于SAO-BiLSTM雪融算法优化双向长短期记忆神经网络的数据多输入单输出回归预测效果一览基本介绍程序设计参考资料 效果一览 基本介绍 1.Matlab基于SAO-B…

Linux系统——Mysql索引补充知识

目录 一、索引介绍 1.索引的优点 2.索引的分类 3.索引的技术名词 3.1回表 3.2覆盖索引 3.3最左匹配 3.4索引下推 4.索引匹配方式 4.1全值匹配 4.2最左前缀匹配 4.3匹配列前缀 4.4匹配一个范围值 4.5精确匹配某一列并范围匹配另一列 4.6只访问索引的查询 一、索引…

银行OA系统|基于SpringBoot架构+ Mysql+Java+ B/S结构的银行OA系统设计与实现(可运行源码+数据库+设计文档)

推荐阅读100套最新项目 最新ssmjava项目文档视频演示可运行源码分享 最新jspjava项目文档视频演示可运行源码分享 最新Spring Boot项目文档视频演示可运行源码分享 2024年56套包含java&#xff0c;ssm&#xff0c;springboot的平台设计与实现项目系统开发资源&#xff08;可…

【Charles如何对手机APP进行抓包和弱网测试】

一、Charles对APP抓包 1、前提条件&#xff1a; 1&#xff09;电脑上必须安装Charles工具&#xff0c;如没有安装可参考&#xff1a;【Charles抓包工具下载安装详细操作步骤】-CSDN博客 2&#xff09;手机和电脑必须在同一个局域网内&#xff08;连接同一个WiFi&#xff09;…

Linux信号补充——信号捕捉处理

一、信号的捕捉处理 ​ 信号保存后会在合适的时间进行处理&#xff1b; 1.1信号处理时间 ​ 进程会在操作系统的调度下处理信号&#xff0c;操作系统只管发信号&#xff0c;即信号处理是由进程完成的&#xff1b; ​ 1.信号处理首先进程得检查是否有信号&#xff1b;2.进程…

异地组网需求如何实现?

在当今信息化时代&#xff0c;越来越多的企业和个人在不同地区之间需要进行远程通信和数据传输。由于网络环境的差异和网络隔离等原因&#xff0c;异地组网的需求愈发迫切。本文将介绍一款名为【天联】的异地组网内网穿透产品&#xff0c;它的出现有效解决了不同地区间电脑、设…

基于Arduino IDE 野火ESP8266模块WIiFi开发

一、函数介绍 头文件 #include <ESP8266WiFi.h> #include <ESP8266WiFiMulti.h>ESP8266WiFi.h库主要用于连接单个WiFi网络。如果需要连接到多个WiFi网络&#xff0c;例如在需要切换不同网络或者备用网络时&#xff0c;可以使用ESP8266WiFiMulti.h头文件&#xff…

供应链投毒预警 | 恶意Py组件tohoku-tus-iot-automation开展窃密木马投毒攻击

概述 上周&#xff08;2024年3月6号&#xff09;&#xff0c;悬镜供应链安全情报中心在Pypi官方仓库&#xff08;https://pypi.org/&#xff09;中捕获1起新的Py包投毒事件&#xff0c;Python组件tohoku-tus-iot-automation 从3月6号开始连续发布6个不同版本恶意包&#xff0c…

SAP前台处理:物料计价方式:价格控制与价格确定 - 01

一、背景&#xff1a; 物料主数据中我们讲解到物料的计价方式&#xff0c;SAP应用到的主要计价方式有移动平均价和标准价格方式两种&#xff0c;但也有按照批次计价等方式&#xff0c;我们主要介绍最常用的V2移动平均价和S3的标准价格&#xff1b; 二、不同组合下的差异&…

知识蒸馏——深度学习的简化之道 !!

文章目录 前言 1、什么是知识蒸馏 2、知识蒸馏的原理 3、知识蒸馏的架构 4、应用 结论 前言 在深度学习的世界里&#xff0c;大型神经网络因其出色的性能和准确性而备受青睐。然而&#xff0c;这些网络通常包含数百万甚至数十亿个参数&#xff0c;使得它们在资源受限的环境下&…

【HM】STM32F407 HAL库 PWM

PWM简介 脉冲宽度调制&#xff08;PWM&#xff09; 是一种数字信号&#xff0c;最常用于控制电路。该信号在预定义的时间和速度中设置为高&#xff08;5v或3.3v&#xff09;和低&#xff08;0v&#xff09;。通常&#xff0c;我们将PWM的高电平称为1&#xff0c;低电平为0。 …

pyboard开发板上手

文章目录 准备开发板连接到pyboard开发板将pyboard作为U盘打开编辑main.py重启pyboard 准备开发板 本文介绍了如何使用MicroPython在pyboard开发板上运行你的第一个程序&#xff0c;所以&#xff0c;在开始下面的步骤前&#xff0c;你需要有一块pyboard开发板&#xff0c;如果…