挖矿系列:细说Python、conda 和 pip 之间的关系

news2024/11/27 9:47:54

     继续挖矿,挖金矿!

1. Python、conda 和 pip

Python、conda 和 pip 是在现代数据科学和软件开发中常用的工具,它们各自有不同的作用,但相互之间存在密切的关系:

  • Python:是一种解释型、面向对象的高级程序设计语言。它广泛应用于数据分析、机器学习、网络编程、Web 开发等领域,并且拥有庞大的标准库以及丰富的第三方库支持。

  • pip是 Python 的官方包管理器,主要用于安装和管理 Python 第三方软件包。当用户需要在项目中使用特定的 Python 库时,可以使用 pip install 命令从 Python Package Index (PyPI) 等仓库下载并安装这些库。

  • conda:是由 Anaconda 分发版引入的一种开源跨平台包管理系统和环境管理器。与 pip 相比,conda 不仅可以安装 Python 包,还能管理非 Python 软件包(例如 C/C++ 库),并且它更侧重于环境管理和依赖解决

具体关系如下:

  • conda 可以创建独立的虚拟环境,在每个环境中可以安装不同版本的 Python 以及其他相关的软件包,包括但不限于 Python 包。
  • 在 conda 创建的环境中,你可以继续使用 pip 来安装 PyPI 上的 Python 包,或者使用 conda 自身的命令(如 conda install)来安装 Anaconda 或 conda-forge 渠道中的 Python 和非 Python 包。
  • conda 支持更加全面的环境管理功能,比如可以方便地创建、激活、删除环境,并且在处理复杂依赖关系时表现得更为出色,能够自动解决包之间的版本冲突问题。
  • 当只需要处理纯粹的 Python 包时,pip 是一个轻量级的选择,尤其对于那些不在 conda 官方仓库中的包,pip 通常是首选工具。

总之,Python 作为基础语言,而 pip 和 conda 则分别提供了用于管理 Python 和其他相关软件包的功能,两者可以结合使用以满足不同的项目需求。在实际工作中,开发者可以根据项目特点和团队规范选择合适的包管理工具。

2.  扒一扒Python Package Index(PyPI)仓库

Python Package Index (PyPI),也被称为 Cheese Shop,是官方的 Python 第三方软件包仓库。在 PyPI 中,你可以找到数以万计由全球开发者贡献的各种 Python 库和工具,这些库涵盖了各种用途,包括但不限于:

  1. 数据分析与科学计算

    NumPy、Pandas、SciPy、Matplotlib、Seaborn、Statsmodels 等用于数据处理、统计分析及可视化。
  2. 机器学习与深度学习

    TensorFlow、PyTorch、Keras、Scikit-learn、XGBoost、LightGBM、Theano、TensorFlow Probability 等框架和库。
  3. Web 开发框架

    Django、Flask、FastAPI、Bottle 等用于构建 Web 应用程序的全栈或轻量级框架。
  4. 网络编程

    Requests、urllib3、aiohttp、Twisted、httplib2 用于处理 HTTP 请求和其他网络通信。
  5. 数据库操作

    SQLAlchemy、MySQL-connector-python、psycopg2(PostgreSQL)、pymongo(MongoDB)等数据库适配器。
  6. 测试工具

    unittest、pytest、tox、mock、selenium 等用于编写和执行单元测试、集成测试以及浏览器自动化测试。
  7. 日志和调试

    logging、pdb、ipdb、logging-tree、structlog 等用于记录和查看日志以及调试代码。
  8. 版本控制和打包

    setuptools、pipenv、wheel、twine 等用于创建、管理、分发 Python 包。
  9. 文本处理与自然语言处理

    NLTK、spaCy、TextBlob、gensim、nltk 等用于文本分析、词法分析、语法分析和语义理解。
  10. 其他各类实用工具和库

    Click、argparse、docopt 用于命令行界面设计;BeautifulSoup、lxml 用于网页解析;Django REST framework、Marshmallow 用于构建 RESTful API;asyncio、tornado、gevent 用于异步编程等等。

PyPI 上的软件包数量庞大且种类繁多,几乎可以满足所有类型的 Python 开发需求。通过使用 pip install 命令,用户可以方便地安装和使用这些第三方库。

3. conda是一个强大的环境管理和包管理工具

conda作为一个强大的环境管理和包管理工具,其功能不仅限于Python相关的软件包。它允许用户安装和管理多种编程语言的依赖库,包括但不限于C、C++编译器及其相关库。例如,使用conda可以方便地安装像OpenCV(一个基于C++的计算机视觉库)、Rust语言环境、CMake构建系统、Fortran编译器等非Python组件。

在解决依赖关系方面,conda能够处理复杂的依赖树,确保在一个环境中所有软件包都能获得正确的版本,并且这些版本之间相互兼容。这对于科学计算、数据分析以及跨平台开发工作来说尤其重要,因为它避免了因不同软件包间版本冲突而导致的问题。

此外,通过创建和管理虚拟环境,conda使得在同一台机器上为不同的项目或任务维护独立的运行时环境变得轻而易举,这样开发者可以在不影响全局环境或者其它项目的情况下自由切换所需的软件包组合。

3.1 conda 能安装的 Python 包

conda 能安装的 Python 包非常广泛,涵盖了科学计算、机器学习、数据处理、可视化、网络编程等众多领域。以下列出一些通过 conda 可以安装的 Python 库示例:

  1. 数据分析与科学计算库

    • NumPy
    • SciPy
    • Pandas
    • Matplotlib
    • Scikit-learn
    • Statsmodels
    • Seaborn
  2. 机器学习与深度学习框架

    • TensorFlow
    • PyTorch
    • Keras
    • Theano
    • MXNet
    • Caffe
    • Chainer
  3. Web 开发框架

    • Django
    • Flask
    • Pyramid
    • Bottle
  4. 自然语言处理库

    • NLTK
    • spaCy
    • gensim
    • TextBlob
  5. 数据库接口

    • SQLAlchemy
    • psycopg2 (PostgreSQL)
    • mysqlclient (MySQL)
  6. 数据可视化工具

    • Plotly
    • Bokeh
    • Altair
    • Holoviews
  7. 云计算和大数据处理

    • Apache Spark
    • Dask
    • Hadoop相关组件
  8. 测试工具

    • pytest
    • unittest
    • mock
    • coverage
  9. 开发工具及环境

    • ipython/jupyter notebook/lab
    • black, flake8 等代码格式化与检查工具
    • sphinx 用于文档生成
    • virtualenvwrapper 等虚拟环境管理工具(虽然在conda环境中通常不直接使用)

实际上,Anaconda或Miniconda发行版包含了一个名为conda-forge的社区频道,其中包含了成千上万个Python包及其依赖项,几乎覆盖了所有主流和新兴的Python库。因此,只要是能在Python生态中找到的大多数开源项目,都可以通过conda来安装和管理。

3.2 conda 能安装的非 Python 包

conda 可以安装和管理的非 Python 软件包范围广泛,包括但不限于以下类型:

  1. 编译工具链:如C、C++编译器(GCC, Clang),Fortran编译器(GFortran),以及其他语言编译器或解释器(例如Rust, Julia等)。

  2. 科学计算库

    • 数值计算库:例如BLAS/LAPACK(基础线性代数子程序库),MKL(Intel Math Kernel Library),OpenBLAS等。
    • 矩阵运算库:如Armadillo,Eigen,PETSc等。
    • 信号处理与图像处理库:FFTW,OpenCV等。
    • 并行计算库:如OpenMP,MPI,CUDA Toolkit,cuDNN等用于GPU加速计算的库。
  3. 数据库引擎

    • SQLite
    • PostgreSQL客户端和服务器端软件包
    • MySQL客户端和连接器
  4. Web服务器和相关工具

    • Apache HTTP Server
    • Nginx
    • OpenSSL和其他安全相关的软件包
  5. 开发工具

    • Git版本控制系统及其相关插件
    • CMake,Autoconf等构建系统工具
    • Vim,Emacs等文本编辑器
  6. 图形用户界面库和工具

    • GTK+,Qt等GUI开发库
    • 图形渲染和可视化库:如OpenGL,GLUT等
  7. 其他编程语言环境

    • R语言及R包
    • Ruby,Perl,Lua等脚本语言环境
  8. 系统工具和库

    • zlib压缩库
    • bzip2,xz压缩工具
    • curl,wget等网络传输工具
    • ncurses,readline等终端交互式库

通过conda,这些非Python软件包可以方便地在不同的操作系统环境下被管理和安装,并且能够自动解决复杂的依赖关系,确保在一个环境中所有软件包都能正确、兼容地工作。

3.3 conda 是一个强大的环境管理工具

conda作为一个强大的环境管理工具,能够帮助用户创建和管理包含不同版本Python以及其他软件包的独立、隔离的运行环境。以下是可以使用conda管理的各种环境:

  1. Python环境

    • 不同版本的Python:例如,可以创建一个基于Python 3.7的环境,同时另一个环境则基于Python 2.7。
    • 特定项目所需的Python库组合:每个环境中可以安装特定版本的numpy、scipy、matplotlib等库,确保项目的依赖不会与其他项目冲突。
  2. 非Python环境

    • 其他编程语言环境:虽然conda以支持Python闻名,但它也可以用来管理和构建R语言、Julia、Ruby等其他语言的环境。
    • 第三方软件与工具:比如数据库(如SQLite、PostgreSQL客户端),编译器(如GCC),科学计算工具(如OpenBLAS、FFTW),以及GIS软件(如GDAL、QGIS)等非Python相关的软件包。
  3. 跨平台环境

    • conda支持Windows、Linux和macOS等多个操作系统平台,能够在这些平台上创建和管理一致的环境。
  4. 多用户和团队环境

    • 在服务器或集群上,conda可以帮助系统管理员为不同的用户或团队创建和维护各自的环境配置,便于多人协作且各自拥有独立且可重现的开发或生产环境。

通过conda,用户可以方便地创建新环境、激活环境、在环境中安装或更新包、删除环境等操作,极大地简化了开发和部署过程中的环境管理工作。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1433069.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Jenkins升级后,构建任务配置界面重复错位

最近我把公司的Jenkins服务升级到了最新版本,升级完成后,点了一下构建任务,发现能够构建成功,就以为顺利完成升级了,下班走了,结果第二天,进入构建任务配置界面发现,界面一团乱麻&am…

Django的web框架Django Rest_Framework精讲(四)

文章目录 1.DRF认证组件Authentication2.权限Permissions3.限流Throttling4.过滤Filtering5.排序6.分页Pagination7.异常处理 Exceptions8.自动生成接口文档 大家好,我是景天,今天我们继续DRF的最后一讲,Django的web框架Django Rest_Framewor…

边缘计算网关在智能制造中有哪些应用?-天拓四方

在智能制造和工业生产环境中,数据已经成为新的生产要素,工业生产对实时性、灵活性和智能化也提出了更高的要求。而在这个过程中,边缘计算网关发挥着不可或缺的作用。它作为设备层与网络层之间的关键桥梁,确保了数据的实时、高效处…

Unity3d Cinemachine篇(六)— TargetGroup

文章目录 前言使用TargetGroup追随多个模型1. 创建二个游戏物体2. 创建TargetGroup相机3. 设置相机4. 完成 前言 上一期我们简单的使用了ClearShot相机,这次我们来使用一下TargetGroup 使用TargetGroup追随多个模型 1. 创建二个游戏物体 2. 创建TargetGroup相机 3…

自学Java的第十九天

一,每日收获 1.排序 2.冒泡排序法 3.查找 4.多维数组-二维数组 二,新名词与小技巧 三,今天学习中所遇到的困难 一,每日收获 1.排序 ① 排序的介绍 排序是将多个数据,依指定的顺序进行排列的过程。 ② 排序的…

kafka客户端生产者消费者kafka可视化工具(可生产和消费消息)

点击下载《kafka客户端生产者消费者kafka可视化工具(可生产和消费消息)》 1. 前言 因在工作中经常有用到kafka做消息的收发,每次调试过程中,经常需要查看接收的消息内容以及人为发送消息,从网上搜寻了一下&#xff0…

设计一个可以智能训练神经网络的流程

设计一个可以智能训练神经网络的流程,需要考虑以下几个关键步骤: 初始化参数:设定初始的batch size和learning rate,以及其他的神经网络参数。训练循环:开始训练过程,每次迭代更新网络的权重。监控loss:在每个训练周期(epoch)后,监控loss的变化情况。动态调整:根据l…

redis大数据统计之hyperloglog,GEO,Bitmap

目录 一、亿级系统常见的四中统计 1、聚合统计 2、排序统计 3、二值统计 4、基数统计 二、hyperloglog 去重的方式有哪些? hyperloglog实战演示 1、技术选型 2、代码演示 三、GEO GEO实战演示 四、Bitmap 一、亿级系统常见的四中统计 1、聚合统计 聚…

服务器和云计算之间有什么关系?

云计算与服务器之间的关系是密切而复杂的。首先,我们需要明确一点,云计算并不是一种全新的技术,而是对现有技术的一种整合和改进。在这个基础上,我们可以更好地理解云计算与服务器之间的关系。 服务器是云计算的重要组成部分之一…

SpringCloud-生产者和消费者

一、生产者和消费者的定义 在 Spring Cloud 中,术语 "生产者" 和 "消费者" 用于描述微服务架构中的两种基本角色。 角色定义生产者 Provider生产者是提供具体服务或功能的模块。它将业务逻辑封装成服务,供其他模块调用。生产者向服…

线性表 —— 数组、栈、队、链表

本文以 typescript 实现数据结构,虽说是 ts 实现,但更准确说是面向对象的方式实现,因此可以无缝切换成 Java 等面向对象语言。 什么是数据结构(Data Structure)? “数据结构是ADT(抽象数据类型…

一文学会Axios的使用

异步请求 同步发送请求过程如下 浏览器页面在发送请求给服务器,在服务器处理请求的过程中,浏览器页面不能做其他的操作。只能等到服务器响应结束后才能,浏览器页面才能继续做其他的操作。 异步发送请求过程如下浏览器页面发送请求给服务器&…

蓝桥杯第八届省赛题笔记------基于单片机的电子钟程序设计与调试

题目要求: 一、基本要求 1.1 使用 CT107D 单片机竞赛板,完成“电子钟”功能的程序设计与调试; 1.2 设计与调试过程中,可参考组委会提供的“资源数据包”; 1.3 Keil 工程文件以准考证号命名,保存在…

032-安全开发-JavaEE应用Servlet路由技术JDBCMybatis数据库生命周期

032-安全开发-JavaEE应用&Servlet路由技术&JDBC&Mybatis数据库&生命周期 #知识点: 1、JavaEE-HTTP-Servlet技术 2、JavaEE-数据库-JDBC&Mybatis 演示案例: ➢JavaEE-HTTP-Servlet&路由&周期 ➢JavaEE-数据库-JDBC&Mybat…

MiniCPM:揭示端侧大语言模型的无限潜力

技术博客链接: 🔗https://shengdinghu.notion.site/MiniCPM ➤ Github地址: 🔗https://github.com/OpenBMB/MiniCPM ➤ Hugging Face地址: 🔗https://huggingface.co/openbmb/MiniCPM-2B-sft-bf16 1 …

目标检测及相关算法介绍

文章目录 目标检测介绍目标检测算法分类目标检测算法模型组成经典目标检测论文 目标检测介绍 目标检测是计算机视觉领域中的一项重要任务,旨在识别图像或视频中的特定对象的位置并将其与不同类别中的对象进行分类。与图像分类任务不同,目标检测不仅需要…

工信部颁发的《计算机视觉处理设计开发工程师》中级证书

计算机视觉(Computer Vision)是一门研究如何让计算机能够理解和分析数字图像或视频的学科。简单来说,计算机视觉的目标是让计算机能够像人类一样对视觉信息进行处理和理解。为实现这个目标,计算机视觉结合了图像处理、机器学习、模…

RabbitMQ——基于 KeepAlived + HAProxy 搭建 RabbitMQ 高可用负载均衡集群

一、集群简介 1.1 集 群架构 当单台 RabbitMQ 服务器的处理消息的能力达到瓶颈时,此时可以通过 RabbitMQ 集群来进行扩展,从而达到提升吞吐量的目的。 RabbitMQ 集群是一个或多个节点的逻辑分组,集群中的每个节点都是对等的,每…

职业性格测试在求职应聘跳槽中的应用

人的性格总是千奇百怪,有的人总是想迎接挑战,超越自己,不停的奔着高处走,然而有的人总是喜欢随遇而安,踏踏实实一辈子,有份安稳的工作,有吃有喝就好。那么对于哪些喜欢迎接挑战,但又…

Adobe Camera Raw for Mac v16.1.0中文激活版

Adobe Camera Raw for Mac是一款强大的RAW格式图像编辑工具,它能够处理和编辑来自各种数码相机的原始图像。以下是关于Adobe Camera Raw for Mac的一些主要特点和功能: 软件下载:Adobe Camera Raw for Mac v16.1.0中文激活版 RAW格式支持&…