优化Python开发环境的几个神技巧

news2024/11/16 15:55:33

用Python编代码体验极佳,并且随着新版本的发布越来越好!

对于很多人而言,Python提供的大量免费函数库、高可读性的程序和新引入的类型注释让很多爱不释手。

然而,数据科学家特别容易使自己的Jupyter notebook变得庞大而杂乱,或者写出一些难以理解的python文件。

此外,当一个项目依赖于同一函数库的不同版本时,常常发生版本冲突。

修复以上问题消耗大量时间,还经常导致其他项目出现问题。必须找到避免这类问题的解决方式,为编写代码提供便利。

在本篇文章中我将详细介绍常用的工具与技巧,希望能给大家提供帮助。

Python开发环境

解释器:

从使用Python最重要的解释器开始。你可以只下载最喜欢的Python版本,然后把所有内容放在里面。

但如果你的程序需要不同版本的Python,或依赖于同一第三方模块的不同版本,并需要在几个程序之间无缝切换时该怎么办?

Pyenv可以解决上述问题。

Pyenv共包含三个工具,下面将介绍其中两个:pyenv(用于安装python)和pyenv-virtualenv(用于配置全局工具)。

可通过下方网址安装pyenv:

curl https://pyenv.run | bash 

安装后,向.bashrc(或.zshrc)文件 中添加下方代码,使得pyenv可用于设备。

exportPATH="~/.pyenv/bin:$PATH"

eval "$(pyenv init -)"

eval "$(pyenv virtualenv-init -)"

最后,重启设备。

现在可以使用pyenv安装几乎所有的python解释器,包括pypy、anaconda。

需要注意的是,pyenv只在电脑上搭建本地python环境。搭建python环境需要多种函数库。

在Ubuntu系统的电脑上,必须安装以下函数库以防止运行出现问题。

sudo apt-get installbuild-essential libsqlite3-dev sqlite3 bzip2 libbz2-dev
zlib1g-dev libssl-dev openssllibgdbm-dev libgdbm-compat-dev liblzma-dev libreadline-dev libncursesw5-devlibffi-dev uuid-dev

现在,要安装python解释器只需要执行以下指令。

pyenv installVERSION_YOU_WOULD_LIKE_TO_INSTALL

可以通过pyenv列出所有可用版本。

pyenv install --list

为了使上述过程更加具体,在此安装python3.7.5并且设置其为默认的全局解释器。

pyenv install 3.7.5  
  
pyenv global 3.7.5  

输入Python-version指令,屏幕将显示Python3.7.5。

依赖性关系管理(DependencyManagement)

Python中的依赖性管理是项繁重的工作。有许多工具可以帮助完成这项任务。

我最常使用的工具是Poetry。

Poetry可以帮助你简单地完成如下工作

  • 管理项目依赖关系

  • 通过虚拟环境将项目分开

  • 轻松构建应用程序与函数库

推荐通过以下方式安装poetry:

curl -sSL https://raw.githubusercontent.com/sdispater/poetry/master/get-poetry.py | python  

另外一种依赖性管理的方式是使用pip和pyenv-virtualenv指令。

大家可能会问:为什么不只用pip?

因为只用pip可能会在全局环境中安装poetry及其依赖项,这可能是你不需要也不想要的。

必要指令如下:

# Create a virtual environmentcalled tools that is based on 3.7.5
pyenv virtualenv 3.7.5 tools

# Install poetry into the tools virtual env
pyenv activate tools
pip install poetry

# Check installed poetry version
poetry --version

# Leave the virtual env
pyenv deactivate

# This does not work yet
poetry --version

# Add your tools virtual env to the globally available ones
pyenv global 3.7.5 tools

# Now this works and you can start using poetry
poetry --version

在使用poetry创建第一个项目之前,建议先对其进行配置,这样就可以在项目目录中的.venv文件夹中创建虚拟环境。

当你使用VsCode或Pycharm这类集成开发环境时就会变得非常方便,因为它们可以立即识别并选择正确的解释器。

poetry configsettings.virtualenvs.in-project true  

注意:你只需设置一次配置,设置结果将在全局环境保留。

终于完成了使用poetry创建项目的所有准备工作,我把这个项目命名为dsexample,为了展示如何使用poetry,我添加了一个特定版本的pandas库,以及所有额外需求的fastapi框架。

# Initialze a new project
poetry new dsexample
cd dsexample

# Add modules and create virtual environment.
poetry add pandas=0.25 fastapi --extras all

# As an example of how you could add a git module
poetry add tf2-utils --git git@github.com:Shawe82/tf2-utils.git

格式一致性与可读性(Consistent Formatting and Readability)

现在,已经创建好了项目,即将开始添加代码。理想情况下,代码库的格式应该一致,以确保可读性和可理解性。这将是一个非常沉闷乏味的过程,尤其在还有其他人操作代码库时。

但用Black可以解决上述问题!

Black是一种让程序员在编写python代码时能将精力集中于核心内容的工具。它自动为代码添加格式,避免程序员手动添加格式。

因为Black的效果非常好,我们把它添加到dsexample中,让它为所有的文件添加格式。

# We add black as a developmentdependency with --dev as we don't
# need it when it comes to production
poetry add --dev black=19.3b0

# Assume we are inside the current toplevel dsexample folder
poetry run black .

好了,现在所有的文件看起来非常整齐了。

类型纠正(Type-Correctness)

自Python3.5开始,类型注释开始成为标准库的一部分通过类型注释,代码更好理解,更易维护,不易出错。

为什么会不易出错呢?因为可以静态地检查变量和函数的类型是否符合预期。当然,必须是自动完成的。

下面介绍mypy!

Mypy是一种静态python代码检查器,作用是在错误发生之前找到他们。使用poetry向项目中添加mypy并进行代码检查与添加black一样简单。

# mypy as a developmentdependency with --dev as we don't
# need it when it comes to production
poetry add --dev mypy

# Assume we are inside the current toplevel dsexample folder
poetry run mypy .

运行mypy也可能导致很多麻烦。当然,可以将其设置为只对你关心的错误发出警告。这可以通过在项目中添加mypy.ini文件实现。

将自动化工具自动化(Automate the Automation)

使用black和mypy,我们不再需要手工为代码添加格式,并且可以避免不必要的错误。

但是我们仍需要手动使用这两个工具,这两个工具不是应该也自动化吗?

是的!

Pre-commit可以完成一切。

Pre-commit工具是在代码提交到仓库前执行检查(我默认读者的代码处在git的控制下)。无法通过检查的代码将被拒绝。

这样代码仓库就永远不会出现格式不整齐或是未经类型检查的代码,以及任何其他你需要检查错误的代码。

现在来安装pre-commit

可以使用poetry将其直接安装在项目里,也可以安装在本地机器里。我倾向于后者,因为precommit只在本地使用,而不在CI/CD服务器上。

相反,black和mypy在CI/CD服务器上运行,因此,将它们添加到项目的dev依赖项是有意义的。

建议使用下面方法通过现有的工具虚拟环境安装它!

# Install pre-commit into the tools virtual env
pyenv activate tools
pip install pre-commit

# Leave the virtual env
pyenv deactivate

# As we have already added the tool venv, it will work directly
pre-commit --version

要使用pre-commit,首先需要向顶级文件夹中添加一个名为.pre-commit-config.yarm的文件。在该文件里,你需要配置所有应该运行的钩子。

在mypy与Black的环境下,文件内容如下所示:

repos:
  - repo: https://github.com/ambv/black 
    rev: 19.3b0 
    hooks: 
    - id: black 
      language_version: python3.7
  - repo: https://github.com/pre-commit/mirrors-mypy 
    rev: v0.740 
    hooks: 
    - id: mypy

最后,你必须执行以下命令以设置钩子。

# I assume your are in the toplevel folder
pre-commit install

现在,钩子函数(hook)将在每次提交时运行。Black工具的钩子函数不仅会检查格式,还会相应地为文件添加格式。

每次添加新的钩子函数时,建议一开始在所有文件中手动运行pre-commit,因为它只能作用于上次提交之后更改过的文件。

pre-commit run --all-files  

就这样,对自动化工具的自动化完成了。

关于Python学习指南

学好 Python 不论是就业还是做副业赚钱都不错,但要学会 Python 还是要有一个学习规划。最后给大家分享一份全套的 Python 学习资料,给那些想学习 Python 的小伙伴们一点帮助!

包括:Python激活码+安装包、Python web开发,Python爬虫,Python数据分析,人工智能、自动化办公等学习教程。带你从零基础系统性的学好Python!

👉Python所有方向的学习路线👈

Python所有方向路线就是把Python常用的技术点做整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。(全套教程文末领取)

在这里插入图片描述

👉Python学习视频600合集👈

观看零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

在这里插入图片描述

温馨提示:篇幅有限,已打包文件夹,获取方式在:文末

👉Python70个实战练手案例&源码👈

光学理论是没用的,要学会跟着一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。

在这里插入图片描述

👉Python大厂面试资料👈

我们学习Python必然是为了找到高薪的工作,下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料,并且有阿里大佬给出了权威的解答,刷完这一套面试资料相信大家都能找到满意的工作。

在这里插入图片描述

在这里插入图片描述

👉Python副业兼职路线&方法👈

学好 Python 不论是就业还是做副业赚钱都不错,但要学会兼职接单还是要有一个学习规划。

在这里插入图片描述

👉 这份完整版的Python全套学习资料已经上传,朋友们如果需要可以扫描下方CSDN官方认证二维码或者点击链接免费领取保证100%免费

点击免费领取《CSDN大礼包》:Python入门到进阶资料 & 实战源码 & 兼职接单方法 安全链接免费领取

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1047721.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

生物制药公司Acesis Holdings申请650万美元纳斯达克IPO上市

来源:猛兽财经 作者:猛兽财经 猛兽财经获悉,生物制药公司Acesis Holdings近期已向美国证券交易委员会(SEC)提交招股书,申请在纳斯达克IPO上市,股票代码为(ACSB),Acesis …

【AI视野·今日NLP 自然语言处理论文速览 第四十期】Mon, 25 Sep 2023

AI视野今日CS.NLP 自然语言处理论文速览 Mon, 25 Sep 2023 Totally 46 papers 👉上期速览✈更多精彩请移步主页 Daily Computation and Language Papers ReConcile: Round-Table Conference Improves Reasoning via Consensus among Diverse LLMs Authors Justin C…

【算法训练-动态规划】二 买卖股票的最佳时机

废话不多说,喊一句号子鼓励自己:程序员永不失业,程序员走向架构!本篇Blog的主题是【动态规划】,使用【数组】这个基本的数据结构来实现,这个高频题的站点是:CodeTop,筛选条件为&…

阿里云网络、数据中心和服务器技术创新优势说明

阿里云服务器技术创新、网络技术创新、数据中心技术创新和智能运维:云服务器方升架构、自研硬件、自研存储硬件AliFlash和异构计算加速平台,以及全自研网络系统技术创新和数据中心巴拿马电源、液冷技术等技术创新说明,阿里云百科aliyunbaike.…

React Native从0到1开发一款App

先贴上项目地址,有需要的大佬可以去github看看: WinWang/RNOpenEye: React Native(0.72)版本开眼OpenEye项目 (github.com) React Native(0.72)版本OpenEye项目,主要用来熟悉并上手RN项目的开发,是Flutte…

使用 Python 的自主机器人算法 Dijkstra 路径规划

迪杰斯特拉算法 Dijkstra 算法是一种广泛使用的算法,用于查找图中的最短路径。它通过从起始节点迭代选择成本最小的节点来探索搜索空间。Dijkstra 算法计算到达每个节点的成本,并在找到更短路径时更新成本。它会持续下去,直到到达目标节点或探…

基于Esp32-cam在无外部 PIR 传感器情况下实现运动检测(一)

关于无需外部 PIR 传感器的 Esp32-cam 运动检测的世界最佳指南。从 A 到 Z 您需要了解的一切 无需外部 PIR 传感器的 Esp32-cam 运动检测一直是该网站上最热门的话题。 几个月来我付出了很大的努力来完善本指南,但它始终感觉不够好。 所以我继续工作。现在我感到很满足。 现在…

ElasticSearch - 基于 拼音分词器 和 IK分词器 模拟实现“百度”搜索框自动补全功能

目录 一、自动补全 1.1、效果说明 1.2、安装拼音分词器 1.3、自定义分词器 1.3.1、为什么要自定义分词器 1.3.2、分词器的构成 1.3.3、自定义分词器 1.3.4、面临的问题和解决办法 问题 解决方案 1.4、completion suggester 查询 1.4.1、基本概念和语法 1.4.2、示例…

【c语言中数组和指针的联系】

C语言中的数组和指针之间存在紧密的联系,因为数组名本质上就是指向数组首元素的指针。这种联系使得在处理数组时可以像处理指针一样操作,同时也使得数组和指针可以互相转换。 下面详细说明数组和指针之间的联系,并提供一些示例来演示这种联系…

多线程入门知识点及代码详解及相关面试八股文

多线程详解及相关面试八股文 多线程 线程概述 * 多线程:进程:当前正在运行的程序,一个应用程序在内存中的执行区域线程:进程中的一个执行控制单元,执行路径* 一个进程可以有一个线程,也可以有多个线程* …

B+tree 与 B-tree区别

原理:分批次的将磁盘块加载进内存中进行检索,若查到数据,则直接返回,若查不到,则释放内存,并重新加载同等数据量的索引进内存,重新遍历 结构: 数据 向下的指针 指向数据的指针 特点: 1,节点排序 2 .一个节点了可以存多个元索,多个元索也排序了 结构: 数…

vscode 打开后 默认terminal power shell 报错 名为“.C”的驱动器不存在。

这是 默认terminal power shell 打开报的错 Test-Path : 找不到驱动器。名为“.C”的驱动器不存在。 所在位置 C:\Users\HUAWEI\Documents\WindowsPowerShell\profile.ps1:4 字符: 5 If (Test-Path "C:\Users\HUAWEI\AppData\Local\Temp\_MEI319962\Scripts\ ... …

Java列表查询Long(id)到前端转换出错

Java列表查询Long到前端转换出错 问题描述排查思路思路一:SQL问题思路二:Long类型转换出错 解决方法 问题描述 做了一个列表查询功能,本来不应该有啥大问题的,但是往往事与愿违。 诶,你越觉得不可能出问题&#xff0c…

深入探讨 Presto 中的缓存

【squids.cn】 全网zui低价RDS,免费的迁移工具DBMotion、数据库备份工具DBTwin、SQL开发工具等 Presto是一种流行的开源分布式SQL引擎,使组织能够在多个数据源上大规模运行交互式分析查询。缓存是一种典型的提高 Presto 查询性能的优化技术。它为 Prest…

网络安全——黑客——自学

想自学网络安全(黑客技术)首先你得了解什么是网络安全!什么是黑客!!! 网络安全可以基于攻击和防御视角来分类,我们经常听到的 “红队”、“渗透测试” 等就是研究攻击技术,而“蓝队…

信创办公–基于WPS的PPT最佳实践系列 (将文字转换为SmartArt)

信创办公–基于WPS的PPT最佳实践系列 (将文字转换为SmartArt) 目录 应用背景操作步骤第一种:将已有文字列表转换生成SmartArt形状。第二种:直接插入SmartArt形状。 应用背景 如何清晰有效的呈现文字信息?通常使用视觉效…

BM4 合并两个排序的链表

思路:先选择最小的作为Head,每次从两个队列中取最小的挂到Head后面,如果一个合并空,后面直接挂。此外判断几个为空链表的情况 /*** struct ListNode {* int val;* struct ListNode *next;* ListNode(int x) : val(x), next(nullp…

排序算法一 直接插入排序,希尔排序,直接选择排序,堆排序和冒泡排序

什么是排序 排序:排序就是使一串记录,按照其中的某个或者某些关键字的大小,递增或递减的排列起来的操作 稳定性: 假定在排序序列中,存在多个具有相同的关键字记录,若经过排序,这些记录的相对次序保持不变,即在原序列中,存在r[i] r[j],且r[i]在 r[j] 之前&#xf…

Oracle-通过BBED强制打开数据库

前言: 在通过备份进行数据恢复时,经常会遇到由于备份的不完整,特别是归档日志的缺失,导致虽然数据文件已经顺利恢复,但是数据文件的恢复时间点没有完全一致或者数据文件的fuzzy的状态不一致,从而数据库无法正常的打开&…

三维模型3DTile格式轻量化压缩处理重难点分析

三维模型3DTile格式轻量化压缩处理重难点分析 在对三维模型3DTile格式进行轻量化压缩处理的过程中,存在一些重要而又困难的问题需要解决。以下是几个主要的重难点: 1、压缩率和模型质量之间的平衡:压缩技术的目标是尽可能地减少数据大小&…