常用模块之subprocess模块(十九)

subprocess模块介绍

subprocess 模块允许我们启动一个新进程，并连接到它们的输入/输出/错误管道，从而获取返回值。subprocess 它可以用来调用第三方工具（例如：exe、另一个python文件、命令行工具）。subprocess 模块用于启动新的模块，它可以用于执行新的命令，获取进程的输出、输入和等待进程的结束。

在python中，多进程协同大概有三种方式：

1. os.system函数
2. mulitprocessing模块
3. subprocess模块

我们可以在python中使用以下的语句，引入subprocess模块：

import subprocess

subprocess模块中的常用函数

在subprocess模块中的常用函数如下表所示：

函数	描述
subprocess.run()	Python 3.5中新增的函数。执行指定的命令，等待命令执行完成后返回一个包含执行结果的CompletedProcess类
subprocess.call()	执行指定的命令，返回命令执行状态，其功能类似于os.system(cmd)。
subprocess.check_call()	Python 2.5中新增的函数。 执行指定的命令，如果执行成功则返回状态码，否则抛出异常。其功能等价于subprocess.run(…, check=True)。
subprocess.check_output()	Python 2.7中新增的的函数。执行指定的命令，如果执行状态码为0则返回命令执行结果，否则抛出异常。
subprocess.getoutput(cmd)	接收字符串格式的命令，执行命令并返回执行结果，其功能类似于os.popen(cmd).read()和commands.getoutput(cmd)。
subprocess.getstatusoutput(cmd)	执行cmd命令，返回一个元组(命令执行状态, 命令执行结果输出)，其功能类似于commands.getstatusoutput()

subprocess模块常用参数说明

参数	描述
args	要执行的shell命令，默认应该是一个字符串序列，如[‘df’, ‘-Th’]或(‘df’, ‘-Th’)，也可以是一个字符串，如’df -Th’，但是此时需要把shell参数的值置为True
stdin、stdout 和 stderr	进程的标准输入、输出和错误。其值可以是 subprocess.PIPE、subprocess.DEVNULL、一个已经存在的文件描述符、已经打开的文件对象或者 None。subprocess.PIPE 表示为子进程创建新的管道。subprocess.DEVNULL 表示使用 os.devnull。默认使用的是 None，表示什么都不做。另外，stderr 可以合并到 stdout 里一起输出
timeout	设置命令超时时间。如果命令执行时间超时，子进程将被杀死，并弹出 TimeoutExpired 异常
check	如果check参数的值是True，且执行命令的进程以非0状态码退出，则会抛出一个CalledProcessError的异常，且该异常对象会包含 参数、退出状态码、以及stdout和stderr(如果它们有被捕获的话)
shell	如果该参数为 True，将通过操作系统的 shell 执行指定的命令。如果我们需要访问某些shell的特性，如管道、文件名通配符、环境变量扩展功能，这将是非常有用的。当然，python本身也提供了许多类似shell的特性的实现，如glob、fnmatch、os.walk()、os.path.expandvars()、os.expanduser()和shutil等。
universal_newlines	该参数影响的是输入与输出的数据格式，比如它的值默认为False，此时stdout和stderr的输出是字节序列；当该参数的值设置为True时，stdout和stderr的输出是字符串

subprocess.run()函数

先来一个正确执行命令

语法：subprocess.run(args, *, stdin=None, input=None, stdout=None, stderr=None, shell=False, timeout=None, check=False, universal_newlines=False)

实例：

import subprocess
subprocess.run(["ls", "-l"])

以上实例的输出结果：

subprocess.call()函数

语法：subprocess.call(args, *, stdin=None, stdout=None, stderr=None, shell=False, timeout=None)

实例：

import subprocess
subprocess.call(['ls',  '-l'])
subprocess.call('ls -l', shell=True)
subprocess.call(['ls',  '-l'], stdout=subprocess.DEVNULL)
subprocess.call(['ls',  '-l', '/test'])

以上实例的输出结果：

subprocess.check_call()函数

语法：subprocess.check_call(args, *, stdin=None, stdout=None, stderr=None, shell=False, timeout=None)

实例：

import subprocess
subprocess.check_call(['ls',  '-l'])
subprocess.check_call('ls -l', shell=True)
subprocess.check_call('ls -l /test', shell=True)

以上实例的输出结果：

subprocess.check_output()函数

语法：subprocess.check_output(args, *, stdin=None, stderr=None, shell=False, universal_newlines=False, timeout=None)

实例：

import subprocess
ret = subprocess.check_output(['ls',  '-l'])
print(ret)
ret = subprocess.check_output(['ls',  '-l'], universal_newlines=True)
print(ret)

以上实例的输出结果：

subprocess.getstatusoutput()函数

语法：subprocess.getstatusoutput(cmd)

实例：

import subprocess
retcode, output = subprocess.getstatusoutput('ls -l')
print(retcode)
print(output)
retcode, output = subprocess.getstatusoutput('ls -l /test')
print(retcode)
print(output)

以上实例的输出结果：

subprocess.getoutput()函数

语法：subprocess.getoutput(cmd)

实例：

import subprocess
ret = subprocess.getoutput('ls -l')
print(ret)

以上实例的输出结果：

subprocess.Popen介绍

该类用于在一个新的进程中执行一个子程序。前面我们提到过，上面介绍的这些函数都是基于subprocess.Popen类实现的，通过使用这些被封装后的高级函数可以很方面的完成一些常见的需求。由于subprocess模块底层的进程创建和管理是由Popen类来处理的，因此，当我们无法通过上面哪些高级函数来实现一些不太常见的功能时就可以通过subprocess.Popen类提供的灵活的api来完成。

subprocess.Popen常用参数说明

subprocess.Popen的语法：class subprocess.Popen(args, bufsize=-1, executable=None, stdin=None, stdout=None, stderr=None, preexec_fn=None, close_fds=True, shell=False, cwd=None, env=None, universal_newlines=False,startup_info=None, creationflags=0, restore_signals=True, start_new_session=False, pass_fds=())

subprocess.Popen常用参数如下表所示：

参数	描述
args	要执行的shell命令，可以是字符串，也可以是命令各个参数组成的序列。当该参数的值是一个字符串时，该命令的解释过程是与平台相关的，因此通常建议将args参数作为一个序列传递。
bufsize	指定缓存策略，0表示不缓冲，1表示行缓冲，其他大于1的数字表示缓冲区大小，负数 表示使用系统默认缓冲策略。stdin, stdout, stderr： 分别表示程序标准输入、输出、错误句柄。
preexec_fn	用于指定一个将在子进程运行之前被调用的可执行对象，只在Unix平台下有效。
close_fds	如果该参数的值为True，则除了0,1和2之外的所有文件描述符都将会在子进程执行之前被关闭。
shell	该参数用于标识是否使用shell作为要执行的程序，如果shell值为True，则建议将args参数作为一个字符串传递而不要作为一个序列传递。
cwd	如果该参数值不是None，则该函数将会在执行这个子进程之前改变当前工作目录。
env	用于指定子进程的环境变量，如果env=None，那么子进程的环境变量将从父进程中继承。如果env!=None，它的值必须是一个映射对象。
universal_newlines	如果该参数值为True，则该文件对象的stdin，stdout和stderr将会作为文本流被打开，否则他们将会被作为二进制流被打开。
startupinfo和creationflags	这两个参数只在Windows下有效，它们将被传递给底层的CreateProcess()函数，用于设置子进程的一些属性，如主窗口的外观，进程优先级等。

subprocess.Popen类的实例可调用的方法

subprocess.Popen类的实例可调用的方法如下表所示：

方法	描述
Popen.poll()	用于检查子进程（命令）是否已经执行结束，没结束返回None，结束后返回状态码。
Popen.wait(timeout=None)	等待子进程结束，并返回状态码；如果在timeout指定的秒数之后进程还没有结束，将会抛出一个TimeoutExpired异常
Popen.communicate(input=None, timeout=None)	该方法可用来与进程进行交互，比如发送数据到stdin，从stdout和stderr读取数据，直到到达文件末尾
Popen.send_signal(signal)	发送指定的信号给这个子进程
Popen.terminate()	停止该子进程
Popen.kill()	杀死该子进程

关于communicate()方法的说明：

• 该方法中的可选参数 input应该是将被发送给子进程的数据，或者如没有数据发送给子进程，该参数应该是None。input参数的数据类型必须是字节串，如果universal_newlines参数值为True，则input参数的数据类型必须是字符串。
• 该方法返回一个元组(stdout_data,stderr_data)，这些数据将会是字节穿或字符串（如果universal_newlines的值为True）。
• 如果在timeout指定的秒数后该进程还没有结束，将会抛出一个TimeoutExpired异常。捕获这个异常，然后重新尝试通信不会丢失任何输出的数据。但是超时之后子进程并没有被杀死，为了合理的清除相应的内容，一个好的应用应该手动杀死这个子进程来结束通信。
• 需要注意的是，这里读取的数据是缓冲在内存中的，所以，如果数据大小非常大或者是无限的，就不应该使用这个方法

实列一控制电脑逐步执行命令：

import subprocess

obj = subprocess.Popen(["python"], stdin=subprocess.PIPE,stdout=subprocess.PIPE,stderr=subprocess.PIPE,universal_newlines=True)
obj.stdin.write("print(1)\n")
obj.stdin.write('print(2) \n')
out,err = obj.communicate()
print(out)

以上代码输出的实例：

实例二获得输出的数据：

import subprocess
p = subprocess.Popen('ls -al', stdout=subprocess.PIPE, shell=True)
print(p.stdout.read())

以上代码输出的实例：

实例三实现shell中管道的功能

import subprocess

p1 = subprocess.Popen(['df', '-Th'], stdout=subprocess.PIPE)
p2 = subprocess.Popen(['grep', 'data'], stdin=p1.stdout, stdout=subprocess.PIPE)
out,err = p2.communicate()
print(out)

以上代码输出的实例：