python subprocess

Python的subprocess模块是用于创建和管理子进程的模块。它提供了一种在Python中调用外部命令的方式，可以执行系统命令、启动新的进程、连接到子进程的输入/输出管道等。

基本函数

subprocess.run

subprocess.run(args, *, stdin=None, input=None, stdout=None,
               stderr=None, capture_output=False, text=None,
               check=False, timeout=None, encoding=None, errors=None)

• 运行指定的命令，并等待其完成。args参数是一个字符串或列表，表示要执行的命令和参数。
• stdin、stdout和stderr参数分别用于指定子进程的标准输入、标准输出和标准错误输出的处理方式。
• capture_output参数用于指定是否捕获子进程的输出。
• check参数用于指定是否检查子进程的返回值，如果返回值不为0，则会抛出CalledProcessError异常。
• timeout参数用于指定子进程的超时时间。
• encoding和errors参数用于指定输入/输出的编码方式和错误处理方式。

subprocess.Popen

subprocess.Popen(args, bufsize=-1, executable=None, 
                 stdin=None, stdout=None, stderr=None, 
                 preexec_fn=None, close_fds=True, 
                 shell=False, cwd=None, env=None, 
                 universal_newlines=False, startupinfo=None, 
                 creationflags=0, restore_signals=True, 
                 start_new_session=False, pass_fds=(), *, 
                 encoding=None, errors=None)

• 启动一个新的进程，并返回一个Popen对象，可以用于与子进程进行交互。
• args参数和其他参数的含义与subprocess.run()函数相同。

subprocess.Popen参数解释

- args：要执行的命令及其参数。可以是一个字符串或一个字符串列表。

- bufsize：指定缓冲区的大小。默认值为-1，表示使用系统默认的缓冲区大小。

- executable：指定要执行的可执行文件的路径。默认值为None，表示使用系统默认的可执行文件。

- stdin：指定子进程的标准输入。可以是一个文件对象或一个文件描述符。默认值为None，表示使用父进程的标准输入。

- stdout：指定子进程的标准输出。可以是一个文件对象或一个文件描述符。默认值为None，表示使用父进程的标准输出。

- stderr：指定子进程的标准错误输出。可以是一个文件对象或一个文件描述符。默认值为None，表示使用父进程的标准错误输出。

- preexec_fn：在子进程执行前调用的可调用对象。默认值为None，表示不调用任何函数。

示例：使用preexec_fn来将Popen对象绑定进程组

当使用shell=True时，subprocess.Popen()函数创建的子进程实际上是一个shell进程，而不是直接执行的命令。因此，向Popen对象发送信号并不能直接影响到子进程。

如果需要向通过shell执行的命令发送信号，可以使用os.killpg()函数来发送信号给进程组。具体步骤如下：

1. 创建Popen对象时，设置preexec_fn=os.setsid，以创建一个新的进程组。
2. 使用os.killpg()函数发送信号给进程组。

下面是一个示例，演示了如何向通过shell执行的命令发送信号：

import subprocess
import os
import signal

# 通过shell执行命令
process = subprocess.Popen('sleep 10', shell=True, preexec_fn=os.setsid)

# 发送信号给进程组
os.killpg(os.getpgid(process.pid), signal.SIGTERM)

在这个示例中，首先通过subprocess.Popen()函数创建了一个通过shell执行的命令。在创建Popen对象时，通过preexec_fn=os.setsid设置了preexec_fn参数，以创建一个新的进程组。

然后，使用os.killpg()函数发送信号给进程组。在这个示例中，发送了SIGTERM信号，即终止信号。

需要注意的是，向进程组发送信号会影响到进程组中的所有进程。因此，如果有多个通过shell执行的命令，它们都属于同一个进程组，发送信号时需要注意。

- close_fds：指定是否在子进程中关闭父进程中打开的文件描述符。默认值为True，表示关闭文件描述符。

- shell：指定是否通过shell来执行命令。默认值为False，表示不通过shell执行命令。

当shell参数设置为True时，表示通过shell来执行命令。这意味着可以使用shell的语法和功能，比如管道、重定向、通配符等。在这种情况下，args参数可以是一个字符串，表示要执行的完整命令。

当shell参数设置为False时，表示不通过shell来执行命令。这是默认的行为。在这种情况下，args参数应该是一个字符串列表，其中第一个元素是要执行的命令，后续元素是命令的参数。

需要注意的是，使用shell=True时，应该谨慎处理输入参数，避免命令注入等安全问题。应该始终对用户输入进行验证和过滤，避免直接将用户输入拼接到命令中。

下面是一个示例，演示了shell参数的用法：

import subprocess

# 通过shell执行命令
subprocess.Popen('ls -l', shell=True)

# 不通过shell执行命令
subprocess.Popen(['ls', '-l'])

在这个示例中，第一个Popen()函数调用通过shell执行了ls -l命令，而第二个Popen()函数调用不通过shell执行了ls -l命令。

使用shell执行和不使用shell执行的差异（以管道为例）

• 使用shell执行：

下面是一个示例，演示了如何通过shell执行命令并使用管道：

import subprocess

# 通过shell执行命令并使用管道
process = subprocess.Popen('ls -l | grep .txt', shell=True)

# 等待子进程结束
process.wait()

在这个示例中，通过subprocess.Popen()函数的shell参数设置为True，表示通过shell执行命令。然后，可以使用shell的管道语法|将两个命令连接起来，实现输出过滤。

• 不使用shell执行：

import subprocess

# 不通过shell执行命令并使用管道
command1 = subprocess.Popen(['ls', '-l'], stdout=subprocess.PIPE)
command2 = subprocess.Popen(['grep', '.txt'], stdin=command1.stdout, stdout=subprocess.PIPE)

# 获取命令2的输出
output = command2.communicate()[0]

# 打印输出结果
print(output.decode())

在这个示例中，首先创建了两个Popen()对象，分别对应两个命令。command1执行了ls -l命令，并将输出通过管道传递给command2。command2执行了grep .txt命令，并将结果输出到标准输出。

通过command2.communicate()方法获取命令2的输出，并将其打印出来。

不通过shell执行命令时，需要手动设置命令之间的输入输出关系，以及处理命令的输出。这需要更多的代码来实现，但也提供了更多的灵活性和控制能力。

- cwd：指定子进程的当前工作目录。默认值为None，表示使用父进程的当前工作目录。

- env：指定子进程的环境变量。可以是一个字典，表示环境变量的键值对。默认值为None，表示使用父进程的环境变量。

- universal_newlines：指定是否将输入/输出流以文本模式打开。默认值为False，表示以二进制模式打开。

- startupinfo：指定子进程的启动信息。可以是一个subprocess.STARTUPINFO对象，用于设置子进程的一些属性。默认值为None。

- creationflags：指定子进程的创建标志。默认值为0，表示使用默认的创建标志。

- restore_signals：指定是否在子进程中恢复信号处理程序。默认值为True，表示恢复信号处理程序。

- start_new_session：指定是否在新的会话中启动子进程。默认值为False，表示在当前会话中启动子进程。

- pass_fds：指定要传递给子进程的文件描述符列表。默认值为()，表示不传递文件描述符。

- encoding：指定输入/输出的编码方式。默认值为None，表示使用系统默认的编码方式。

- errors：指定输入/输出的错误处理方式。默认值为None，表示使用系统默认的错误处理方式。

总结

subprocess.Popen()函数会返回一个Popen对象，可以用于与子进程进行交互。Popen对象具有一些常用的方法和属性，比如communicate()、wait()、poll()、terminate()、kill()、stdout、stderr和returncode等。

Popen对象的常用方法和属性

• communicate(input=None, timeout=None)：与子进程进行交互，发送输入并获取输出。
• wait()：等待子进程结束，并返回其返回值。
• poll()：检查子进程是否结束，如果结束则返回其返回值，否则返回None。
• terminate()：终止子进程。
• kill()：杀死子进程。
• stdout：子进程的标准输出。
• stderr：子进程的标准错误输出。
• returncode：子进程的返回值。

下面是一个使用subprocess模块的示例，演示了如何执行一个系统命令并获取其输出：

import subprocess

# 执行系统命令
result = subprocess.run(['ls', '-l'], capture_output=True, text=True)

# 获取命令的输出
output = result.stdout
print(output)

以上代码会执行ls -l命令，并将其输出打印出来。

需要注意的是，subprocess模块在执行外部命令时，存在一定的安全风险，特别是在使用shell=True参数时。因此，在使用subprocess模块时，应该谨慎处理输入参数，避免命令注入等安全问题。