插入图片

前言

PyAutoGUI是一个用于图像识别和鼠标/键盘控制的Python库。它提供了一组函数和方法，用于自动化屏幕上的鼠标移动、点击、拖拽和键盘输入，以及执行图像识别和处理。本文旨在帮助读者入门 PyAutoGUI，理解其基础概念和掌握最佳实践，从而提高工作效率和准确性。

只要是关于自动化的操作，它都可以完成！

它还是跨平台的！！！

但需要注意的是，PyAutoGUI是基于屏幕坐标的自动化工具，它通过模拟鼠标和键盘操作来实现自动化。所以在一些复杂的情况下，可能需要选择专门的工具来完成自动化任务。

知识点📖📖

安装模块

pip install pyautogui
pip install Pillow

PyAutoGUI 简介

PyAutoGUI是一个用于图像识别和鼠标/键盘控制的Python库。它提供了一组函数和方法，用于自动化屏幕上的鼠标移动、点击、拖拽和键盘输入，以及执行图像识别和处理。

PyAutoGUI的主要作用包括：

自动化任务：可以使用PyAutoGUI编写脚本来自动执行各种任务，例如自动化数据输入、表单填充、图像处理、报告生成等。
GUI测试：PyAutoGUI可以用于测试图形用户界面(GUI)的应用程序。可以模拟用户的鼠标和键盘操作，以验证应用程序的功能和稳定性。
屏幕操作：PyAutoGUI允许通过编程方式控制鼠标和键盘，从而执行各种屏幕操作，例如截图、屏幕分辨率设置、窗口管理等。
图像识别和处理：PyAutoGUI提供了一些函数来进行图像识别和处理。可以使用这些功能来查找屏幕上的特定图像、执行像素级别的操作、比较图像等。
跨平台支持：PyAutoGUI可以在多个操作系统上运行，包括Windows、macOS和Linux等。

PyAutoGUI是一个强大的自动化工具，特别适用于需要模拟用户操作和控制图形界面的任务。它提供了简单而直观的接口，使得编写自动化脚本变得容易。无论是进行GUI测试、自动化任务还是屏幕操作，PyAutoGUI都可以胜任。

基础使用

这里做一些常用的功能展示，没能详尽展示 PyAutoGUI 的全部功能。

常用操作

import pyautogui

# 移动鼠标到坐标 (100, 200)
pyautogui.moveTo(100, 200)

# 点击鼠标
pyautogui.click()

# 拖动鼠标到新的坐标 (300, 400)，持续时间为 1 秒
pyautogui.dragTo(300, 400, duration=1)

# 在当前位置滚动鼠标向上 10 次
pyautogui.scroll(10)

# 按下键盘上的 'A' 键
pyautogui.keyDown('A')

# 输入字符串 'Hello, World!'
pyautogui.typewrite('Hello, World!')

# 截取屏幕截图并保存为文件
screenshot = pyautogui.screenshot('screenshot.png')

# 定位屏幕上指定图像的位置
image_location = pyautogui.locateOnScreen('image.png')
print(f"图像位置：{image_location}")

屏幕和窗口

size(): 获取屏幕的宽度和高度。
position(): 获取当前鼠标的坐标位置。
onScreen(x, y): 检查给定的坐标是否在屏幕上。
screenshot(region=None): 捕获屏幕截图。
getAllWindows(): 获取当前打开的窗口列表。

示例代码：

import pyautogui

# 获取屏幕的宽度和高度
print(pyautogui.size())

# 获取当前鼠标的坐标位置
print(pyautogui.position())

# 检查给定的坐标是否在屏幕上
print(pyautogui.onScreen(100, 2000))

# 捕获屏幕截图，并保存为demo.png
pyautogui.screenshot().save('demo.png')
# 捕获屏幕截图，左上角坐标为(100,100)，宽度和高度为500, 500
pyautogui.screenshot(region=(100, 100, 500, 500)).save('region.png')

# 获取当前打开的窗口句柄列表
print(pyautogui.getAllWindows())

鼠标操作

在PyAutoGUI中，有多个函数可以模拟鼠标点击操作。

这些函数可以用于模拟鼠标点击操作，它们接受一个可选的x和y参数，用于指定点击的位置，如果未提供坐标参数，它们将在当前鼠标位置执行点击操作。
可选参数有很多，但一般我们只需要关心 x，y，duration
- x，y：坐标位置
- duration：鼠标移动到xy坐标需要多少秒。默认为0

方法	释义
pyautogui.click()	该函数模拟鼠标左键单击操作。将鼠标移动到指定的坐标位置（或当前位置），然后执行单击操作
pyautogui.doubleClick()	该函数模拟鼠标左键双击操作。
pyautogui.leftClick()	该函数模拟鼠标左键单击操作，与`click()`函数功能相同
pyautogui.rightClick()	该函数模拟鼠标右键单击操作。将鼠标移动到指定的坐标位置（或当前位置），然后执行右键单击操作
pyautogui.middleClick()	该函数模拟鼠标中键单击操作。将鼠标移动到指定的坐标位置（或当前位置），然后执行中键单击操作。
pyautogui.tripleClick()	该函数模拟鼠标左键三击操作。
pyautogui.dragTo()	该函数模拟鼠标拖动 (按住按钮时鼠标移动) 到屏幕上的某个点

示例代码：

import pyautogui

# 单击操作
pyautogui.click(x=100, y=200)  # 在指定位置(100, 200)执行左键单击
# 在指定位置(100, 200)执行左键单击，移动时长2秒
pyautogui.click(x=100, y=200, duration=2)  

# 双击操作
pyautogui.doubleClick()  # 在当前鼠标位置执行左键双击

# 右键单击操作
pyautogui.rightClick(x=300, y=400)  # 在指定位置(300, 400)执行右键单击

# 中键单击操作
pyautogui.middleClick()  # 在当前鼠标位置执行中键单击

# 三击操作
pyautogui.tripleClick()  # 在当前鼠标位置执行左键三击

# 拖动操作
pyautogui.dragTo(100, 200)	# 拖动鼠标到指定位置(100, 200)

键盘操作

PyAutoGUI 模拟键盘输入

键盘操作相对简单，以下是一些常用的键盘操作示例代码：

import pyautogui

# 输入单个按键
pyautogui.press('a')

# 输入组合键
pyautogui.hotkey('ctrl', 'c')

# 输入字符串
pyautogui.typewrite('Hello, World!')

# 模拟按下一个键
pyautogui.keyDown(key)

# 模拟释放一个键
pyautogui.keyUp(key)

图像识别

PyAutoGUI提供了图像识别的功能，可以用于在屏幕上查找指定图像的位置。主要使用了locateOnScreen()和locateCenterOnScreen()这两个函数

locateOnScreen()：返回图像的位置
locateCenterOnScreen()：返回中心坐标

如果没有匹配到，则返回 None。

locateOnScreen() 函数有以下参数和作用：

image: 要查找的图像文件路径或PIL.Image.Image对象。它指定了要在屏幕上查找的目标图像。
grayscale (可选): 指定是否将图像转换为灰度图像进行匹配。默认值为False，表示使用彩色图像进行匹配。
confidence (可选): 匹配的置信度阈值。默认值为0.7，表示匹配的相似度必须大于等于该阈值才被认为是成功匹配。

代码示例：

import pyautogui

# 1. 准备待识别的图像
image_path = 'image.png'

# 2. 进行图像识别
location = pyautogui.locateOnScreen(image_path)
print(location)

# 3. 执行相应操作
if location:
    # 找到了图像，执行相应操作
    x, y, width, height = location
    # 在图像位置点击鼠标
    pyautogui.click(x, y)
else:
    # 没有找到图像，执行其他操作
    print("未找到待识别的图像")