【测试】pywinauto的简单使用（安装、常用对象、元素控件、鼠标操作、键盘操作）

news/2024/7/5 2:30:41

1.说明

pywinauto是一个用于自动化Python 模块，适合Windows系统的软件（GUI），可以通过Pywinauto遍历窗口（对话框）和窗口里的控件，也可以控制鼠标和键盘输入，所以它能做的事情比之前介绍的pysimplegui更多

2.安装

一般使用pip安装就行了

pip install pywinauto

官网文档：https://pywinauto.readthedocs.io/en/latest/

3.Application

我们要控制软件的第一件事就是启动一个Windows软件，每一个软件（进程）都是一个Application对象

实例化Application对象的时候可以传入一个backend参数，可选值为win32（默认）和 uia ，

win32对应的框架：MFC、VB6、VCL、简单的 WinForms 控件和大多数旧的遗留应用程序
uia对应的框架：WinForms、WPF、商店应用程序、Qt5、浏览器
如果无法知道要测试的软件是属于哪种框架，可以使用 Inspect（对应uia） 和 Spy++（对应win32） 看看，你看哪个显示得更全就选哪个。Inspect和Spy++需要自己安装一下

下面是Application对象的主要方法

方法常用参数说明
start()cmd_line、timeout、retry_interval通过cmd命令启动一个软件（进程）
connect()process、handle、path、timeout连接一个进程，一般是使用进程号（任务管理器可以看到）
top_window()/获取应用的顶层窗口
window()title、title_re、class_name、best_match获取单个窗口（WindowSpecification）
windows()title、title_re、class_name获取多个窗口（UIAWrapper）
is64bit()/是否64位应用
cpu_usageintervalCPU占用率
wait_cpu_usage_lower()threshold、timeout等待CPU占率小于某个阈值
active()()/搜索返回一个激活的窗口
kill()soft结束进程
wait_for_process_exit()timeout、retry_interval等待进程结束

举例，启动一个微信应用，通过进程号连接，进程号就是在任务管理器里详细信息看到的PID
在任务管理器查看进程号

from pywinauto import Application

app = Application(backend="uia")
# app.start(r"D:\Program Files (x86)\Tencent\WeChat\WeChat.exe")
app.connect(process=6556)
print("is64bit:", app.is64bit())
print("cpu_usage:", app.cpu_usage())
app.wait_cpu_usage_lower()
# app.active()  # 如果指定时间内不激活则报错
print("kill:", app.kill())
print("wait_for_process_exit:", app.wait_for_process_exit())

4.WindowSpecification

我们要获取窗口，一个窗口都是一个WindowSpecification对象，可以通过Application对象的window()方法获取，参数可以是title、classname或者best_match等，这都可以在inspect.exe上看到，不过需要注意的是inspect看到的Name其实对应的是window()的title参数
在这里插入图片描述

WindowSpecification对象常用的方法如下

方法常用参数说明
maximize()/最大化窗口
minimize()/最小化窗口
restore()/恢复窗口
close()/关闭窗口
get_show_state()/获取窗口状态，0正常1最大化2最小化
was_maximized()/当前是否最大化
draw_outline()colour、thickness给窗口画个框以便定位
print_control_identifiers()/打印所有子窗口和子元素（会打印出对应的control_type）
child_window()title、control_type获取子窗口
exists()timeout窗口是否存在
wait()wait_for, timeout等待窗口变成某个状态（exists、visible、enabled、ready、active）
wait_not()wait_for_not, timeout等待窗口不处于某个状态（exists、visible、enabled、ready、active）

举个栗子

dlg = app.window(class_name="WeChatMainWndForPC")
# dlg = app.window(title="微信")
print("get_show_state:", dlg.get_show_state())
print("was_maximized:", dlg.was_maximized())
dlg.print_control_identifiers()
dlg.draw_outline()
dlg.maximize()
dlg.restore()
dlg.minimize()
dlg.close()

5.元素控件

一个窗口里一般都会有各种各样的元素，比如说按钮 （Button）、编辑栏（Edit）、树状视图（Tree View）、复选框（CheckBox）、对话框（Dialog）、工具栏（Toolbar）、状态栏（StatusBar）、列表框（ListBox）、窗格（Pane）、菜单（Menu）、菜单栏（MenuItem）、静态内容（Static）、工具提示（ToolTips）、列表控件（ListView）、单选框（RadioButton）、组合框（ComboBox）、选项卡控件（TabControl）、组框 （GroupBox）、弹出菜单（PopupMenu）、头部（Header）等

因为控件类型太多了不能一个一个学习，但是它们都有一个 element_info 的属性，访问之后会返回一个继承于ElementInfo的对象（UIAElementInfo或HwndElementInfo），比较重要的属性或方法如下

方法或属性常用参数说明
name/元素的真实名（一般是title）
visible/元素是否可见
rich_text/元素的全名
rectangle/返回元素的位置以及宽高
class_name/类名
enabled/元素是否处于可用状态
parent/返回父元素
children()title、title_re、class_name、best_match返回符合要求的子元素（列表）
iter_children()title、title_re、class_name、best_match迭代符合要求的子元素（生成器）

这些元素除了有element_info可以获取一些元素的主要信息，它们还都被包装成一个Wrapper，所以也可以学一下BaseWrapper的常用方法和属性。其实BaseWrapper的方法基本上都是对ElementInfo进一步包装，我只列出部分方法，如下表

方法或属性常用参数说明
element_info/返回当前元素的ElementInfo对象
from_point()x、y通过坐标查找ElementInfo
class_name()/类名，实际是调用element_info.class_name
friendly_class_name()/友好的类名，同上
window_text()/元素的文本，实际是调用element_info.rich_text
is_visible()/元素是否可见，实际是调用element_info.visible
is_enabled()/元素是否可用，实际是调用element_info.enabled
rectangle()/元素的位置和宽高，实际是调用element_info.rectangle
process_id()/进程号，实际是调用element_info.process_id
draw_outline()colour、thickness给当前元素画个框
click_input()button、coords、double鼠标操作，实际是调用mouse模块的_perform_click_input()
type_keys()/键盘操作，实际是调用keyboard模块的send_keys()
dlg = app.window(class_name="WeChatMainWndForPC")
list_data = dlg.child_window(title="会话", control_type="List")
for item in list_data:
    print(type(item))
    element_info = item.element_info
    print(type(element_info))
    print("window_text:", )
    print("rich_text:", element_info.rich_text)
    print("name:", element_info.name)
    print("visible:", element_info.visible)
    print("rectangle:", element_info.rectangle)
    print("class_name:", element_info.class_name)
    print("enabled:", element_info.enabled)
    print("parent:", element_info.parent)
    print("children:", element_info.children())
    print("iter_children:", element_info.iter_children())
    if item.window_text() == "文件传输助手":
        item.click_input()
        item.type_keys("冰冷的希望")
        item.type_keys("{VK_RETURN}")
    print()

说明一下，每个控件元素都有对应的Wrapper，所以上面的方法也不一定都用，需要根据实际情况进行测试区分。另外，比较有用的click_input()和type_keys()这两个方法分别用于操作鼠标和键盘（输入），下面我会单独拿出来说一下

6.鼠标操作

鼠标点击肯定离不开点击的位置，桌面就是一个坐标，左上角为坐标原点，往右是X轴正向，往下是Y轴正向。pywinauto提供了一个mouse模块用于鼠标操作，最核心的方法是_perform_click_input()，不过它是一个私有方法，我们调用的是基于它的封装方法，如下表

方法参数
click()button、coords单击鼠标某个键
double_click()button、coords双击鼠标某个键
right_click()coords单击鼠标右键
move()coords移动鼠标
press()button、coords按下鼠标
release()button、coords放开鼠标
scroll()coords、wheel_dist滚动鼠标滚轮
wheel_click()coords单击鼠标滚轮

参数说明：
参数button的默认值都是“left”，即鼠标左键，可选值有left、right、middle、move、wheel、x
参数coords 的默认值都是元组(0, 0)，元组里的两个整数分别是X、Y轴的值
参数wheel_dist表示滚动的距离，大于0是向上滚动，小于0是向下滑动

举个栗子

from pywinauto import Application, mouse

app = Application(backend="uia")
app.connect(process=4352)
dlg = app.window(class_name="WeChatMainWndForPC")
list_data = dlg.child_window(title="会话", control_type="List")
for item in list_data:
    if item.window_text() == "文件传输助手":
        # item.click_input()
        rectangle = item.element_info.rectangle
        x = int((rectangle.left + rectangle.right) / 2)
        y = int((rectangle.top + rectangle.bottom) / 2)
        mouse.click(button='left', coords=(x, y))
        time.sleep(1)
        mouse.click("right", (x, y))
        time.sleep(1)
        mouse.move((x - 50, y))  # 往左边移动50个像素
        time.sleep(1)
        mouse.click(coords=(x, y))
        break

7.键盘操作

键盘操作主要是按下键盘上的按键，相关方法在keyboard模块，最最主要的是send_keys()方法，第一个参数keys就是我们需要按下的按键，其他参数比如说with_spaces、with_tabs、with_newlines、turn_off_numlock、set_foreground、vk_packet，一看就知道作用，而且都是布尔值，此处不进行举例

pywinauto支持的完整的按键可以在官方文档查看，https://pywinauto.readthedocs.io/en/latest/code/pywinauto.keyboard.html
下面我列举出的是一些比较常用的按键

按键符号说明
ShiftVK_SHIFT上档键
CtrlVK_CONTROL、VK_LCONTROL、VK_RCONTROLCtrl键、左右Ctrl键
AltVK_MENUAlt键
WindowsVK_LWIN、VK_RWIN左右win键
SpaceVK_SPACE空格键
backspaceBACKSPACE退格键
enterENTER回车键
escESC退出键
tableVK_TAB制表键
left、right、up、downVK_LEFT、VK_RIGHT、VK_UP、VK_DOWN上下左右方向键
f1~f24VK_F1、VK_F2…VK_F24f1到f24
capslockCAPSLOCK大写键

说明：
1.使用按键时需要搭配大括号，比如说按下回车键是 '{ENTER}' （是字符串）
2.在Windows平台默认是发送虚拟按键的，以VK_开头的按键，都是指虚拟按钮，如果不想使用虚拟按钮可以把VK_前缀去掉，把send_keys()的vk_packet参数改为False即可

单个按键按下抬起还不够，往往需要组合键，这时候就需要修饰符了，在大括号里可以使用down、up控制按键什么时候按下和抬起，如果后面加上数字，表示按下多少次

list_data = dlg.child_window(title="会话", control_type="List")
for item in list_data:
    if item.window_text() == "文件传输助手":
        item.click_input()
        # item.type_keys("冰冷的希望")
        send_keys("   ")  # 随便输入字符串
        send_keys("{VK_CONTROL down} a {VK_CONTROL up}")  # 快捷键Ctrl+a（先按下Ctrl，再按下a，最后放开Ctrl）
        send_keys("{BACKSPACE}")  # 按下退格键删除文本
        send_keys("{. 6}")  # 按6次小数点
        send_keys("冰冷的希望{ENTER}")  # 输入文本，按下回车键

当然，很多时候使用down、up修饰感觉不够简洁，所以pywinauto还提供了简化写法，使用+代替{VK_SHIFT}，使用^代替{VK_CONTROL}，使用%代替{VK_MENU}

send_keys('^a^c') # 按下Ctrl+a之后再按下Ctrl+c，即全选复制
send_keys('+{INS}') # 按下Shift+Ins键
send_keys('%{F4}') # 按下Alt+F4键

如果不想按下按钮，纯属想要输入纯字符串，那就需要取消转义了，注意修饰符和按钮的写法是不一样的

send_keys('{^}a{^}c{%}') # 输入字符串"^a^c%"而不是当成快捷键
send_keys('{{}ENTER{}}') # 输入字符串"{ENTER}"而不是按下回车键

http://lihuaxi.xjx100.cn/news/1472789.html

相关文章

CSPJ2019真题大全 标题统计，公交换乘，纪念品，零件加工

CSPJ2019真题大全 标题统计，公交换乘，纪念品，零件加工

CSPJ2019A. 数字游戏 (Number Games) 题目描述 小 K 同学向小 P 同学发送了一个长度为 888 的 010101 字符串来玩数字游戏，小 P 同学想要知道字符串中究竟有多少个 111。 注意：010101 字符串为每一个字符是 000 或者 111 的字符串，如 101&…
阅读更多...
算法随笔：强连通分量

算法随笔：强连通分量

概念和性质： 强连通：在有向图G中，如果两个点u和v是互相可达的，即从u出发可以到达v，从v出发也可以到达u，则成u和v是强连通的。 强连通分量：如果一个有向图G不是强连通图，那么可以把它…
阅读更多...
华为云部署JDK环境

华为云部署JDK环境

一、确定系统内核 在下载jdk之前要先确定自己的内核是什么版本，因为我选的云服务器是CentOS7，所以一定是Linux_86_64版本。 若不确定可以在命令行中输入“uname -a”来查看系统内核。 二、下载JDK 到官网下载对应统信系统版本的jdk安装包 jdk官网&…
阅读更多...
详解FreeRTOS：FreeRTOS任务管理函数（基础篇—11）

详解FreeRTOS：FreeRTOS任务管理函数（基础篇—11）

目录 1、任务创建和删除函数 1.1、xTaxkCreate()函数 1.2、xTaskCreateStatic()函数 1.3、xTaskCreateRestricted()函数 1.4、vT
阅读更多...
js设置根据设备浏览器宽高或者端侧提供的宽高 来计算缩放

js设置根据设备浏览器宽高或者端侧提供的宽高 来计算缩放

设置meta： <meta name="viewport" id="viewport" content="width=360, initial-scale=1.0833333333333333, maximum-scale=1.0833333333333333, user-scalable=no"> 实现部分： let scale = 1; let BrowserInfo = { isAndroi…
阅读更多...
详细介绍如何基于ESP32实现气象站数据显示--附源码

详细介绍如何基于ESP32实现气象站数据显示--附源码

功能介绍&#xff1a; 驱动ili9341 从京东获取天气数据 开始使用 拿到钥匙 1.从京东注册账号 2.从网站获取密钥 安装ESP32 SDK ESP-IDF Programming Guide - ESP32 - — ESP-IDF Programming Guide latest documentation 笔记&#xff1a; 该项目兼容 ESP-IDF 3.X 分支和 4…
阅读更多...
Android SDK 上手指南｜｜第四章 应用程序结构

Android SDK 上手指南｜｜第四章 应用程序结构

第四章 应用程序结构 本教程将主要以探索与了解为主要目的&#xff0c;但后续的系列文章则将进一步带大家深入学习如何创建用户界面、响应用户交互操作以及利用Java编排应用逻辑。我们将专注于大家刚刚开始接触Android开发时最常遇到的项目内容&#xff0c;但也会同时涉及一部…
阅读更多...
wireshark数据包分析

wireshark数据包分析

一、实验目的&#xff1a; 掌握wireshark进行基本的协议分析&#xff0c;掌握TCP的三次握手的过程 二、预备知识&#xff1a; TCP/IP协议的三次握手的设计 三、实验过程&#xff1a; 1.关于wireshark这个软件的基本认识&#xff1a; 首先&#xff0c;每次capure的时候&#…
阅读更多...
最新文章

Copyright @ 2022~2023