【pynput】鼠标行为追踪并模拟,无线耳麦（鼠标追踪技术）

文件名：【pynput】鼠标行为追踪并模拟,无线耳麦 【pynput】鼠标行为追踪并模拟

文章目录 前言基本思路安装依赖包实时鼠标捕获捕获鼠标位置捕获鼠标事件记录点击内容 效果图

利用本文内容从事的任何犯法行为和开发与本人无关，请理性利用技术服务大家，创建美好和谐的社会，让人们生活从繁琐中变得更加具有创造性！

前言

这前面文章中，提到了【实时屏幕捕获】的内容，这篇文章则是为大家介绍在现代计算机环境中，鼠标行为追踪的有效的方法，并通过记录和分析用户的鼠标操作，可以减少重复性工作，提高工作效率。尤其是在一些固定且重复的任务中，如接口测试、参数测试等，鼠标行为追踪为自动化提供了可能。

类似于手机上面的语言助手，不是有一个特定语言执行特定动作的功能吗，这个就类似于它，目前之所以做鼠标行为追踪并模拟是为了后面开展更加高级的功能。

基本思路 利用按键或时间限制捕获时间段利用 OpenCV 实现鼠标位置点的追踪记录每次操作位置点并回溯 安装依赖包

首先，我们需要安装所需的库。在终端或命令提示符中执行以下命令：

pip install opencv-python pyautogui numpy pynput

opencv-python：用于提供了丰富的图像处理和计算机视觉算法

pyautogui：用于捕获屏幕画面

numpy：用于处理大型多维数组和矩阵，以及执行与数据结构相关的数学运算

pynput：用于捕获以及控制鼠标和键盘

实时鼠标捕获 捕获鼠标位置

通过获取鼠标的位置，可以清晰地判断用户操作的区域：

from pynput import mouse as mos# 鼠标控制器mouse = mos.Controller()# 获取当前鼠标位置mouse.position

捕获鼠标事件

鼠标事件有三种分为：鼠标移动、点击以及滚轮滚动：

# 移动监听def on_move(x, y):print(f'鼠标移动到了：{(x, y)}')# 点击监听def on_click(x, y, button, pressed):print(f'鼠标按键：{button}，在位置处 {(x, y)}, {"按下了" if pressed else "释放了"} ')if not pressed:# 停止监听return False# 滚动监听def on_scroll(x, y, dx, dy):print(f'滚动中... {"向下：" if dy < 0 else "向上："} 至 {(x, y)}')# 构造监听器对象listener = mos.Listener(on_move=on_move,on_click=on_click,on_scroll=on_scroll)# 监听启动 listener.start()

记录点击内容

根据鼠标点击来记录用户点击内容，可以有效地分析用户的行为和爱好，更好地像学徒一样去理解用户的行为，从而达到掌握其技巧：

import pyautoguiimport numpy as npimport cv2user_click_pos = {'event': None, 'position': None}# 获取屏幕画面并保存def save_screen():# 获取屏幕截图screenshot = pyautogui.screenshot()# 将截图转换为 OpenCV 格式screen_img = cv2.cvtColor(np.array(screenshot), cv2.COLOR_RGB2BGR)# 保存截图cv2.imwrite("screen_img.png", screen_img)# 点击监听并记录用户点击事件def on_click(x, y, button, pressed):save_screen()user_click_pos['event'] = buttonuser_click_pos['position'] = (x, y)if not pressed:# 停止监听return False# 构造监听器对象listener = mos.Listener(on_click=on_click)# 监听启动listener.start()

效果图