YOLOv8 实时屏幕目标检测与透明框选叠加教程

本文介绍如何使用 yolov8 结合 pyqt5 在 windows/macos 全屏上实时绘制检测框，无需视频流或跟踪模块，适用于桌面截图场景（如自动化测试、游戏辅助、ui 元素识别等）。

本文介绍如何使用 yolov8 结合 pyqt5 在 windows/macos 全屏上实时绘制检测框，无需视频流或跟踪模块，适用于桌面截图场景（如自动化测试、游戏辅助、ui 元素识别等）。

在基于屏幕截图的目标检测任务中（如监控特定 UI 元素、识别弹窗按钮、捕捉游戏内对象），仅调用 YOLO.predict() 得到结果是不够的——关键在于将预测出的边界框（bounding boxes）实时、无遮挡、高帧率地叠加显示在原始屏幕上。由于 cv2.imshow() 会新建窗口且无法置顶/透明，直接绘图不可行；而 pyautogui.drawRectangle() 性能差、不支持多框、无法持续刷新。因此，轻量级透明覆盖层（Overlay）是最佳实践方案。

以下是一个稳定、可部署的完整实现，基于 PyQt5 构建常驻顶层透明窗口，并通过 paintEvent 动态渲染 YOLOv8 检测结果：

import sys
from PyQt5.QtWidgets import QApplication, QWidget
from PyQt5.QtGui import QPainter, QPen, QColor
from PyQt5.QtCore import Qt, QRect
import pyautogui
import cv2
import numpy as np
from ultralytics import YOLO

class DetectionOverlay(QWidget):
    def __init__(self, model_path: str, conf_threshold: float = 0.4):
        super().__init__()
        self.model = YOLO(model_path)
        self.conf_threshold = conf_threshold
        self.detections = []  # List of [x1, y1, x2, y2]
        self.init_ui()

    def init_ui(self):
        screen_size = pyautogui.size()
        self.setGeometry(0, 0, screen_size.width, screen_size.height)
        self.setWindowTitle("YOLOv8 Screen Overlay")
        self.setWindowFlags(Qt.FramelessWindowHint | Qt.WindowStaysOnTopHint | Qt.Tool)
        self.setAttribute(Qt.WA_TranslucentBackground)
        self.setAttribute(Qt.WA_NoSystemBackground)

    def paintEvent(self, event):
        painter = QPainter(self)
        pen = QPen(QColor(0, 255, 0), 2, Qt.SolidLine)  # Green, 2px
        painter.setPen(pen)
        painter.setRenderHint(QPainter.Antialiasing)

        for (x1, y1, x2, y2) in self.detections:
            # Ensure coordinates are within screen bounds
            x1, y1 = max(0, int(x1)), max(0, int(y1))
            x2, y2 = min(self.width(), int(x2)), min(self.height(), int(y2))
            if x1 < x2 and y1  0 and hasattr(results[0].boxes, 'xyxy') and len(results[0].boxes.xyxy) > 0:
                boxes = results[0].boxes.xyxy.cpu().numpy()
                overlay.detections = boxes.astype(int).tolist()

            overlay.repaint()
            QApplication.processEvents()
            app.processEvents()

    except KeyboardInterrupt:
        print("\nOverlay stopped.")
    finally:
        sys.exit(app.exec_())

if __name__ == "__main__":
    main()

✅ 关键优化说明：

使用 Qt.Tool | Qt.FramelessWindowHint | Qt.WindowStaysOnTopHint 确保窗口始终置顶且无边框；
WA_TranslucentBackground + WA_NoSystemBackground 实现真透明（非黑色背景）；
QPainter.Antialiasing 提升矩形边缘清晰度；
坐标边界校验防止越界绘图崩溃；
首次推理预热（warm-up）显著降低首帧延迟；
conf_threshold 直接传入 .model() 调用，比后过滤更高效。

⚠️ 注意事项：

性能提示：全屏截图（如 2560×1440）+ YOLOv8m/l 推理可能达 50–150ms/帧。若卡顿，可：① 降低截图分辨率（pyautogui.screenshot(region=(...)) 裁剪 ROI）；② 改用 YOLO(model).to('cuda') 启用 GPU；③ 设置 time.sleep(0.05) 控制帧率。
跨平台兼容性：本方案在 Windows/macOS 均可运行；Linux 需额外配置窗口管理器（如启用 _NET_WM_STATE_ABOVE）。
安全限制：macOS 可能要求授予「屏幕录制」权限；Windows 用户需关闭「硬件加速」（部分显卡驱动下 PyQt 透明层异常）。
进阶扩展：可添加类别标签（QPainter.drawText()）、置信度颜色映射、点击穿透（setAttribute(Qt.WA_TransparentForMouseEvents)）或热键退出。

该方案已验证于 YOLOv8.2+、PyQt5 5.15+、Python 3.9+ 环境，兼顾简洁性与生产可用性——无需 OpenCV GUI 窗口干扰，真正实现“所见即检测”。