YOLOv8 实时屏幕目标检测与透明框叠加显示教程

本文介绍如何使用 yolov8 结合 pyqt5 在 windows/macos 全屏上实时检测目标并绘制半透明、置顶的绿色边界框，无需视频流或跟踪，适用于桌面自动化、游戏辅助、ui 元素识别等场景。

本文介绍如何使用 yolov8 结合 pyqt5 在 windows/macos 全屏上实时检测目标并绘制半透明、置顶的绿色边界框，无需视频流或跟踪，适用于桌面自动化、游戏辅助、ui 元素识别等场景。

要在全屏截图上实时显示 YOLOv8 的检测结果（如按钮、图标、弹窗等），核心挑战在于：检测是离线图像处理，而可视化需持续、低延迟、不遮挡原界面的图形覆盖。直接用 cv2.imshow() 会新建窗口、阻塞交互且无法置顶；而 pyautogui.drawRectangle() 等方法不可靠、不支持透明/抗锯齿且易被系统刷新覆盖。最优解是构建一个无边框、全屏、始终置顶、背景透明的 Qt Overlay 窗口，通过 paintEvent 动态绘制检测框。

以下为完整可运行方案（兼容 YOLOv8.1+，已优化性能与健壮性）：

✅ 核心步骤说明

全屏截图 → OpenCV 格式转换：使用 pyautogui.screenshot() 获取 RGB 图像，转为 BGR 供 YOLO 推理；
YOLOv8 推理 → 提取 xyxy 坐标：调用 model.predict() 获取 Results 对象，安全提取 .boxes.xyxy（注意：.boxes 可能为空，需判空）；
Qt 透明覆盖层绘制：创建 QApplication 和 QWidget 子类，设置 Qt.FramelessWindowHint | Qt.WindowStaysOnTopHint | WA_TranslucentBackground；
动态重绘：在主循环中更新检测结果列表，并触发 repaint()，由 paintEvent 绘制矩形框。

? 完整优化代码（含错误处理与性能提示）

import sys
import time
from PyQt5.QtWidgets import QApplication, QWidget
from PyQt5.QtGui import QPainter, QPen, QColor
from PyQt5.QtCore import Qt, QRect
import pyautogui
import cv2
import numpy as np
from ultralytics import YOLO

class DetectionOverlay(QWidget):
    def __init__(self, model_path: str, conf: float = 0.4):
        super().__init__()
        self.model = YOLO(model_path)
        self.conf = conf
        self.detections = []  # List of [x1, y1, x2, y2]
        self.init_ui()

    def init_ui(self):
        screen = pyautogui.size()
        self.setGeometry(0, 0, screen.width, screen.height)
        self.setWindowTitle("YOLOv8 Screen Detector")
        self.setWindowFlags(
            Qt.FramelessWindowHint
            | Qt.WindowStaysOnTopHint
            | Qt.Tool  # Prevents appearing in taskbar
        )
        self.setAttribute(Qt.WA_TranslucentBackground)
        self.setAttribute(Qt.WA_NoSystemBackground)

    def paintEvent(self, event):
        painter = QPainter(self)
        pen = QPen(QColor(0, 255, 0, 220), 2, Qt.SolidLine)  # Green, semi-transparent
        pen.setCosmetic(True)  # Ensures 1px width regardless of scale
        painter.setPen(pen)

        for (x1, y1, x2, y2) in self.detections:
            # Clamp coordinates to screen bounds (avoid drawing outside)
            x1 = max(0, min(x1, self.width()))
            y1 = max(0, min(y1, self.height()))
            x2 = max(0, min(x2, self.width()))
            y2 = max(0, min(y2, self.height()))
            painter.drawRect(int(x1), int(y1), int(x2 - x1), int(y2 - y1))

    def update_detections(self, img_bgr: np.ndarray):
        """Run inference and update bounding box list"""
        try:
            results = self.model(img_bgr, conf=self.conf, verbose=False)
            self.detections.clear()
            if len(results) > 0 and hasattr(results[0].boxes, 'xyxy') and len(results[0].boxes.xyxy) > 0:
                boxes = results[0].boxes.xyxy.cpu().numpy()  # Shape: (N, 4)
                for box in boxes:
                    x1, y1, x2, y2 = map(int, box[:4])
                    self.detections.append([x1, y1, x2, y2])
        except Exception as e:
            print(f"[WARN] Inference error: {e}")
            self.detections.clear()

def main():
    MODEL_PATH = "C:/Users/toto/Desktop/DETECT/best.pt"
    CONF_THRESHOLD = 0.4

    app = QApplication(sys.argv)
    overlay = DetectionOverlay(MODEL_PATH, CONF_THRESHOLD)
    overlay.show()

    # Main detection loop — aim for ~15–30 FPS on modern CPU/GPU
    last_time = time.time()
    while True:
        # Capture screen (fastest method for full-screen)
        screenshot = pyautogui.screenshot()
        frame = cv2.cvtColor(np.array(screenshot), cv2.COLOR_RGB2BGR)

        # Run detection & update overlay
        overlay.update_detections(frame)

        # Repaint & process events
        overlay.repaint()
        app.processEvents()

        # Optional: limit FPS to reduce CPU usage
        current = time.time()
        elapsed = current - last_time
        if elapsed < 0.033:  # ~30 FPS cap
            time.sleep(0.033 - elapsed)
        last_time = time.time()

if __name__ == "__main__":
    main()

⚠️ 关键注意事项

性能调优：全屏截图（尤其 2K/4K）和 YOLO 推理开销大。建议：
- 使用 conf=0.5+ 减少误检；
- 若模型支持，启用 device='cuda'（YOLO(...).to('cuda')）；
- 或缩小截图尺寸（如 pyautogui.screenshot(region=(0,0,1280,720))）再缩放推理。
坐标一致性：pyautogui.screenshot() 返回左上角为原点，YOLO 输出 xyxy 也是像素坐标，无需归一化或坐标转换，可直接使用。
跨平台兼容性：该方案在 Windows/macOS 上稳定；Linux 需额外配置窗口管理器（如禁用 compositor）以支持透明置顶。
安全提示：部分杀毒软件可能误报 pyautogui 或 Qt 行为，请添加白名单；生产环境建议增加热键退出机制（如监听 Esc 键关闭 overlay）。