'commit'

Apps/XinDianTu/ReadImageKit.py

@@ -74,6 +74,76 @@ class ReadImageKit:
         "严格返回纯JSON格式。"
     )
 
+    @classmethod
+    async def detect_ad_popup(cls, image_path: str, device_info=None):
+        """
+        使用 VL 模型检测是否存在弹窗广告，并返回关闭按钮坐标
+        """
+        if not os.path.exists(image_path):
+            return None
+
+        with open(image_path, "rb") as image_file:
+            encoded_image = base64.b64encode(image_file.read()).decode("utf-8")
+            img_input = {"url": f"data:image/jpeg;base64,{encoded_image}"}
+
+        # 构建提示词
+        prompt = (
+            "请仔细检查这张图片中是否存在**弹窗广告**或**悬浮广告**。\n"
+            "广告可能有以下几种形式：\n"
+            "1. **屏幕中央的大型弹窗广告**：通常遮挡了页面内容，内容多为优惠券、活动推广等。\n"
+            "2. **屏幕左侧或右侧的悬浮小广告**：例如一只兔子形状的图标、红包图标、或者带有'活动'字样的小图标。\n"
+            "3. **底部的横幅广告**：带有明显的关闭按钮。\n\n"
+            "如果发现了上述任何一种广告，请务必找到该广告的**关闭按钮**（通常是一个'X'符号，或者'关闭'字样，或者位于广告下方/右上角的圆圈叉号）。\n"
+            "请返回该关闭按钮的**中心坐标**。\n\n"
+            "请以纯 JSON 格式输出：\n"
+            "{\n"
+            "  \"has_ad\": true/false,\n"
+            "  \"close_point\": [x, y]  // 0-1000 归一化坐标\n"
+            "}\n"
+            "如果没有广告，请返回 `{\"has_ad\": false}`。\n"
+            "只输出 JSON，不要包含任何其他文字。"
+        )
+
+        try:
+            resp = await cls._client.chat.completions.create(
+                model=VL_MODEL_NAME, # 使用默认 VL 模型即可，或者使用 AD 专用
+                timeout=30,
+                messages=[
+                    {
+                        "role": "user",
+                        "content": [
+                            {"type": "image_url", "image_url": img_input},
+                            {"type": "text", "text": prompt},
+                        ],
+                    }
+                ],
+            )
+            content = resp.choices[0].message.content.strip()
+            raw_json = cls._extract_json(content)
+            result = json.loads(raw_json)
+
+            if result.get("has_ad") and result.get("close_point"):
+                # 转换坐标
+                norm_point = result["close_point"]
+                if len(norm_point) == 2:
+                    if not device_info:
+                        device_info = cls._FALLBACK_DEVICE_INFO
+                    
+                    w = device_info.get("displayWidth", FALLBACK_WIDTH)
+                    h = device_info.get("displayHeight", FALLBACK_HEIGHT)
+                    
+                    # 假设模型返回的是 0-1000 的坐标
+                    x = int(norm_point[0] / 1000 * w)
+                    y = int(norm_point[1] / 1000 * h)
+                    
+                    return {"x": x, "y": y}
+            
+            return None
+
+        except Exception as e:
+            logger.error(f"Failed to detect ad popup: {e}")
+            return None
+
     @staticmethod
     def _extract_json(text: str) -> str:
         if not text: