aiData/WeiXin/T5_AutoChatMonitor.py

# coding=utf-8
import uiautomator2 as u2
import time
import logging
import sys
import os
import asyncio
from datetime import datetime

# 添加项目根目录到 sys.path
project_root = os.path.dirname(os.path.dirname(os.path.abspath(__file__)))
if project_root not in sys.path:
    sys.path.append(project_root)

from WeiXin.WxUtil import find_input_box_center, perform_input_action, analyze_chat_image, clean_screenshots_dir, is_in_chat_interface
from Util.LlmUtil import get_llm_response

# 配置日志
log_dir = os.path.join(os.path.dirname(os.path.abspath(__file__)), "Logs")
if not os.path.exists(log_dir):
    os.makedirs(log_dir)

logging.basicConfig(
    level=logging.INFO,
    format='%(asctime)s - %(name)s - %(levelname)s - %(message)s',
    handlers=[
        logging.FileHandler(os.path.join(log_dir, "T5_AutoChatMonitor.log"), encoding='utf-8', mode='w'),
        logging.StreamHandler()
    ]
)
logger = logging.getLogger("T5_Monitor")

# 配置参数
CHECK_INTERVAL = 10  # 检查频率 (秒)
SILENCE_THRESHOLD = 60 * 5  # 静默阈值 (5分钟) 主动询问
MAX_PROACTIVE_PROMPTS = 1  # 最大主动询问次数

class ChatBot:
    def __init__(self):
        self.d = u2.connect()
        self.last_message_text = ""
        self.last_interaction_time = time.time()
        self.proactive_count = 0
        self.screenshot_dir = os.path.join(os.path.dirname(os.path.abspath(__file__)), "Screenshots")
        if not os.path.exists(self.screenshot_dir):
            os.makedirs(self.screenshot_dir)

        self.persona = (
            "你是一名1999年毕业、拥有27年一线教学经验的小学高级女教师，名叫‘大张老师’。你目前在‘长春市少惠林作文素养培养中心’工作。"
            "你不仅是一位作文教学专家，更是一位心思细腻、能与家长共情的教育智者。"
            "你的回复风格应该是：温柔、知性、亲切，就像一位邻家大姐姐在聊天。"
            "【严格约束】：\n"
            "1. 绝对禁止发散！绝对禁止幻觉！\n"
            "2. 知道什么就说什么，不要乱讲话，不要自己编造内容！\n"
            "3. 仅针对家长明确表达的内容进行回复。\n"
            "4. 严禁使用列表格式。严禁使用‘首先、其次’等逻辑词。\n"
            "5. 回复必须简练，字数严格控制在 50 字以内！\n"
            "如果涉及到校区信息，必须且只能使用以下真实数据：\n"
            "- 单位：长春市少惠林作文素养培养中心\n"
            "- 地址：南环城路与临河街交汇，TOUCH12街3楼325号\n"
            "- 联系人：小张老师（电话：18686619970）"
        )

    async def get_reply(self, history_text, is_proactive=False):
        if is_proactive:
            prompt = (
                f"【教师人设】：{self.persona}\n\n"
                f"【对话背景】：家长已经超过5分钟没有回应了。\n"
                f"【近期聊天记录】：\n{history_text}\n\n"
                "【任务要求】：\n"
                "请作为大张老师，给家长发一段简短的关怀消息。不要催促，语气温柔。"
                "字数严格控制在 50 字以内。不要编造事实。"
            )
        else:
            prompt = (
                f"【教师人设】：{self.persona}\n\n"
                f"【近期聊天记录】：\n{history_text}\n\n"
                "【任务要求】：\n"
                "请作为大张老师回复家长。针对家长的具体问题或话语进行回复。"
                "严禁发散，严禁编造家长没说过的情况。如果不清楚家长的意图，就温柔询问。"
                "字数严格控制在 50 字以内。直接输出回复正文。"
            )
        
        full_response = ""
        async for chunk in get_llm_response(prompt, stream=False):
            full_response += chunk
        return full_response.strip().strip('"').strip('“').strip('”')

    async def run(self):
        logger.info("🚀 大张老师自动巡课系统启动...")
        
        # 0. 清除旧截图
        clean_screenshots_dir()
        
        while True:
            try:
                # 1. 检查是否在微信聊天界面 (改为通过 VLM 识别结果判断，不再使用 UI 检查)
                # if not is_in_chat_interface(self.d):
                #     logger.warning("⚠️ 当前不在微信聊天界面，等待下一次扫描...")
                #     await asyncio.sleep(CHECK_INTERVAL)
                #     continue

                logger.info("🔍 正在扫描当前界面内容...")
                # 1. 截图并分析
                tmp_shot = os.path.join(self.screenshot_dir, "t5_monitor_temp.jpg")
                analyzed_shot = os.path.join(self.screenshot_dir, "t5_monitor_analyzed.jpg")
                
                logger.info(f"📸 正在截取屏幕... ({datetime.now().strftime('%H:%M:%S')})")
                self.d.screenshot(tmp_shot)
                
                logger.info("🎨 正在分析聊天界面内容 (检测头像与对话)...")
                # analyze_chat_image 现在会返回 None, None 如果不是聊天界面
                dialogue_log, input_center = await analyze_chat_image(tmp_shot, analyzed_shot, device=self.d)

                if dialogue_log is None:
                    logger.warning("⚠️ VLM 判断当前不在微信聊天界面，或无法识别。")
                    await asyncio.sleep(CHECK_INTERVAL)
                    continue
                
                # 语音转文字处理
                if dialogue_log == "VOICE_CONVERTING":
                    logger.info("🎙️ 检测到语音消息，已触发转文字，等待处理完成 (5秒)...")
                    await asyncio.sleep(5) 
                    continue

                if not dialogue_log:
                    logger.info("⏳ 界面分析完成，未发现有效对话内容，继续监控...")
                    await asyncio.sleep(CHECK_INTERVAL)
                    continue

                logger.info(f"📑 界面扫描完成，当前对话历史共 {len(dialogue_log)} 条")

                # 2. 检查是否有新消息
                current_last_msg = dialogue_log[-1]
                logger.info(f"💬 当前最后一条消息: {current_last_msg}")
                history_text = "\n".join(dialogue_log)

                # 判断逻辑：如果最后一条消息是“对方”发的，且与上次不同，则回复
                if "对方:" in current_last_msg and current_last_msg != self.last_message_text:
                    # 关键检查：如果包含 "(待转换)"，说明语音还没转文字，绝对不能回复
                    if "(待转换)" in current_last_msg:
                        logger.info(f"🚫 检测到未转换的语音消息，跳过回复生成，等待转文字... ({current_last_msg})")
                        await asyncio.sleep(2) # 稍作等待
                        continue

                    logger.info(f"📩 检测到新消息: {current_last_msg}")
                    
                    reply = await self.get_reply(history_text)
                    logger.info(f"🤖 生成回复: {reply}")
                    
                    # 执行输入发送
                    if input_center:
                        center_point = input_center
                        logger.info(f"📍 使用 VLM 识别的输入框坐标: {center_point}")
                    else:
                        center_point, _ = find_input_box_center(tmp_shot)
                        logger.info(f"📍 使用 CV 识别的输入框坐标: {center_point}")

                    # 即使 CV 没找到坐标，也尝试执行，因为 perform_input_action 内部有原生控件识别
                    perform_input_action(self.d, center_point, reply, auto_send=True)
                    self.last_message_text = f"我: {reply}" # 更新状态，避免重复回复自己
                    self.last_interaction_time = time.time()
                    self.proactive_count = 0 # 重置主动询问计数

                # 3. 检查是否需要主动询问 (用户长时间不响应)
                elif "我:" in current_last_msg:
                    # 如果最后一条是我发的，检查距离现在的时间
                    elapsed = time.time() - self.last_interaction_time
                    if elapsed > SILENCE_THRESHOLD and self.proactive_count < MAX_PROACTIVE_PROMPTS:
                        logger.info(f"⏳ 用户长时间未响应 ({int(elapsed)}s)，准备主动询问...")
                        
                        proactive_reply = await self.get_reply(history_text, is_proactive=True)
                        logger.info(f"🤖 发起主动询问: {proactive_reply}")
                        
                        if input_center:
                            center_point = input_center
                        else:
                            center_point, _ = find_input_box_center(tmp_shot)
                        
                        # 同上，解耦 CV 坐标
                        perform_input_action(self.d, center_point, proactive_reply, auto_send=True)
                        self.proactive_count += 1
                        self.last_interaction_time = time.time() # 更新时间，避免连续询问
                        self.last_message_text = f"我: {proactive_reply}"
                
                # 更新最后一条消息记录（仅用于对比）
                if "对方:" in current_last_msg:
                    self.last_message_text = current_last_msg

            except Exception as e:
                logger.error(f"❌ 监控循环出错: {e}", exc_info=True)

            await asyncio.sleep(CHECK_INTERVAL)

if __name__ == "__main__":
    bot = ChatBot()
    asyncio.run(bot.run())