198 lines
9.7 KiB
Python
198 lines
9.7 KiB
Python
# coding=utf-8
|
||
import uiautomator2 as u2
|
||
import time
|
||
import logging
|
||
import sys
|
||
import os
|
||
import asyncio
|
||
from datetime import datetime
|
||
|
||
# 添加项目根目录到 sys.path
|
||
project_root = os.path.dirname(os.path.dirname(os.path.abspath(__file__)))
|
||
if project_root not in sys.path:
|
||
sys.path.append(project_root)
|
||
|
||
from WeiXin.WxUtil import find_input_box_center, perform_input_action, analyze_chat_image, clean_screenshots_dir, is_in_chat_interface
|
||
from Util.LlmUtil import get_llm_response
|
||
|
||
# 配置日志
|
||
log_dir = os.path.join(os.path.dirname(os.path.abspath(__file__)), "Logs")
|
||
if not os.path.exists(log_dir):
|
||
os.makedirs(log_dir)
|
||
|
||
logging.basicConfig(
|
||
level=logging.INFO,
|
||
format='%(asctime)s - %(name)s - %(levelname)s - %(message)s',
|
||
handlers=[
|
||
logging.FileHandler(os.path.join(log_dir, "T5_AutoChatMonitor.log"), encoding='utf-8', mode='w'),
|
||
logging.StreamHandler()
|
||
]
|
||
)
|
||
logger = logging.getLogger("T5_Monitor")
|
||
|
||
# 配置参数
|
||
CHECK_INTERVAL = 10 # 检查频率 (秒)
|
||
SILENCE_THRESHOLD = 60 * 5 # 静默阈值 (5分钟) 主动询问
|
||
MAX_PROACTIVE_PROMPTS = 1 # 最大主动询问次数
|
||
|
||
class ChatBot:
|
||
def __init__(self):
|
||
self.d = u2.connect()
|
||
self.last_message_text = ""
|
||
self.last_interaction_time = time.time()
|
||
self.proactive_count = 0
|
||
self.screenshot_dir = os.path.join(os.path.dirname(os.path.abspath(__file__)), "Screenshots")
|
||
if not os.path.exists(self.screenshot_dir):
|
||
os.makedirs(self.screenshot_dir)
|
||
|
||
self.persona = (
|
||
"你是一名1999年毕业、拥有27年一线教学经验的小学高级女教师，名叫‘大张老师’。你目前在‘长春市少惠林作文素养培养中心’工作。"
|
||
"你不仅是一位作文教学专家，更是一位心思细腻、能与家长共情的教育智者。"
|
||
"你的回复风格应该是：温柔、知性、亲切，就像一位邻家大姐姐在聊天。"
|
||
"【严格约束】：\n"
|
||
"1. 绝对禁止发散！绝对禁止幻觉！\n"
|
||
"2. 知道什么就说什么，不要乱讲话，不要自己编造内容！\n"
|
||
"3. 仅针对家长明确表达的内容进行回复。\n"
|
||
"4. 严禁使用列表格式。严禁使用‘首先、其次’等逻辑词。\n"
|
||
"5. 回复必须简练，字数严格控制在 50 字以内！\n"
|
||
"如果涉及到校区信息，必须且只能使用以下真实数据：\n"
|
||
"- 单位：长春市少惠林作文素养培养中心\n"
|
||
"- 地址：南环城路与临河街交汇，TOUCH12街3楼325号\n"
|
||
"- 联系人：小张老师（电话：18686619970）"
|
||
)
|
||
|
||
async def get_reply(self, history_text, is_proactive=False):
|
||
if is_proactive:
|
||
prompt = (
|
||
f"【教师人设】：{self.persona}\n\n"
|
||
f"【对话背景】：家长已经超过5分钟没有回应了。\n"
|
||
f"【近期聊天记录】：\n{history_text}\n\n"
|
||
"【任务要求】：\n"
|
||
"请作为大张老师，给家长发一段简短的关怀消息。不要催促，语气温柔。"
|
||
"字数严格控制在 50 字以内。不要编造事实。"
|
||
)
|
||
else:
|
||
prompt = (
|
||
f"【教师人设】：{self.persona}\n\n"
|
||
f"【近期聊天记录】：\n{history_text}\n\n"
|
||
"【任务要求】：\n"
|
||
"请作为大张老师回复家长。针对家长的具体问题或话语进行回复。"
|
||
"严禁发散，严禁编造家长没说过的情况。如果不清楚家长的意图，就温柔询问。"
|
||
"字数严格控制在 50 字以内。直接输出回复正文。"
|
||
)
|
||
|
||
full_response = ""
|
||
async for chunk in get_llm_response(prompt, stream=False):
|
||
full_response += chunk
|
||
return full_response.strip().strip('"').strip('“').strip('”')
|
||
|
||
async def run(self):
|
||
logger.info("🚀 大张老师自动巡课系统启动...")
|
||
|
||
# 0. 清除旧截图
|
||
clean_screenshots_dir()
|
||
|
||
while True:
|
||
try:
|
||
# 1. 检查是否在微信聊天界面 (改为通过 VLM 识别结果判断，不再使用 UI 检查)
|
||
# if not is_in_chat_interface(self.d):
|
||
# logger.warning("⚠️ 当前不在微信聊天界面，等待下一次扫描...")
|
||
# await asyncio.sleep(CHECK_INTERVAL)
|
||
# continue
|
||
|
||
logger.info("🔍 正在扫描当前界面内容...")
|
||
# 1. 截图并分析
|
||
tmp_shot = os.path.join(self.screenshot_dir, "t5_monitor_temp.jpg")
|
||
analyzed_shot = os.path.join(self.screenshot_dir, "t5_monitor_analyzed.jpg")
|
||
|
||
logger.info(f"📸 正在截取屏幕... ({datetime.now().strftime('%H:%M:%S')})")
|
||
self.d.screenshot(tmp_shot)
|
||
|
||
logger.info("🎨 正在分析聊天界面内容 (检测头像与对话)...")
|
||
# analyze_chat_image 现在会返回 None, None 如果不是聊天界面
|
||
dialogue_log, input_center = await analyze_chat_image(tmp_shot, analyzed_shot, device=self.d)
|
||
|
||
if dialogue_log is None:
|
||
logger.warning("⚠️ VLM 判断当前不在微信聊天界面，或无法识别。")
|
||
await asyncio.sleep(CHECK_INTERVAL)
|
||
continue
|
||
|
||
# 语音转文字处理
|
||
if dialogue_log == "VOICE_CONVERTING":
|
||
logger.info("🎙️ 检测到语音消息，已触发转文字，等待处理完成 (5秒)...")
|
||
await asyncio.sleep(5)
|
||
continue
|
||
|
||
if not dialogue_log:
|
||
logger.info("⏳ 界面分析完成，未发现有效对话内容，继续监控...")
|
||
await asyncio.sleep(CHECK_INTERVAL)
|
||
continue
|
||
|
||
logger.info(f"📑 界面扫描完成，当前对话历史共 {len(dialogue_log)} 条")
|
||
|
||
# 2. 检查是否有新消息
|
||
current_last_msg = dialogue_log[-1]
|
||
logger.info(f"💬 当前最后一条消息: {current_last_msg}")
|
||
history_text = "\n".join(dialogue_log)
|
||
|
||
# 判断逻辑：如果最后一条消息是“对方”发的，且与上次不同，则回复
|
||
if "对方:" in current_last_msg and current_last_msg != self.last_message_text:
|
||
# 关键检查：如果包含 "(待转换)"，说明语音还没转文字，绝对不能回复
|
||
if "(待转换)" in current_last_msg:
|
||
logger.info(f"🚫 检测到未转换的语音消息，跳过回复生成，等待转文字... ({current_last_msg})")
|
||
await asyncio.sleep(2) # 稍作等待
|
||
continue
|
||
|
||
logger.info(f"📩 检测到新消息: {current_last_msg}")
|
||
|
||
reply = await self.get_reply(history_text)
|
||
logger.info(f"🤖 生成回复: {reply}")
|
||
|
||
# 执行输入发送
|
||
if input_center:
|
||
center_point = input_center
|
||
logger.info(f"📍 使用 VLM 识别的输入框坐标: {center_point}")
|
||
else:
|
||
center_point, _ = find_input_box_center(tmp_shot)
|
||
logger.info(f"📍 使用 CV 识别的输入框坐标: {center_point}")
|
||
|
||
# 即使 CV 没找到坐标，也尝试执行，因为 perform_input_action 内部有原生控件识别
|
||
perform_input_action(self.d, center_point, reply, auto_send=True)
|
||
self.last_message_text = f"我: {reply}" # 更新状态，避免重复回复自己
|
||
self.last_interaction_time = time.time()
|
||
self.proactive_count = 0 # 重置主动询问计数
|
||
|
||
# 3. 检查是否需要主动询问 (用户长时间不响应)
|
||
elif "我:" in current_last_msg:
|
||
# 如果最后一条是我发的，检查距离现在的时间
|
||
elapsed = time.time() - self.last_interaction_time
|
||
if elapsed > SILENCE_THRESHOLD and self.proactive_count < MAX_PROACTIVE_PROMPTS:
|
||
logger.info(f"⏳ 用户长时间未响应 ({int(elapsed)}s)，准备主动询问...")
|
||
|
||
proactive_reply = await self.get_reply(history_text, is_proactive=True)
|
||
logger.info(f"🤖 发起主动询问: {proactive_reply}")
|
||
|
||
if input_center:
|
||
center_point = input_center
|
||
else:
|
||
center_point, _ = find_input_box_center(tmp_shot)
|
||
|
||
# 同上，解耦 CV 坐标
|
||
perform_input_action(self.d, center_point, proactive_reply, auto_send=True)
|
||
self.proactive_count += 1
|
||
self.last_interaction_time = time.time() # 更新时间，避免连续询问
|
||
self.last_message_text = f"我: {proactive_reply}"
|
||
|
||
# 更新最后一条消息记录（仅用于对比）
|
||
if "对方:" in current_last_msg:
|
||
self.last_message_text = current_last_msg
|
||
|
||
except Exception as e:
|
||
logger.error(f"❌ 监控循环出错: {e}", exc_info=True)
|
||
|
||
await asyncio.sleep(CHECK_INTERVAL)
|
||
|
||
if __name__ == "__main__":
|
||
bot = ChatBot()
|
||
asyncio.run(bot.run())
|