'commit'

DataX/Doc/说明.md

@@ -56,7 +56,7 @@
 ```
 
 ##### 2. 增量同步 (Incremental Sync)
-增量同步默认采集最近 10000 条数据（按 ID 倒序），利用目标端的 **Unique Key (Doris)** 或 **Primary Key (MySQL)** 机制实现自动覆盖更新。
+增量同步默认采集最近 1000 条数据（按 ID 倒序），利用目标端的 **Unique Key (Doris)** 或 **Primary Key (MySQL)** 机制实现自动覆盖更新。
 ```bash
 # 同步到 Doris
 ./run_jobs_inc.sh doris
@@ -69,7 +69,7 @@
 
 #### 四、 自动化调度 (Crontab)
 
-使用提供的管理脚本一键配置每 10 分钟一次的增量同步任务。
+使用提供的管理脚本一键配置每 5 分钟一次的增量同步任务。
 
 1. **启动定时任务**
    ```bash

DataX/run_jobs_inc.sh

@@ -92,8 +92,8 @@ for JOB in "${JOBS[@]}"; do
     TABLE_NAME="${JOB%.json}"
     echo "任务 [$((SUCCESS_COUNT + FAIL_COUNT + 1))/$TOTAL] $JOB"
     
-    # 动态构造增量 SQL：按 id 倒序取 10000 条
-    QUERY_SQL="SELECT * FROM $TABLE_NAME ORDER BY id DESC LIMIT 10000"
+    # 动态构造增量 SQL：按 id 倒序取 1000 条
+    QUERY_SQL="SELECT * FROM $TABLE_NAME ORDER BY id DESC LIMIT 1000"
     # 增量模式下 preSql 为空（不清空目标表）
     PRE_SQL=""
     

DataX/start_cron.sh

@@ -3,7 +3,7 @@
 # ==========================================
 # DataX 增量同步定时任务配置脚本
 # 适用系统: Rocky Linux 9 / CentOS / RHEL
-# 功能: 添加每10分钟执行一次的 crontab 任务
+# 功能: 添加每5分钟执行一次的 crontab 任务
 # ==========================================
 
 # 1. 基础配置
@@ -47,8 +47,8 @@ echo "正在赋予脚本执行权限..."
 chmod +x "$SCRIPT_PATH"
 
 # 4. 配置 Crontab
-# 任务定义: 每10分钟执行一次
-CRON_CMD="*/10 * * * * /bin/bash $SCRIPT_PATH $TARGET >> $LOG_FILE 2>&1"
+# 任务定义: 每5分钟执行一次
+CRON_CMD="*/5 * * * * /bin/bash $SCRIPT_PATH $TARGET >> $LOG_FILE 2>&1"
 
 # 检查任务是否已存在 (使用脚本路径+目标参数来匹配)
 EXISTING_JOB=$(crontab -l 2>/dev/null | grep "$SCRIPT_PATH $TARGET")
@@ -80,7 +80,7 @@ echo "----------------------------------------"
 echo "当前用户的 Crontab 列表:"
 crontab -l
 echo "----------------------------------------"
-echo "执行策略: 每10分钟执行一次"
+echo "执行策略: 每5分钟执行一次"
 echo "日志文件: $LOG_FILE"
 echo "----------------------------------------"
 echo "提示: 请确保 crond 服务正在运行"