diff --git a/DataX/Doc/说明.md b/DataX/Doc/说明.md index 2e9547c..8fd02ae 100644 --- a/DataX/Doc/说明.md +++ b/DataX/Doc/说明.md @@ -56,7 +56,7 @@ ``` ##### 2. 增量同步 (Incremental Sync) -增量同步默认采集最近 10000 条数据(按 ID 倒序),利用目标端的 **Unique Key (Doris)** 或 **Primary Key (MySQL)** 机制实现自动覆盖更新。 +增量同步默认采集最近 1000 条数据(按 ID 倒序),利用目标端的 **Unique Key (Doris)** 或 **Primary Key (MySQL)** 机制实现自动覆盖更新。 ```bash # 同步到 Doris ./run_jobs_inc.sh doris @@ -69,7 +69,7 @@ #### 四、 自动化调度 (Crontab) -使用提供的管理脚本一键配置每 10 分钟一次的增量同步任务。 +使用提供的管理脚本一键配置每 5 分钟一次的增量同步任务。 1. **启动定时任务** ```bash diff --git a/DataX/run_jobs_inc.sh b/DataX/run_jobs_inc.sh index b30d3f5..c20e361 100644 --- a/DataX/run_jobs_inc.sh +++ b/DataX/run_jobs_inc.sh @@ -92,8 +92,8 @@ for JOB in "${JOBS[@]}"; do TABLE_NAME="${JOB%.json}" echo "任务 [$((SUCCESS_COUNT + FAIL_COUNT + 1))/$TOTAL] $JOB" - # 动态构造增量 SQL:按 id 倒序取 10000 条 - QUERY_SQL="SELECT * FROM $TABLE_NAME ORDER BY id DESC LIMIT 10000" + # 动态构造增量 SQL:按 id 倒序取 1000 条 + QUERY_SQL="SELECT * FROM $TABLE_NAME ORDER BY id DESC LIMIT 1000" # 增量模式下 preSql 为空(不清空目标表) PRE_SQL="" diff --git a/DataX/start_cron.sh b/DataX/start_cron.sh index 4b32e8d..d2497cb 100644 --- a/DataX/start_cron.sh +++ b/DataX/start_cron.sh @@ -3,7 +3,7 @@ # ========================================== # DataX 增量同步定时任务配置脚本 # 适用系统: Rocky Linux 9 / CentOS / RHEL -# 功能: 添加每10分钟执行一次的 crontab 任务 +# 功能: 添加每5分钟执行一次的 crontab 任务 # ========================================== # 1. 基础配置 @@ -47,8 +47,8 @@ echo "正在赋予脚本执行权限..." chmod +x "$SCRIPT_PATH" # 4. 配置 Crontab -# 任务定义: 每10分钟执行一次 -CRON_CMD="*/10 * * * * /bin/bash $SCRIPT_PATH $TARGET >> $LOG_FILE 2>&1" +# 任务定义: 每5分钟执行一次 +CRON_CMD="*/5 * * * * /bin/bash $SCRIPT_PATH $TARGET >> $LOG_FILE 2>&1" # 检查任务是否已存在 (使用脚本路径+目标参数来匹配) EXISTING_JOB=$(crontab -l 2>/dev/null | grep "$SCRIPT_PATH $TARGET") @@ -80,7 +80,7 @@ echo "----------------------------------------" echo "当前用户的 Crontab 列表:" crontab -l echo "----------------------------------------" -echo "执行策略: 每10分钟执行一次" +echo "执行策略: 每5分钟执行一次" echo "日志文件: $LOG_FILE" echo "----------------------------------------" echo "提示: 请确保 crond 服务正在运行"