This commit is contained in:
HuangHai
2026-02-05 15:55:17 +08:00
parent 4592b0da6f
commit 4712967fbe
88 changed files with 4768 additions and 219 deletions

View File

@@ -3,21 +3,16 @@
# ==========================================
# DataX 增量同步定时任务配置脚本
# 适用系统: Rocky Linux 9 / CentOS / RHEL
# 功能: 添加每5分钟执行一次的 crontab 任务
# 功能: 添加每10分钟执行一次的 crontab 任务
# ==========================================
# 1. 基础配置
TARGET=$1
if [ "$TARGET" != "doris" ] && [ "$TARGET" != "mysql" ]; then
echo "使用方法: $0 [doris|mysql]"
exit 1
fi
# 假设您将整个文件夹上传到了 /usr/local/datax
WORK_DIR="/usr/local/datax"
SCRIPT_NAME="run_jobs_inc.sh"
SCRIPT_PATH="$WORK_DIR/$SCRIPT_NAME"
# 日志存放位置
LOG_FILE="$WORK_DIR/logs/datax_inc_${TARGET}_cron.log"
# 日志存放位置,建议单独放在 logs 目录
LOG_FILE="$WORK_DIR/logs/datax_inc_cron.log"
# 2. 检查环境
echo "正在检查环境..."
@@ -47,11 +42,13 @@ echo "正在赋予脚本执行权限..."
chmod +x "$SCRIPT_PATH"
# 4. 配置 Crontab
# 任务定义: 每5分钟执行一次
CRON_CMD="*/5 * * * * /bin/bash $SCRIPT_PATH $TARGET >> $LOG_FILE 2>&1"
# 任务定义: 每10分钟执行一次 (*/10)
# >> $LOG_FILE 2>&1 : 将标准输出和错误输出都追加写入日志文件
CRON_CMD="*/10 * * * * /bin/bash $SCRIPT_PATH >> $LOG_FILE 2>&1"
# 检查任务是否已存在 (使用脚本路径+目标参数来匹配)
EXISTING_JOB=$(crontab -l 2>/dev/null | grep "$SCRIPT_PATH $TARGET")
# 检查任务是否已存在 (避免重复添加)
# 使用 grep 查找包含脚本路径的行
EXISTING_JOB=$(crontab -l 2>/dev/null | grep "$SCRIPT_PATH")
if [ -n "$EXISTING_JOB" ]; then
echo "警告: 检测到该脚本的定时任务已存在:"
@@ -64,8 +61,9 @@ if [ -n "$EXISTING_JOB" ]; then
exit 0
fi
# 移除旧任务
crontab -l 2>/dev/null | grep -v "$SCRIPT_PATH $TARGET" | crontab -
# 移除旧任务 (通过 grep -v 反向过滤掉包含脚本路径的行)
# 注意: 这会保留其他不相关的定时任务
crontab -l 2>/dev/null | grep -v "$SCRIPT_PATH" | crontab -
echo "旧任务已移除"
fi
@@ -80,7 +78,7 @@ echo "----------------------------------------"
echo "当前用户的 Crontab 列表:"
crontab -l
echo "----------------------------------------"
echo "执行策略: 每5分钟执行一次"
echo "执行策略: 每10分钟执行一次"
echo "日志文件: $LOG_FILE"
echo "----------------------------------------"
echo "提示: 请确保 crond 服务正在运行"