'commit'

Apps/AiTeJiYiChong/Config/Setting.py

@@ -1,9 +1,11 @@
 
-# 采集配置
-# 滑动距离比例 (0.1 ~ 0.9)，数值越大滑动幅度越大
-SCROLL_DISTANCE_RATIO = 0.5
-# 最大采集场站数量，达到此次数后停止采集
-MAX_STATIONS_COUNT = 100
+# 采集配置
+# 滑动距离比例 (0.1 ~ 0.9)，数值越大滑动幅度越大
+SCROLL_DISTANCE_RATIO = 0.5
+# 最大采集场站数量，达到此次数后停止采集
+MAX_STATIONS_COUNT = 100
+FIRST_RUN_ONLY_ONE_STATION = False
+FIRST_RUN_ONLY_ONE_STATION = False
 # 场站去重过期时间（秒），在此时间内重复出现的场站不会再次点击进入详情页
 REDIS_STATION_EXPIRE = 120
 # 数据库数据保留时长（天），超过此时长的历史数据（is_current=0）将被删除

Apps/AiTeJiYiChong/Crawler.py

@@ -26,7 +26,8 @@ from Apps.AiTeJiYiChong.Config.Setting import (
     WAIT_AFTER_SCROLL,
     SAFE_EXCLUDE_RATIO,
     BOTTOM_SAFE_EXCLUDE_RATIO,
-    TEST_CLEAR_REDIS
+    TEST_CLEAR_REDIS,
+    FIRST_RUN_ONLY_ONE_STATION
 )
 
 logger = logging.getLogger("AiTeJiYiChongCrawler")
@@ -289,6 +290,10 @@ async def get_station_list(d, service, max_stations_count=MAX_STATIONS_COUNT):
                     full_name_key = f"crawled:aite:{Kit.clean_station_name(station_name)}"
                     await redis_kit.set_data(full_name_key, "1", expire=REDIS_STATION_EXPIRE)
 
+                    if FIRST_RUN_ONLY_ONE_STATION:
+                        logger.info("已完成首个场站的全流程采集，根据配置退出艾特吉易充爬取任务。")
+                        break
+
             # 如果内层循环已达上限，外层循环也应退出，避免不必要的滑动
             if total_encountered_count >= max_stations_count:
                 break