tmp
-
################# retry : Some(9999) ################################## retry : Some(9998) ################################## retry : Some(9999) ################################## retry : Some(9999) ################################## retry : Some(9999) ################################## retry : Some(9999) ################################## retry : Some(9999) ################################## retry : Some(9999) ################################## retry : Some(9999) ################################## retry : Some(9999) ################################## retry : Some(9999) ################################## retry : Some(9999) ################################## retry : Some(9998) #################[INFO] [09/10/2025 13:24:08.451] [cromwell-system-akka.dispatchers.backend-dispatcher-195] [akka://cromwell-system/user/cromwell-service/WorkflowManagerActor/WorkflowActor-830dc691-9767-475f-a4c2-e65543225903/WorkflowExecutionActor-830dc691-9767-475f-a4c2-e65543225903/830dc691-9767-475f-a4c2-e65543225903-EngineJobExecutionActor-meta_workflow.Bar:NA:1/830dc691-9767-475f-a4c2-e65543225903-BackendJobExecutionActor-meta_workflow.Bar:NA:1/TesAsyncBackendJobExecutionActor] TesAsyncBackendJobExecutionActor [UUID(830dc691)meta_workflow.Bar:NA:1]: Status change from - to Running
################# retry : Some(9999) ################################## retry : Some(9999) ################################## retry : Some(9999) ################################## retry : Some(9999) ################################## retry : Some(9999) ################################## retry : Some(9999) ################################## retry : Some(9999) ################################## retry : Some(9999) ################################## retry : Some(9999) ################################## retry : Some(9999) ################################## retry : Some(9999) ################################## retry : Some(9998) ################################## retry : Some(9998) ################################## retry : Some(9999) ################################## retry : Some(9999) #################[INFO] [09/10/2025 13:24:09.672] [cromwell-system-akka.dispatchers.backend-dispatcher-195] [akka://cromwell-system/user/cromwell-service/WorkflowManagerActor/WorkflowActor-830dc691-9767-475f-a4c2-e65543225903/WorkflowExecutionActor-830dc691-9767-475f-a4c2-e65543225903/830dc691-9767-475f-a4c2-e65543225903-EngineJobExecutionActor-meta_workflow.metacor:NA:1/830dc691-9767-475f-a4c2-e65543225903-BackendJobExecutionActor-meta_workflow.metacor:NA:1/TesAsyncBackendJobExecutionActor] TesAsyncBackendJobExecutionActor [UUID(830dc691)meta_workflow.metacor:NA:1]: Status change from - to Running
################# retry : Some(9998) ################################## retry : Some(9998) ################################## retry : Some(9998) ################################## retry : Some(9998) ################################## retry : Some(9999) ################################## retry : Some(9998) ################################## retry : Some(9999) ################################## retry : Some(9998) ################################## retry : Some(9997) ################################## retry : Some(9998) ################################## retry : Some(9997) ################################## retry : Some(9998) ################################## retry : Some(9998) #################[INFO] [09/10/2025 13:24:09.730] [cromwell-system-akka.dispatchers.backend-dispatcher-195] [akka://cromwell-system/user/cromwell-service/WorkflowManagerActor/WorkflowActor-efce8835-18f0-4b86-8783-d9080d75b68f/WorkflowExecutionActor-efce8835-18f0-4b86-8783-d9080d75b68f/efce8835-18f0-4b86-8783-d9080d75b68f-EngineJobExecutionActor-meta_workflow.TICstdredeal:NA:1/efce8835-18f0-4b86-8783-d9080d75b68f-BackendJobExecutionActor-meta_workflow.TICstdredeal:NA:1/TesAsyncBackendJobExecutionActor] TesAsyncBackendJobExecutionActor [UUID(efce8835)meta_workflow.TICstdredeal:NA:1]: Status change from - to Running
################# retry : Some(9999) ################################## retry : Some(9999) ################################## retry : Some(9998) ################################## retry : Some(9998) ################################## retry : Some(9998) ################################## retry : Some(9998) ################################## retry : Some(9998) ################################## retry : Some(9999) ################################## retry : Some(9999) ################################## retry : Some(9999) ################################## retry : Some(9999) ################################## retry : Some(9999) ################################## retry : Some(9999) ################################## retry : Some(9999) #################[INFO] [09/10/2025 13:24:12.450] [cromwell-system-akka.dispatchers.backend-dispatcher-188] [akka://cromwell-system/user/cromwell-service/WorkflowManagerActor/WorkflowActor-830dc691-9767-475f-a4c2-e65543225903/WorkflowExecutionActor-830dc691-9767-475f-a4c2-e65543225903/830dc691-9767-475f-a4c2-e65543225903-EngineJobExecutionActor-meta_workflow.roplsplsda:NA:1/830dc691-9767-475f-a4c2-e65543225903-BackendJobExecutionActor-meta_workflow.roplsplsda:NA:1/TesAsyncBackendJobExecutionActor] TesAsyncBackendJobExecutionActor [UUID(830dc691)meta_workflow.roplsplsda:NA:1]: Status change from - to Running
################# retry : Some(9999) ################################## retry : Some(9999) ################################## retry : Some(9999) ################################## retry : Some(9999) ################################## retry : Some(9999) ################################## retry : Some(9999) ################################## retry : Some(9999) ################################## retry : Some(9999) ################################## retry : Some(9999) ################################## retry : Some(9999) ################################## retry : Some(9999) ################################## retry : Some(9999) ################################## retry : Some(9999) ################################## retry : Some(9999) ################################## retry : Some(9999) ################################## retry : Some(9999) #################[INFO] [09/10/2025 13:24:15.939] [cromwell-system-akka.dispatchers.backend-dispatcher-211] [akka://cromwell-system/user/cromwell-service/WorkflowManagerActor/WorkflowActor-830dc691-9767-475f-a4c2-e65543225903/WorkflowExecutionActor-830dc691-9767-475f-a4c2-e65543225903/830dc691-9767-475f-a4c2-e65543225903-EngineJobExecutionActor-meta_workflow.TICsampleredeal:NA:1/830dc691-9767-475f-a4c2-e65543225903-BackendJobExecutionActor-meta_workflow.TICsampleredeal:NA:1/TesAsyncBackendJobExecutionActor] TesAsyncBackendJobExecutionActor [UUID(830dc691)meta_workflow.TICsampleredeal:NA:1]: Status change from - to Running
################# retry : Some(9998) ################################## retry : Some(9998) ################################## retry : Some(9998) ################################## retry : Some(9997) ################################## retry : Some(9998) ################################## retry : Some(9999) ################################## retry : Some(9998) ################################## retry : Some(9999) ################################## retry : Some(9998) ################################## retry : Some(9998) ################################## retry : Some(9998) #################[INFO] [09/10/2025 13:24:17.438] [cromwell-system-akka.dispatchers.backend-dispatcher-211] [akka://cromwell-system/user/cromwell-service/WorkflowManagerActor/WorkflowActor-830dc691-9767-475f-a4c2-e65543225903/WorkflowExecutionActor-830dc691-9767-475f-a4c2-e65543225903/830dc691-9767-475f-a4c2-e65543225903-EngineJobExecutionActor-meta_workflow.kmeans:NA:1/830dc691-9767-475f-a4c2-e65543225903-BackendJobExecutionActor-meta_workflow.kmeans:NA:1/TesAsyncBackendJobExecutionActor] TesAsyncBackendJobExecutionActor [UUID(830dc691)meta_workflow.kmeans:NA:1]: Status change from - to Running
################# retry : Some(9998) ################################## retry : Some(9998) ################################## retry : Some(9997) ################################## retry : Some(9998) ################################## retry : Some(9998) #################[INFO] [09/10/2025 13:24:17.632] [cromwell-system-akka.dispatchers.backend-dispatcher-211] [akka://cromwell-system/user/cromwell-service/WorkflowManagerActor/WorkflowActor-830dc691-9767-475f-a4c2-e65543225903/WorkflowExecutionActor-830dc691-9767-475f-a4c2-e65543225903/830dc691-9767-475f-a4c2-e65543225903-EngineJobExecutionActor-meta_workflow.all_sample_map:NA:1/830dc691-9767-475f-a4c2-e65543225903-BackendJobExecutionActor-meta_workflow.all_sample_map:NA:1/TesAsyncBackendJobExecutionActor] TesAsyncBackendJobExecutionActor [UUID(830dc691)meta_workflow.all_sample_map:NA:1]: Status change from - to Running
################# retry : Some(9997) ################################## retry : Some(9998) ################################## retry : Some(9998) ################################## retry : Some(9998) ################################## retry : Some(9998) ################################## retry : Some(9997) ################################## retry : Some(9998) #################[INFO] [09/10/2025 13:24:19.638] [cromwell-system-akka.dispatchers.backend-dispatcher-211] [akka://cromwell-system/user/cromwell-service/WorkflowManagerActor/WorkflowActor-830dc691-9767-475f-a4c2-e65543225903/WorkflowExecutionActor-830dc691-9767-475f-a4c2-e65543225903/830dc691-9767-475f-a4c2-e65543225903-EngineJobExecutionActor-meta_workflow.KEGG:NA:1/830dc691-9767-475f-a4c2-e65543225903-BackendJobExecutionActor-meta_workflow.KEGG:NA:1/TesAsyncBackendJobExecutionActor] TesAsyncBackendJobExecutionActor [UUID(830dc691)meta_workflow.KEGG:NA:1]: Status change from - to Running
################# retry : Some(9996) ################################## retry : Some(9997) ################################## retry : Some(9997) ################################## retry : Some(9998) ################################## retry : Some(9997) #################[INFO] [09/10/2025 13:24:22.193] [cromwell-system-akka.dispatchers.backend-dispatcher-211] [akka://cromwell-system/user/cromwell-service/WorkflowManagerActor/WorkflowActor-efce8835-18f0-4b86-8783-d9080d75b68f/WorkflowExecutionActor-efce8835-18f0-4b86-8783-d9080d75b68f/efce8835-18f0-4b86-8783-d9080d75b68f-EngineJobExecutionActor-meta_workflow.TICsampleredeal:NA:1/efce8835-18f0-4b86-8783-d9080d75b68f-BackendJobExecutionActor-meta_workflow.TICsampleredeal:NA:1/TesAsyncBackendJobExecutionActor] TesAsyncBackendJobExecutionActor [UUID(efce8835)meta_workflow.TICsampleredeal:NA:1]: Status change from - to Running
################# retry : Some(9999) ################################## retry : Some(9997) ################################## retry : Some(9997) ################################## retry : Some(9997) ################################## retry : Some(9998) ################################## retry : Some(9998) ################################## retry : Some(9997) #################[INFO] [09/10/2025 13:24:25.386] [cromwell-system-akka.dispatchers.backend-dispatcher-211] [akka://cromwell-system/user/cromwell-service/WorkflowManagerActor/WorkflowActor-830dc691-9767-475f-a4c2-e65543225903/WorkflowExecutionActor-830dc691-9767-475f-a4c2-e65543225903/830dc691-9767-475f-a4c2-e65543225903-EngineJobExecutionActor-meta_workflow.heatmap:NA:1/830dc691-9767-475f-a4c2-e65543225903-BackendJobExecutionActor-meta_workflow.heatmap:NA:1/TesAsyncBackendJobExecutionActor] TesAsyncBackendJobExecutionActor [UUID(830dc691)meta_workflow.heatmap:NA:1]: Status change from - to Running
################# retry : Some(9997) ################################## retry : Some(9997) ################################## retry : Some(9997) ################################## retry : Some(9997) ################################## retry : Some(9998) ################################## retry : Some(9998) ################################## retry : Some(9997) ################################## retry : Some(9998) ################################## retry : Some(9996) ################################## retry : Some(9998) ################################## retry : Some(9999) ################################## retry : Some(9998) ################################## retry : Some(9998) ################################## retry : Some(9998) ################################## retry : Some(9998) #################[INFO] [09/10/2025 13:24:25.501] [cromwell-system-akka.dispatchers.backend-dispatcher-211] [akka://cromwell-system/user/cromwell-service/WorkflowManagerActor/WorkflowActor-830dc691-9767-475f-a4c2-e65543225903/WorkflowExecutionActor-830dc691-9767-475f-a4c2-e65543225903/830dc691-9767-475f-a4c2-e65543225903-EngineJobExecutionActor-meta_workflow.TICstdredeal:NA:1/830dc691-9767-475f-a4c2-e65543225903-BackendJobExecutionActor-meta_workflow.TICstdredeal:NA:1/TesAsyncBackendJobExecutionActor] TesAsyncBackendJobExecutionActor [UUID(830dc691)meta_workflow.TICstdredeal:NA:1]: Status change from - to Running
################# retry : Some(9998) ################################## retry : Some(9998) ################################## retry : Some(9998) ################################## retry : Some(9997) ################################## retry : Some(9998) #################[INFO] [09/10/2025 13:24:26.411] [cromwell-system-akka.dispatchers.backend-dispatcher-211] [akka://cromwell-system/user/cromwell-service/WorkflowManagerActor/WorkflowActor-830dc691-9767-475f-a4c2-e65543225903/WorkflowExecutionActor-830dc691-9767-475f-a4c2-e65543225903/830dc691-9767-475f-a4c2-e65543225903-EngineJobExecutionActor-meta_workflow.roplsoplsda:NA:1/830dc691-9767-475f-a4c2-e65543225903-BackendJobExecutionActor-meta_workflow.roplsoplsda:NA:1/TesAsyncBackendJobExecutionActor] TesAsyncBackendJobExecutionActor [UUID(830dc691)meta_workflow.roplsoplsda:NA:1]: Status change from - to Running
################# retry : Some(9998) ################################## retry : Some(9997) ################################## retry : Some(9997) ################################## retry : Some(9998) ################################## retry : Some(9996) ################################## retry : Some(9997) ################################## retry : Some(9998) #################[INFO] [09/10/2025 13:24:27.693] [cromwell-system-akka.dispatchers.backend-dispatcher-194] [akka://cromwell-system/user/cromwell-service/WorkflowManagerActor/WorkflowActor-efce8835-18f0-4b86-8783-d9080d75b68f/WorkflowExecutionActor-efce8835-18f0-4b86-8783-d9080d75b68f/efce8835-18f0-4b86-8783-d9080d75b68f-EngineJobExecutionActor-meta_workflow.roplspca:NA:1/efce8835-18f0-4b86-8783-d9080d75b68f-BackendJobExecutionActor-meta_workflow.roplspca:NA:1/TesAsyncBackendJobExecutionActor] TesAsyncBackendJobExecutionActor [UUID(efce8835)meta_workflow.roplspca:NA:1]: job id: task-9d37d05a
################# retry : Some(9997) ################################## retry : Some(9997) ################################## retry : Some(9997) ################################## retry : Some(9997) ################################## retry : Some(9997) #################[INFO] [09/10/2025 13:24:27.693] [cromwell-system-akka.dispatchers.backend-dispatcher-211] [akka://cromwell-system/user/cromwell-service/WorkflowManagerActor/WorkflowActor-efce8835-18f0-4b86-8783-d9080d75b68f/WorkflowExecutionActor-efce8835-18f0-4b86-8783-d9080d75b68f/efce8835-18f0-4b86-8783-d9080d75b68f-EngineJobExecutionActor-meta_workflow.all_sample_map:NA:1/efce8835-18f0-4b86-8783-d9080d75b68f-BackendJobExecutionActor-meta_workflow.all_sample_map:NA:1/TesAsyncBackendJobExecutionActor] TesAsyncBackendJobExecutionActor [UUID(efce8835)meta_workflow.all_sample_map:NA:1]: job id: task-893eb7df
################# retry : Some(9997) ################################## retry : Some(9997) ################################## retry : Some(9997) ################################## retry : Some(9997) ################################## retry : Some(9996) ################################## retry : Some(9997) ################################## retry : Some(9997) #################[INFO] [09/10/2025 13:24:27.693] [cromwell-system-akka.dispatchers.backend-dispatcher-189] [akka://cromwell-system/user/cromwell-service/WorkflowManagerActor/WorkflowActor-efce8835-18f0-4b86-8783-d9080d75b68f/WorkflowExecutionActor-efce8835-18f0-4b86-8783-d9080d75b68f/efce8835-18f0-4b86-8783-d9080d75b68f-EngineJobExecutionActor-meta_workflow.roplsoplsda:NA:1/efce8835-18f0-4b86-8783-d9080d75b68f-BackendJobExecutionActor-meta_workflow.roplsoplsda:NA:1/TesAsyncBackendJobExecutionActor] TesAsyncBackendJobExecutionActor [UUID(efce8835)meta_workflow.roplsoplsda:NA:1]: job id: task-7a6a121a
################# retry : Some(9996) ################################## retry : Some(9997) ################################## retry : Some(9996) ################################## retry : Some(9996) ################################## retry : Some(9998) #################[INFO] [09/10/2025 13:24:27.693] [cromwell-system-akka.dispatchers.backend-dispatcher-229] [akka://cromwell-system/user/cromwell-service/WorkflowManagerActor/WorkflowActor-efce8835-18f0-4b86-8783-d9080d75b68f/WorkflowExecutionActor-efce8835-18f0-4b86-8783-d9080d75b68f/efce8835-18f0-4b86-8783-d9080d75b68f-EngineJobExecutionActor-meta_workflow.kmeans:NA:1/efce8835-18f0-4b86-8783-d9080d75b68f-BackendJobExecutionActor-meta_workflow.kmeans:NA:1/TesAsyncBackendJobExecutionActor] TesAsyncBackendJobExecutionActor [UUID(efce8835)meta_workflow.kmeans:NA:1]: job id: task-e853a7d3
################# retry : Some(9997) ################################## retry : Some(9995) ################################## retry : Some(9996) ################################## retry : Some(9997) ################################## retry : Some(9996) ################################## retry : Some(9997) ################################## retry : Some(9996) ################################## retry : Some(9997) #################[INFO] [09/10/2025 13:24:27.693] [cromwell-system-akka.dispatchers.backend-dispatcher-204] [akka://cromwell-system/user/cromwell-service/WorkflowManagerActor/WorkflowActor-efce8835-18f0-4b86-8783-d9080d75b68f/WorkflowExecutionActor-efce8835-18f0-4b86-8783-d9080d75b68f/efce8835-18f0-4b86-8783-d9080d75b68f-EngineJobExecutionActor-meta_workflow.roplsplsda:NA:1/efce8835-18f0-4b86-8783-d9080d75b68f-BackendJobExecutionActor-meta_workflow.roplsplsda:NA:1/TesAsyncBackendJobExecutionActor] TesAsyncBackendJobExecutionActor [UUID(efce8835)meta_workflow.roplsplsda:NA:1]: job id: task-fdfbad9a
################# retry : Some(9997) ################################## retry : Some(9996) ################################## retry : Some(9996) ################################## retry : Some(9997) ################################## retry : Some(9996) #################[INFO] [09/10/2025 13:24:27.693] [cromwell-system-akka.dispatchers.backend-dispatcher-192] [akka://cromwell-system/user/cromwell-service/WorkflowManagerActor/WorkflowActor-efce8835-18f0-4b86-8783-d9080d75b68f/WorkflowExecutionActor-efce8835-18f0-4b86-8783-d9080d75b68f/efce8835-18f0-4b86-8783-d9080d75b68f-EngineJobExecutionActor-meta_workflow.heatmap:NA:1/efce8835-18f0-4b86-8783-d9080d75b68f-BackendJobExecutionActor-meta_workflow.heatmap:NA:1/TesAsyncBackendJobExecutionActor] TesAsyncBackendJobExecutionActor [UUID(efce8835)meta_workflow.heatmap:NA:1]: job id: task-5c817f97
################# retry : Some(9996) ################################## retry : Some(9997) ################################## retry : Some(9996) ################################## retry : Some(9996) ################################## retry : Some(9995) ################################## retry : Some(9997) ################################## retry : Some(9997) #################[INFO] [09/10/2025 13:24:27.693] [cromwell-system-akka.dispatchers.backend-dispatcher-195] [akka://cromwell-system/user/cromwell-service/WorkflowManagerActor/WorkflowActor-efce8835-18f0-4b86-8783-d9080d75b68f/WorkflowExecutionActor-efce8835-18f0-4b86-8783-d9080d75b68f/efce8835-18f0-4b86-8783-d9080d75b68f-EngineJobExecutionActor-meta_workflow.metacor:NA:1/efce8835-18f0-4b86-8783-d9080d75b68f-BackendJobExecutionActor-meta_workflow.metacor:NA:1/TesAsyncBackendJobExecutionActor] TesAsyncBackendJobExecutionActor [UUID(efce8835)meta_workflow.metacor:NA:1]: job id: task-2a5ebaf9
################# retry : Some(9997) ################################## retry : Some(9997) ################################## retry : Some(9996) ################################## retry : Some(9997) ################################## retry : Some(9998) #################[INFO] [09/10/2025 13:24:27.693] [cromwell-system-akka.dispatchers.backend-dispatcher-233] [akka://cromwell-system/user/cromwell-service/WorkflowManagerActor/WorkflowActor-efce8835-18f0-4b86-8783-d9080d75b68f/WorkflowExecutionActor-efce8835-18f0-4b86-8783-d9080d75b68f/efce8835-18f0-4b86-8783-d9080d75b68f-EngineJobExecutionActor-meta_workflow.KEGG:NA:1/efce8835-18f0-4b86-8783-d9080d75b68f-BackendJobExecutionActor-meta_workflow.KEGG:NA:1/TesAsyncBackendJobExecutionActor] TesAsyncBackendJobExecutionActor [UUID(efce8835)meta_workflow.KEGG:NA:1]: job id: task-0b91a00d
################# retry : Some(9996) ################################## retry : Some(9996) ################################## retry : Some(9997) ################################## retry : Some(9997) ############## -
[INFO] [09/11/2025 06:46:32.437] [cromwell-system-akka.dispatchers.engine-dispatcher-30] [akka://cromwell-system/user/cromwell-service/WorkflowManagerActor/WorkflowActor-2f372e06-2cd8-424f-8e6c-062e0b506e40/WorkflowExecutionActor-2f372e06-2cd8-424f-8e6c-062e0b506e40] WorkflowExecutionActor-2f372e06-2cd8-424f-8e6c-062e0b506e40 [UUID(2f372e06)]: Restarting blood_meta.check_file, blood_meta.predeal
[INFO] [09/11/2025 06:46:32.438] [cromwell-system-akka.dispatchers.engine-dispatcher-27] [akka://cromwell-system/user/cromwell-service/WorkflowManagerActor/WorkflowActor-a5686468-95da-46ca-8498-50187928d6d6/WorkflowExecutionActor-a5686468-95da-46ca-8498-50187928d6d6] WorkflowExecutionActor-a5686468-95da-46ca-8498-50187928d6d6 [UUID(a5686468)]: Restarting metage_megahit.kneaddata
[INFO] [09/11/2025 06:46:32.438] [cromwell-system-akka.dispatchers.engine-dispatcher-6] [akka://cromwell-system/user/cromwell-service/WorkflowManagerActor/WorkflowActor-f95d7ecd-be71-428b-8195-9c121ad27007/WorkflowExecutionActor-f95d7ecd-be71-428b-8195-9c121ad27007] WorkflowExecutionActor-f95d7ecd-be71-428b-8195-9c121ad27007 [UUID(f95d7ecd)]: Restarting RNASeq_eukaryon.predeal, RNASeq_eukaryon.getkeggtype -
#!/bin/bash
1. 定义日志文件路径（默认是当前目录的nohup.out，可根据实际路径修改）
LOG_FILE="./nohup.out"
2. 检查日志文件是否存在
if [ ! -f "$LOG_FILE" ]; then
echo "错误：日志文件 $LOG_FILE 不存在！请检查路径是否正确。"
exit 1
fi3. 实时监听日志 + 提取目标任务ID（UUID）
echo "=== 开始监听日志 $LOG_FILE，提取含 Restarting 的任务ID ==="
echo "=== 按 Ctrl+C 停止监听 ==="
echo "=========================="核心逻辑：
- tail -f：实时跟踪日志新增内容
- grep "Restarting"：筛选包含“Restarting”的行
- sed 正则：提取“WorkflowActor-”后的36位UUID（格式：8-4-4-4-12位字符）
- sort -u：去重（避免同一任务多次重启导致重复输出）
tail -f "$LOG_FILE" |
grep --line-buffered "Restarting" |
sed -n 's/.WorkflowActor-([0-9a-fA-F]{8}-[0-9a-fA-F]{4}-[0-9a-fA-F]{4}-[0-9a-fA-F]{4}-[0-9a-fA-F]{12})./\1/p' |
sort -u -
estarting micro_dy_gro.upstream
[INFO] [09/23/2025 06:46:37.396] [cromwell-system-akka.dispatchers.engine-dispatcher-9] [akka://cromwell-system/user/cromwell-service/WorkflowManagerActor/WorkflowActor-fa3a52b6-19db-4435-ac0f-a5c1fbeec385/WorkflowExecutionActor-fa3a52b6-19db-4435-ac0f-a5c1fbeec385] WorkflowExecutionActor-fa3a52b6-19db-4435-ac0f-a5c1fbeec385 [UUID(fa3a52b6)]: Restarting blood_meta.jsonFile, blood_meta.reportNoFile, blood_meta.resFile
################# retry : Some(9999) ################################## retry : Some(9999) ################################## retry : Some(9999) ################################## retry : Some(9999) ################################## retry : Some(9999) ################################## retry : Some(9999) ################################## retry : Some(9999) ################################## retry : Some(9998) ################################## retry : Some(9998) ################################## retry : Some(9999) ################################## retry : Some(9999) ################################## retry : Some(9999) ############### -
Type Reason Age From Message
Normal NodeReady 47m (x11 over 6h56m) kubelet Node node1 status is now: NodeReady
Normal NodeNotReady 44m (x12 over 7h3m) kubelet Node node1 status is now: NodeNotReady
Normal Starting 37m kubelet Starting kubelet.
Normal NodeHasSufficientMemory 37m kubelet Node node1 status is now: NodeHasSufficientMemory
Normal NodeHasNoDiskPressure 37m kubelet Node node1 status is now: NodeHasNoDiskPressure
Normal NodeHasSufficientPID 37m kubelet Node node1 status is now: NodeHasSufficientPID
Normal NodeAllocatableEnforced 37m kubelet Updated Node Allocatable limit across pods
Normal NodeReady 37m kubelet Node node1 status is now: NodeReady
Normal NodeNotReady 34m kubelet Node node1 status is now: NodeNotReady
Normal Starting 31m kubelet Starting kubelet.
Normal NodeHasSufficientMemory 31m kubelet Node node1 status is now: NodeHasSufficientMemory
Normal NodeHasNoDiskPressure 31m kubelet Node node1 status is now: NodeHasNoDiskPressure
Normal NodeHasSufficientPID 31m kubelet Node node1 status is now: NodeHasSufficientPID
Normal NodeAllocatableEnforced 31m kubelet Updated Node Allocatable limit across pods
Normal NodeReady 9m29s (x2 over 31m) kubelet Node node1 status is now: NodeReady
Normal NodeNotReady 6m28s (x2 over 28m) kubelet Node node1 status is now: NodeNotReady -
安装NVIDIA仓库配置包（适用于CentOS 8）
distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.repo | sudo tee /etc/yum.repos.d/nvidia-docker.reposudo dnf install -y nvidia-container-toolkit
-
nvidia-ctk runtime configure --runtime=docker
-
kubectl get pods --all-namespaces -o json | jq -r '.items[] | select(.spec.containers[].resources.limits["<gpu-resource-name>"] != null) | .metadata.namespace + " " + .metadata.name'
-
2025/10/13 02:31:43 Starting FS watcher.
2025/10/13 02:31:43 Starting OS watcher.
2025/10/13 02:31:43 Starting Plugins.
2025/10/13 02:31:43 Loading configuration.
2025/10/13 02:31:43 Initializing NVML.
2025/10/13 02:31:43 Failed to initialize NVML: could not load NVML library.
2025/10/13 02:31:43 If this is a GPU node, did you set the docker default runtime tonvidia?
2025/10/13 02:31:43 You can check the prerequisites at: https://github.com/NVIDIA/k8s-device-plugin#prerequisites
2025/10/13 02:31:43 You can learn how to set the runtime at: https://github.com/NVIDIA/k8s-device-plugin#quick-start
2025/10/13 02:31:43 If this is not a GPU node, you should set up a toleration or nodeSelector to only deploy this plugin on GPU nodes -
-
2025/10/13 07:23:31 Failed to initialize NVML: could not load NVML library.
2025/10/13 07:23:31 If this is a GPU node, did you set the docker default runtime tonvidia? -
-
-
Failed to initialize NVML: could not load NVML library
-
-
-
$ curl -s -L https://nvidia.github.io/nvidia-docker/centos8/nvidia-docker.repo | sudo tee /etc/yum.repos.d/nvidia-docker.repo
yum install -y nvidia-container-toolkit -
d?????????? ? ? ? ? ? cephfs_data
-
root
Tzzs@2025*
220.185.228.106
30001 -