cromwell bakend + k8s支持介绍

[zhanglu]

架构解析

• 列表客户编写Script来定义一个流程中的每个步骤分别是什么，他们是怎么一步一步相互依赖执行的。Script的语言规范有好几种，Cromwell支持WDL和CWL两种语法。参考：Language Support - Cromwell

• 列表Cromewell Server接收到这个Script后就会解析它，然后根据里面的定义去拆分每个子任务，然后提交到后端的计算资源池去执行。Cromwell称其为Backend，不同的backend实现不同的计算方式。

• 列表Backend计算完毕后将执行结果通知给Cromwell Server。一个流程就完成了。

注意： cromwell 关于Gpu的支持，只支持Google

基于Kubernetes集群的模式

• Volcano

• TESK（不支持GPU参数），若在wdl中添加gpu相关参数，则不生效；会有警告： [WARN] [02/01/2021 05:41:35.404] [cromwell-system-akka.dispatchers.backend-dispatcher-269] [akka://cromwell-system/user/cromwell-service/WorkflowManagerActor/WorkflowActor-7139d946-9ff9-4970-af99-01f8c151c38c/WorkflowInitializationActor-7139d946-9ff9-4970-af99-01f8c151c38c/TESK] TESK [UUID(7139d946)]: Key/s [gpuCount, bootDiskSizeGb, gpuType, nvidiaDriverVersion] is/are not supported by backend. Unsupported attributes will not be part of job executions.

* runtime {
* 
*     gpuType: "nvidia-tesla-k80"
* 
*     gpuCount: 2
* 
*     nvidiaDriverVersion: "418.87.00"
* 
*     zones: ["us-central1-c"]
* 
* }