容器化开发是指在HPC机器上使用docker配置全套开发环境的方法。 具体可参见Docker prime书中讲解,可配置环境包括
- 操作系统环境,ubuntu/redhat等等。
- 服务器环境, apache/nginx/tomcat等景点LAMP或者LNMP技术栈。
- 数据库环境, mysql/cassandra/elastic-search/redis等数据库
- 大数据技术栈,hadoop/kfaka/ELK-stack/spark等环境
- 开发环境,C/Go/Java,该开发环境可以和vim配置起来,通过vim开发环境配置,高效完成代码编辑,编译测试工作。
使用工作流的方式加速模型训练部署过程,具体可以参考LFAI基金会的孵化项目
- MLFlow ,databricks开发,面向机器学习的数据处理,模型训练测评,模型部署调用。
- AirFlow,工作流编排,通过operator执行节点和工作graph编排任务
对于需要上线的资源模型服务进行管理,快速部署
- k8s,容器编排,资源管理。
- Jenkins、Git标准配置 。
- github Actions 自动测试 。