Skip to content

Latest commit

 

History

History
21 lines (18 loc) · 1.1 KB

开发部署加速.md

File metadata and controls

21 lines (18 loc) · 1.1 KB

容器化开发

容器化开发是指在HPC机器上使用docker配置全套开发环境的方法。 具体可参见Docker prime书中讲解,可配置环境包括

  • 操作系统环境,ubuntu/redhat等等。
  • 服务器环境, apache/nginx/tomcat等景点LAMP或者LNMP技术栈。
  • 数据库环境, mysql/cassandra/elastic-search/redis等数据库
  • 大数据技术栈,hadoop/kfaka/ELK-stack/spark等环境
  • 开发环境,C/Go/Java,该开发环境可以和vim配置起来,通过vim开发环境配置,高效完成代码编辑,编译测试工作。

工作流编排

使用工作流的方式加速模型训练部署过程,具体可以参考LFAI基金会的孵化项目

  • MLFlow ,databricks开发,面向机器学习的数据处理,模型训练测评,模型部署调用。
  • AirFlow,工作流编排,通过operator执行节点和工作graph编排任务

容器上线编排

对于需要上线的资源模型服务进行管理,快速部署

  • k8s,容器编排,资源管理。

CI-CD流

  • Jenkins、Git标准配置 。
  • github Actions 自动测试 。