distributed-job-scheduler-system
任务调度
更早之前的两份工作内容都和任务调度有关,主要是关于 AI 任务调度和渲染任务调度,当然这种“任务”和后端开发中的任务调度框架不太一样,类似 XXL-JOB 这种,我一般理解为定时任务,不带业务属性,但之前做的 AI 任务调度和渲染任务调度则更偏向于业务。下面简单介绍一下我参与做过的内容(其实本来应该写一个开源脚手架的,最近沉迷摄影,一直没时间去回想这些东西,时间过去有点久了,细节忘记了~提醒我及时记录)。
1. AI 任务调度系统
属于医疗领域,核心是为了将医院、体检机构拍摄的片子,借助 AI 智能阅片,并输出诊断结果,辅助治疗。
- 数据来源:体检机构、大中小医院的片子
- 文件系统:上传的片子预处理,存储文件、预处理的数据
- 任务调度系统:
- Master 将处理好的片子,做任务分发到各个 Slave 机器上
- Slave 上的算法服务会将任务做AI 分析,存储分析结果
- 其他的还有阅片系统、SSO 平台、前置机之类的,还有单机平台、一体机之类的,非调度核心系统。
2. 渲染任务调度
核心逻辑其实与上面讲的差不多,不过业务逻辑更加复杂,链路也更加长一些,数据量的话日均有千万级别。
负责的东西主要包括以下几个部分:
- 渲染弹窗相关:渲染配置、分辨率体系、渲染券相关
- 中台相关业务:国际版 CooHom、灯光动画、遮罩渲染相关能力的开发、对象存储迁移(阿里OSS -> 腾讯 COS)等等
- 渲染任务回归平台的开发