关于本站
分享自己的所见所得,后端技术、供应链、任务调度(AI阅片任务调度、渲染任务调度)、摄影相关。
一、关于本站
-
博客基于 Github + Gridea,由于众所周知的原因,科学上网后才能流畅阅读。
-
博客使用的 Featured Image 和正文首部插图来源: unsplash
、FILMGRAB、豆瓣、 screenmusings、影视飓风,大多数图片也需要科学上网才能正常加载。 -
当然,也有部分是我自己的“摄影作品”。
二、供应链
目前做的是供应链领域的后端开发,看过一些书和资料,结合日常工作内容,写了一个小系列。
具体可以看:https://panson.top/post/supply-chain/,也在这个站点下。
重构篇
- 重构总集篇:十万字长文深度解析 WES 架构设计与重构实践
- RocketMQ 事务消息源码阅读
- RocketMQ 事务是如何实现的?
- 分布式事务之 Saga
- 分布式事务之 TCC
- 分布式事务之 XA 协议
- 订单号、作业单号、任务号如何设计?
- 为什么要设计一个数据一致性组件
- 什么是本地消息表?
- 如何设计本地消息表?
- 数据一致性组件之任务模型
- 数据一致性组件之自定义 Starter
- WES 重构系列(一):记录一下 WES 重构历史
- WES 重构系列(二):领域划分之理货业务上浮
- WES 重构系列(三):系统融合支持混场业务调度
- WES 重构系列(四):出库调度正向链路梳理
- WES 重构系列(五):出库调度正向链路效率优化
- WES 重构系列(六):老旧系统的持续性改造
- WES 重构系列(七):关于WES 数据最终一致性组件的思考
- WES 重构系列(八):WES 三级库存模型
- WES 重构系列(九):如何应对复杂业务系统规则
- WES 重构系列(十):聊聊 WES 单据任务调度
- WES 重构系列(十一):出库链路中的分布式事务 Saga 实践
线上问题篇
- 一次 JVM “神优化” 导致的日志丢失问题
- 一次线上 MySQL 锁超时问题记录
- 一次上游更改接口导致的百万级数据扫描引起的宕机问题.md
- 一次线上 MySQL 死锁问题记录
- 一次线上小车调度到站不弹实操问题
- todo: 一次夜间数据归档引起的 RocketMQ busy 问题
- todo: 一次老旧系统 Docker kill JVM 问题
- todo: 一次一级库存引起的锁问题
- todo: 单号生成死锁问题
- todo: 数据库 ABA 导致任务不调度问题
业务篇
-
……
三、任务调度
更早之前的两份工作内容都和任务调度有关,主要是关于 AI 任务调度和渲染任务调度。当然这种“任务”
和后端开发中的任务调度框架不太一样,类似 XXL-JOB 这种,我一般理解为定时任务,不带业务属性,但之前做的 AI 任务调度和渲染任务调度则更偏向于业务。下面简单介绍一下我参与做过的内容(其实本来应该写一个开源脚手架的,最近沉迷摄影,一直没时间去回想这些东西,时间过去有点久了,细节忘记了~提醒我及时记录)。
1. AI 任务调度系统
属于医疗领域,核心是为了将医院、体检机构拍摄的片子,借助 AI 智能阅片,并输出诊断结果,辅助治疗。
- 数据来源:体检机构、大中小医院的片子
- 文件系统:上传的片子预处理,存储文件、预处理的数据
- 任务调度系统:
- Master 将处理好的片子,做任务分发到各个 Slave 机器上
- Slave 上的算法服务会将任务做AI 分析,存储分析结果
- 其他的还有阅片系统、SSO 平台、前置机之类的,还有单机平台、一体机之类的,非调度核心系统。
2. 渲染任务调度
核心逻辑其实与上面讲的差不多,不过业务逻辑更加复杂,链路也更加长一些,数据量的话日均有千万级别。
负责的东西主要包括以下几个部分:
- 渲染弹窗相关:渲染配置、分辨率体系、渲染券相关
- 中台相关业务:国际版 CooHom、灯光动画、遮罩渲染相关能力的开发、对象存储迁移(阿里OSS -> 腾讯 COS)等等
- 渲染任务回归平台的开发
四、摄影
单独建了一个网站,买了 10 年的域名:www.timelesslens.site。
