不用 MQ,怎样设计可恢复的异步任务系统?
提交请求先把任务与必要参数持久化,再返回任务 ID;后台 Worker 从任务表领取待处理任务,记录进度与结果;查询接口按任务 ID 返回状态。仅在 HTTP 请求里开线程,进程重启后通常无法找回那份内存任务。
多实例领取需要数据库锁或条件更新等原子机制,执行期间用租约、心跳或超时回收识别失联 Worker。领取事务应尽快结束,不能一直持有数据库锁等待数分钟的模型调用。恢复后可能重复执行,业务副作用仍要幂等或先核对状态。
设置最大重试、退避、任务保留期,并监控积压与最老等待时间。数据库轮询会增加负载与可见延迟;该方案适合规模与实时性允许的场景,不能因为少一个中间件就声称可靠性和吞吐没有代价。
资料
核对于 2026-10-16。MySQL locking reads and SKIP LOCKED、AWS retry and idempotency。工程场景与实现取舍由本站解释,不代表原帖公司的实际架构。