万字长文解析如何基于Redis实现消息队列

发布网友发布时间：2024-09-27 16:58

共1个回答

热心网友时间：2024-10-15 16:58

去年年底，我分享了一个个人项目的实现方案——基于协程池架构实现分布式定时器 xtimer。在这次分享中，我提到了 xtimer 前身是基于消息队列架构实现的 workflow timer。之所以在演进过程中将实现方式改为协程池，主要是考虑到消息队列组件存在较高的使用和维护成本。但从技术流程本身出发，基于消息队列的实现方式实际上对于分布式定时器的核心流程解耦以及纵向架构扩展都是有利的。基于这一点，最近针对使用 Redis 这种轻量级缓存组件实现消息队列的可行性方案进行了调研，为 xtimer 未来的重构之路做好铺垫。这里特别把相关内容摘出来和大家一起分享探讨一下。

下面是本期分享内容的大纲：

1 消息队列

要想把本期分享话题聊到位，首先我们需要理清楚，一个合格的消息队列（MQ，message queue）应该具备哪些核心能力。

1.1 核心能力

谈到消息队列，其最重要的两项能力就是解耦和削峰。

针对于 mq 的解耦功能而言，这里举个生活中的例子来帮助大家进一步理解这个概念。假设我们在网上购买了一些商品。在上班开会的时候，快递小哥打通了我们的电话，告知物品已经送达到我们的家门口。

2 redis list

基于 redis 实现 mq 的方式之一是使用 redis 中的 list 结构。redis 中的 list 是一个双向链表，天然契合 mq 中的 queue 队列模型。我们在使用 redis list 实现 mq 时，可以生产消息的流程具象化为一次将数据追加到 list 尾部的操作；同时，我们可以把消费消息的流程具象化为一次从 list 头部摘取数据的操作。如此这般，一个简易版的消息队列就实现了。

2.1 操作指令

下面我们对涉及到的几个指令展开介绍。

3 redis pub/sub

为解决 redis list 存在的无法支持发布/订阅模式的问题，redis 提供了 pub/sub 机制，能够有效地弥补这方面的缺陷。

pub/sub 全称为 publish/subscribe，顾名思义，指的正是消息队列中的发布/订阅模式。

4 redis streams

从 redis 5.0 中，一个新的数据类型——streams 被推出了。这种数据类型的目标正是直奔实现 mq 组件的功能而去的。

4.1 操作指令

首先，我们理一下，使用 redis streams 时涉及到的几个核心操作指令。

5 redmq——纯 redis 实现的消息队列

从第 5 章开始，我们正式进入实战篇的部分。

5.1 实现架构

内容可以分为三个核心模块：

6 总结

本期和大家一起探讨了如何基于 redis 实现消息队列，其中实现方案包括三类：

最后，本人使用 go 语言，基于 redis streams 开源实现了一款 mq 客户端 sdk，开源地址：github.com/xiaoxuxiansh...，欢迎大家批评指正。