11 KiB
消息队列(RabbitMq)概要
1.本文档主要按照本人的理解介绍RabbitMq的功能、如何使用。
2.关于RabbitMq的各种使用场景以及与其他同类产品的横向、纵向对比请自行百度。
3.消息队列看起来貌似非常复杂,感觉很麻烦,其实通过本项目骨架封装之后,使用非常简单,开发者安装rabbitmq(类似安装mysql),配置好账号、密码、端口即可快速使用.
4.消息队列的两个核心角色:生产者(通常是一次性投递消息),消费者(需要一直处于阻塞状态监听、接受、处理消息)。
5.关于消费者如何启动问题:
(a)开发完成消费者代码,在程序启动处(BootStrap/Init.go)通过导入包初始化形式启动(该模式相当于与本项目骨架捆绑启动)。
(b)程序cmd
目录创建相关功能分类、入口文件,调用相关的消费者程序,独立编译、启动。
(c)本项目骨架引入了cobra
包,同样可以做到独立编译启动。
快速安装步骤(基于docker)
1.比较详细的安装的参考地址:http://note.youdao.com/noteshare?id=3d8850a96ed288a0ae5c5421206b0f4e&sub=62EAE38FE217410E8D70859A152BCF8F
2.安装rabbitMq可以理解为安装一个mysql,默认创建的账号可以理解为 root,可以直接操作rabbitmq.
3.为了项目更安全,可以登录后台地址(http://IP:15672
),自行为项目创建虚拟主机(类似mysql的数据库)、账号,最后将账号允许的操作虚拟进行绑定即可.
RabbitMq常用的几种模式
1.hello_world
模式(最基本模式), 特点如下:
1 一个生产者(producer)、一个消费者(consumer)通过队列(queue)进行 一对一 的数据传输。
2.使用非常简单,适合简单业务场景使用,相关的场景模型图:
2.WorkQueue
模式(在消费者之间按照竞争力分配任务), 特点如下:
1 生产者(producer)、多个消费者(consumer)通过队列(queue)进行一对多、多对多的数据传输。
2.生产者(producer)将消息发布到交换机(exchange)的某个队列(queue),多个消费者(consumer)其中只要有一个消费(取走)了消息,那么其他消费者(consumer)将不会重复获得。
3.消费者支持设置更多的参数,使配置强的消费者可以多处理消息,配置低的可以少处理消息,做到尽其所能,资源最大化利用。
3.publish/subscribe
模式(同时向许多消费者发送消息), 特点如下:
1 生产者(producer)、多个消费者(consumer)通过队列(queue)进行一对多、多对多的数据传输。
2.生产者(producer)将消息发布到交换机(exchange)的某个队列(queue),多个消费者(consumer)处理消息。
3.该模式也叫作广播(broadcast)、扇形(fanout)、发布/订阅模式,消费者(consumer)可以通过配置,接收来自生产者(consumer)发送的全部消息;或者每种消费者只接收指定队列的消息,将生产者发送的消息进行分类(按照不同的队列)处理。
4.routing
模式(有选择性地接收消息), 特点如下:
1 生产者(producer)、多个消费者(consumer)通过队列(queue)进行一对多、多对多的数据传输。
2.生产者(producer)将消息发布到交换机(exchange)已经绑定好路由键的某个队列(queue),多个消费者(consumer)可以通过绑定的路由键获取消息、处理消息。
3.该模式下,消息的分类应该应该明确、种类数量不是非常多,那么就可以指定路由键(key)、绑定的到交换器的队列实现消息精准投递。
5.topics
模式(基于主题接收消息), 特点如下:
1 该模式就是
routing
模式的加强版,由原来的路由键精确匹配模式升级现在的模糊匹配模式。
2.语法层面主要表现为灵活的匹配规则:
2.1 # 表示匹配一个或多个任意字符;
2.2 *表示匹配一个字符;
2.3 .(点)本身无实际意义,不表示任何匹配规则,主要用于将关键词分隔开,它的左边或右边可以写匹配规则,例如:abc.# 表示匹配abc张三、abc你好等;#.abc.# 表示匹配路由键中含有abc的字符;
3.注意:匹配语法中如果没有 .(点),那么匹配规则是无效的,例如:orange#,可能本意是匹配orange任意字符,实际上除了匹配 orange#本身之外,什么也匹配不到。
6.RPC
模式(请求、回复), 特点如下:
1 严格地说,该模式和消息队列没有什么关系,通常是微服务场景才会使用远程过程调用(RPC),本功能建议自行学习或者选择专业的微服务框架使用,解决实际问题,本文档不做介绍。
RabbitMq快速使用指南
1.建议使用docker 快速安装使用即可,安装步骤请自行搜索。
2.详细使用指南参见单元测试demo代: rabbitmq全量单元测试
3.六种场景模型我们封装了统一的使用规范。
1.hello_world、work_queue、publish_subscribe 场景模型使用:
相关配置参见:config/config.yaml, rbbitmq 部分
1.1 启动一个消费者,通过回调函数在阻塞模式进行消息处理
consumer, err := HelloWorld.CreateConsumer()
if err != nil {
fmt.Printf("HelloWorld单元测试未通过。%s\n", err.Error())
os.Exit(1)
}
// 连接关闭的回调,主要是记录错误,进行后续更进一步处理,不要尝试在这里编写重连逻辑
// 本项目已经封装了完善的消费者端重连逻辑,触发这里的代码说明重连已经超过了最大重试次数
consumer.OnConnectionError(func(err *amqp.Error) {
log.Fatal(MyErrors.ErrorsRabbitMqReconnectFail + "\n" + err.Error())
})
// 进入阻塞状态,处理消息
consumer.Received(func(received_data string) {
fmt.Printf("HelloWorld回调函数处理消息:--->%s\n", received_data)
})
1.2 调用生产者投递一个或者多个消息,投递通常都是一次性的。
// 这里创建场景模型的时候通过不同的模型名称创建即可,主要有:hello_world、work_queue、publish_subscribe
hello_producer, _ := hello_world.CreateProducer()
var res bool
for i := 0; i < 10; i++ {
str := fmt.Sprintf("%d_hello_world开始发送消息测试", (i + 1))
res = hello_producer.Send(str)
//time.Sleep(time.Second * 1)
}
hello_producer.Close() // 消息投递结束,必须关闭连接
// 简单判断一下最后一次发送结果
if res {
fmt.Printf("消息发送OK")
} else {
fmt.Printf("消息发送 失败")
}
2.routing、topics 场景模型使用:
routing
模式属于路由键的严格匹配模式。
topics
模式比routing
模式更灵活,两者使用、功能几乎完全一致。该模式完全可以代替routing
模式,因此这里仅介绍topics
模式。
注意:生产者设置键的规则必须是:关键词A.关键词B.关键词C等,即关键词之间必须使用.(点)隔开,消费者端只需要将.(点)左边或右边的关键词使用#代替即可。
2.1 启动多个消费者,处于阻塞模式进行消息接受、处理。
// 启动第一个消费者,这里使用协程的目的主要是保证第一个启动后不阻塞,否则就会导致第二个消费者无法启动
go func(){
consumer, err := Topics.CreateConsumer()
if err != nil {
t.Errorf("Routing单元测试未通过。%s\n", err.Error())
os.Exit(1)
}
// 连接关闭的回调,主要是记录错误,进行后续更进一步处理,不要尝试在这里编写重连逻辑
// 本项目已经封装了完善的消费者端重连逻辑,触发这里的代码说明重连已经超过了最大重试次数
consumer.OnConnectionError(func(err *amqp.Error) {
log.Fatal(MyErrors.ErrorsRabbitMqReconnectFail + "\n" + err.Error())
})
// 通过route_key 模糊匹配队列路由键的消息来处理
consumer.Received("#.even", func(received_data string) {
fmt.Printf("模糊匹配偶数键:--->%s\n", received_data)
})
}()
// 启动第二个消费者,这里没有使用协程,在消息处理环节程序就会阻塞等待,处理消息
consumer, err := Topics.CreateConsumer()
if err != nil {
t.Errorf("Routing单元测试未通过。%s\n", err.Error())
os.Exit(1)
}
consumer.OnConnectionError(func(err *amqp.Error) {
// 连接关闭的回调,主要是记录错误,进行后续更进一步处理,不要尝试在这里编写重连逻辑
// 本项目已经封装了完善的消费者端重连逻辑,触发这里的代码说明重连已经超过了最大重试次数
log.Fatal(MyErrors.ErrorsRabbitMqReconnectFail + "\n" + err.Error())
})
// 通过route_key 模糊匹配队列路由键的消息来处理
consumer.Received("#.odd", func(received_data string) {
fmt.Printf("模糊匹配奇数键:--->%s\n", received_data)
})
2.2 调用生产者投递一个或者多个消息
producer, _ := Topics.CreateProducer()
var res bool
var key string
for i := 1; i <= 10; i++ {
// 将 偶数 和 奇数 分发到不同的key,消费者端,启动两个也各自处理偶数和奇数
if i%2 == 0 {
key = "key.even" // 偶数键
} else {
key = "key.odd" // 奇数键
}
str_data := fmt.Sprintf("%d_Routing_%s, 开始发送消息测试", i, key)
res = producer.Send(key, str_data)
//time.Sleep(time.Second * 1)
}
producer.Close() // 消息投递结束,必须关闭连接
// 简单判断一下最后一次发送结果
if res {
fmt.Printf("消息发送OK")
} else {
fmt.Printf("消息发送 失败")
}
//Output: 消息发送OK