消息中间件

消息中间件概述

By timebusker on January 17, 2018

概述

  • 中间件
    非底层操作系统软件，非业务应用软件，不是直接给最终用户使用的，不能直接给客户带来价值的软件统称为中间件。

  • 消息中间件
    管制关注于数据的发送和接收，利用高效可靠的异步消息传递机制集成分布式系统，其优点：
    ① 解耦
    ② 异步（峰值处理能力） ③ 横向扩展（扩展能力）
    ④ 安全可靠（可持久化，可恢复性） ⑤ 顺序保证（比如kafka）

  • JMS java消息服务(Java Message Service)即JMS，是一个Java平台中关于面向消息中间件的API，用于在两个应用程序之间， 或分布式系统中发送消息，进行异步通信。

  • AMQP
    AMQP(advanced message queuing protocol)是一个提供统一消息服务的应用层标准协议，基于此协议的客户端与消息中间件可传递消息， 并不受客户端/中间件不同产品，不同开发语言等条件的限制。常见消息中间件：activeMQ（支持多语言，实现jms1.1，j2ee1.4规范）， RabbitMQ（支持更多语言，基于AMQP规范），kafka(高吞吐量，分布式，分区,O(1)磁盘顺序提供消息持久化) 。
    image

Message Broker与AMQP简介

  • Message Broker是一种消息验证、传输、路由的架构模式，其设计目标主要应用于下面这些场景：
    • 消息路由到一个或多个目的地
    • 消息转化为其他的表现方式
    • 执行消息的聚集、消息的分解，并将结果发送到他们的目的地，然后重新组合相应返回给消息用户
    • 调用Web服务来检索数据
    • 响应事件或错误
    • 使用发布-订阅模式来提供内容或基于主题的消息路由
  • AMQP是Advanced Message Queuing Protocol的简称，它是一个面向消息中间件的开放式标准应用层协议。AMQP定义了这些特性：
    • 消息方向
    • 消息队列
    • 消息路由（包括：点到点和发布-订阅模式）
    • 可靠性
    • 安全性

队列（Queue）和主题（Topic）区别

点对点（point-to-point，简称PTP）Queue消息传递模型
  • 通过该消息传递模型，一个应用程序（即消息生产者）可以向另外一个应用程序（即消息消费者）发送消息。 在此传递模型中，消息目的地类型是队列（即Destination接口实现类实例由Session接口实现类实例通过调用其 createQueue方法并传入队列名称而创建）。消息首先被传送至消息服务器端特定的队列中，然后从此对列中将消 息传送至对此队列进行监听的某个消费者。同一个队列可以关联多个消息生产者和消息消费者，但一条消息仅能传 递给一个消息消费者。如果多个消息消费者正在监听队列上的消息，JMS消息服务器将根据“先来者优先”的原则确定 由哪个消息消费者接收下一条消息。如果没有消息消费者在监听队列，消息将保留在队列中，直至消息消费者连接到 队列为止。这种消息传递模型是传统意义上的懒模型或轮询模型。在此模型中，消息不是自动推动给消息消费者的， 而是要由消息消费者从队列中请求获得。
发布/订阅（publish/subscribe，简称pub/sub）Topic消息传递模型
  • 通过该消息传递模型，应用程序能够将一条消息发送给多个消息消费者。在此传送模型中，消息目的地类型是主题 （即Destination接口实现类实例由Session接口实现类实例通过调用其createTopic方法并传入主题名称而创建）。消 息首先由消息生产者发布至消息服务器中特定的主题中，然后由消息服务器将消息传送至所有已订阅此主题的消费者。 主题目标也支持长期订阅。长期订阅表示消费者已注册了主题目标，但在消息到达目标时该消费者可以处于非活动状态。 当消费者再次处于活动状态时，将会接收该消息。如果消费者均没有注册某个主题目标，该主题只保留注册了长期订阅的 非活动消费者的消息。与PTP消息传递模型不同，pub/sub消息传递模型允许多个主题订阅者接收同一条消息。JMS一直保留 消息，直至所有主题订阅者都接收到消息为止。pub/sub消息传递模型基本上是一个推模型。在该模型中，消息会自动广播， 消息消费者无须通过主动请求或轮询主题的方法来获得新的消息。
Queue与Topic区别
类型 Topic Queue
概要 Publish Subscribe messaging 发布订阅消息 Point-to-Point 点对点
有无状态 topic数据默认不落地，是无状态的 Queue数据默认会在mq服务器上以文件形式保存，比如Active MQ一般保存在$AMQ_HOME\data\kr-store\data下面。也可以配置成DB存储
完整性保障 并不保证publisher发布的每条数据Subscriber都能接受到 Queue保证每条数据都能被receiver接收
消息是否会丢失 一般来说publisher发布消息到某一个topic时，只有正在监听该topic地址的sub能够接收到消息；如果没有sub在监听，该topic就丢失了 Sender发送消息到目标Queue，receiver可以异步接收这个Queue上的消息。Queue上的消息如果暂时没有receiver来取，也不会丢失
消息发布接收策略 一对多的消息发布接收策略，监听同一个topic地址的多个sub都能收到publisher发送的消息。Sub接收完通知mq服务器 一对一的消息发布接收策略，一个sender发送的消息，只能有一个receiver接收。receiver接收完后，通知mq服务器已接收，mq服务器对queue里的消息采取删除或其他操作

Kafka

Kafka是LinkedIn开源的分布式发布-订阅消息系统，目前归属于Apache定级项目。Kafka主要特点是基于Pull的模式来处理消息消费，追求高吞吐量， 一开始的目的就是用于日志收集和传输。0.8版本开始支持复制，不支持事务，对消息的重复、丢失、错误没有严格要求，适合产生大量数据的互联网服务的数据收集业务。

RabbitMQ

RabbitMQ是使用Erlang语言开发的开源消息队列系统，基于AMQP协议来实现。AMQP的主要特征是面向消息、队列、路由（包括点对点和发布/订阅）、可靠性、安全。 AMQP协议更多用在企业系统内，对数据一致性、稳定性和可靠性要求很高的场景，对性能和吞吐量的要求还在其次。

RocketMQ

RocketMQ是阿里开源的消息中间件，它是纯Java开发，具有高吞吐量、高可用性、适合大规模分布式系统应用的特点。RocketMQ思路起源于Kafka，但并不是Kafka的一个Copy， 它对消息的可靠传输及事务性做了优化，目前在阿里集团被广泛应用于交易、充值、流计算、消息推送、日志流式处理、binglog分发等场景。

相关文章

消息中间件——RocketMQ与Kafka特性对比 Kafka、RabbitMQ、RocketMQ消息中间件的对比—— 消息发送性能
MQ选型对比RabbitMQ RocketMQ ActiveMQ Kafka

目录