跳到主要内容

Apache Pulsar

Apache Pulsar 是一个开源的分布式事件流和消息传递平台，其设计目标是提供一个高度可扩展、持久性强、多租户、灵活和性能卓越的消息中间件解决方案。它提供了消息队列（message queue）和发布-订阅（publish-subscribe）两种消息传递模式，并能够处理大规模、高吞吐量的消息流。

Apache Pulsar 集消息、存储、轻量化函数式计算为一体，采用计算与存储分离架构设计，支持多租户、持久化存储、多机房跨区域数据复制，具有强一致性、高吞吐、低延时及高可扩展性等流数据存储特性。因此受到广泛关注，也被称为“下一代云原生分布式消息流平台”。

提示

Pulsar 最初由 Yahoo 开发，并于2016年贡献给 Apache 软件基金会，成为一个顶级项目。

主要特性​

Apache Pulsar 有一些关键特性和优势，解决了许多传统消息中间件的局限性，包括：

  • 低延时：Pulsar 具有极低的发布延迟和端到端延迟。
  • 持久性：Pulsar 通过将消息存储在持久化的存储层中，确保消息在传递过程中不会丢失，即使消费者离线也能保证消息的可靠性。
  • 分层式存储：分层式存储可在数据陈旧时，将数据从热存储卸载到冷/长期存储（如 S3、GCS）中。
  • 多租户支持：Pulsar 支持多租户，使得多个团队或应用程序可以在同一个 Pulsar 集群中共存，同时实现资源隔离和安全性。
  • 横向扩展性：Pulsar 具有出色的横向扩展能力，可以轻松地适应增长的负载，可无缝扩展到超过一百万个 topic。它通过分区（partitioning）和分割（segmentation）等技术，实现高吞吐量和低延迟的消息传递。
  • 灵活的消息模型：Pulsar 支持队列和主题两种消息模型，支持独占、共享和故障转移等多种订阅模式，可以满足不同应用场景的需求。
  • 统一的存储层：Pulsar 使用 Apache BookKeeper 作为底层存储引擎，提供了可靠的、高性能的持久化消息存储解决方案。

应用场景​

由于 Apache Pulsar 的灵活性和可扩展性，Pulsar 可以适用于各种需要高性能、可靠消息传递的应用程序和系统。例如：

  1. 金融领域
    • 实时交易数据处理：Pulsar 的高吞吐量和低延迟使其成为处理实时交易数据的理想选择。
    • 风险管理：金融机构可以使用 Pulsar 实时监控市场波动、执行风险分析等。
    • 日志和审计：可以使用 Pulsar 进行事务日志记录和审计，确保数据的完整性和可追溯性。
  2. 物联网（IoT）
    • 实时数据流处理：Pulsar 能够有效处理大规模的实时传感器数据，支持物联网应用的实时分析和响应。
    • 事件驱动的架构：IoT 应用中的设备和传感器可以通过 Pulsar 的发布-订阅模型实现实时事件通信。
  3. 大数据和实时分析
    • 实时数据湖：Pulsar 可以作为实时数据湖的一部分，支持将实时数据流集成到大数据架构中。
    • 实时仪表板和可视化：实时产生的数据可以通过 Pulsar 传递到仪表板或可视化工具，用于实时监控和决策支持。
  4. 微服务架构
    • 异步通信：微服务之间可以使用 Pulsar 进行异步通信，降低微服务之间的耦合度。
    • 事件驱动的架构：Pulsar 支持事件驱动的架构，可用于实现微服务之间的松耦合通信。
  5. 日志和流处理
    • 实时日志处理：Pulsar 可以用于实时处理大规模的日志数据，支持日志的实时分析和监控。
    • 流处理应用：Pulsar 支持构建实时流处理应用，用于处理和转换数据流。
  6. 即时通讯和通知
    • 实时消息传递：Pulsar 可用于构建实时通讯平台，支持即时消息传递和通知服务。

相关链接​