ZeroMQ 支持
Spring Integration 提供了组件来支持应用程序中的 ZeroMQ 通信。 该实现基于 JeroMQ 库的良好支持的 Java API。 所有组件都封装了 ZeroMQ 套接字生命周期并在内部管理它们的线程,使得与这些组件的交互是无锁和线程安全的。 你需要将此依赖项添加到你的项目中:
-
Maven
-
Gradle
<dependency>
<groupId>org.springframework.integration</groupId>
<artifactId>spring-integration-zeromq</artifactId>
<version>{project-version}</version>
</dependency>
compile "org.springframework.integration:spring-integration-zeromq:{project-version}"
ZeroMQ 代理
ZeroMqProxy 是内置 ZMQ.proxy() 函数 的 Spring 友好型封装。
它封装了套接字生命周期和线程管理。
此代理的客户端仍然可以使用标准的 ZeroMQ 套接字连接和交互 API。
除了标准的 ZContext,它还需要一种众所周知的 ZeroMQ 代理模式:SUB/PUB、PULL/PUSH 或 ROUTER/DEALER。
这样,就为代理的前端和后端使用了适当的 ZeroMQ 套接字类型对。
详见 ZeroMqProxy.Type。
ZeroMqProxy 实现了 SmartLifecycle,用于创建、绑定和配置套接字,并在 Executor(如果有)的专用线程中启动 ZMQ.proxy()。
前端和后端套接字的绑定通过 tcp:// 协议在所有可用的网络接口上使用提供的端口完成。
否则,它们将绑定到随机端口,这些端口稍后可以通过相应的 getFrontendPort() 和 getBackendPort() API 方法获取。
控制套接字作为 SocketType.PAIR 暴露,使用 "inproc://" + beanName + ".control" 地址进行线程间传输;它可以通过 getControlAddress() 获取。
它应该与同一应用程序中的另一个 SocketType.PAIR 套接字一起使用,以发送 ZMQ.PROXY_TERMINATE、ZMQ.PROXY_PAUSE 和/或 ZMQ.PROXY_RESUME 命令。
当调用其生命周期的 stop() 时,ZeroMqProxy 执行 ZMQ.PROXY_TERMINATE 命令,以终止 ZMQ.proxy() 循环并优雅地关闭所有绑定的套接字。
setExposeCaptureSocket(boolean) 选项使此组件绑定一个额外的线程间套接字,类型为 SocketType.PUB,以捕获和发布前端和后端套接字之间的所有通信,正如 ZMQ.proxy() 实现所述。
此套接字绑定到 "inproc://" + beanName + ".capture" 地址,并且不期望任何特定的订阅进行过滤。
前端和后端套接字可以通过附加属性(例如读/写超时或安全性)进行自定义。
此自定义可通过 setFrontendSocketConfigurer(Consumer<ZMQ.Socket>) 和 setBackendSocketConfigurer(Consumer<ZMQ.Socket>) 回调分别实现。
ZeroMqProxy 可以作为一个简单的 bean 提供,如下所示:
@Bean
ZeroMqProxy zeroMqProxy() {
ZeroMqProxy proxy = new ZeroMqProxy(CONTEXT, ZeroMqProxy.Type.SUB_PUB);
proxy.setExposeCaptureSocket(true);
proxy.setFrontendPort(6001);
proxy.setBackendPort(6002);
return proxy;
}
所有客户端节点都应该通过 tcp:// 连接到此代理的主机,并使用其感兴趣的相应端口。
ZeroMQ 消息通道
ZeroMqChannel 是一个 SubscribableChannel,它使用一对 ZeroMQ 套接字连接发布者和订阅者进行消息交互。
它可以在 PUB/SUB 模式下工作(默认为 PUSH/PULL);它也可以用作本地线程间通道(使用 PAIR 套接字)——在这种情况下不提供 connectUrl。
在分布式模式下,它必须连接到外部管理的 ZeroMQ 代理,在那里它可以与其他连接到同一代理的类似通道交换消息。
连接 URL 选项是一个标准的 ZeroMQ 连接字符串,包含协议和主机以及 ZeroMQ 代理前端和后端套接字的一对端口,用冒号分隔。
为方便起见,如果通道与代理在同一应用程序中配置,则可以为其提供 ZeroMqProxy 实例而不是连接字符串。
发送和接收套接字都在其各自的专用线程中管理,使得此通道支持并发。
这样,我们可以从不同的线程向/从 ZeroMqChannel 发布和消费而无需同步。
默认情况下,ZeroMqChannel 使用 EmbeddedJsonHeadersMessageMapper 通过 Jackson JSON 处理器将 Message(包括头部)从/到 byte[] 进行(反)序列化。
此逻辑可以通过 setMessageMapper(BytesMessageMapper) 进行配置。
发送和接收套接字可以通过各自的 setSendSocketConfigurer(Consumer<ZMQ.Socket>) 和 setSubscribeSocketConfigurer(Consumer<ZMQ.Socket>) 回调进行任何选项(读/写超时、安全性等)的自定义。
ZeroMqChannel 的内部逻辑基于 Project Reactor Flux 和 Mono 运算符的响应式流。
这提供了更简单的线程控制,并允许向/从通道进行无锁并发发布和消费。
本地 PUB/SUB 逻辑实现为 Flux.publish() 运算符,以允许此通道的所有本地订阅者接收相同的已发布消息,就像分布式订阅者接收 PUB 套接字一样。
以下是 ZeroMqChannel 配置的简单示例:
@Bean
ZeroMqChannel zeroMqPubSubChannel(ZContext context) {
ZeroMqChannel channel = new ZeroMqChannel(context, true);
channel.setConnectUrl("tcp://localhost:6001:6002");
channel.setConsumeDelay(Duration.ofMillis(100));
return channel;
}
ZeroMQ 入站通道适配器
ZeroMqMessageProducer 是一个具有响应式语义的 MessageProducerSupport 实现。
它以非阻塞方式不断从 ZeroMQ 套接字读取数据,并将消息发布到无限的 Flux 中,该 Flux 由 FluxMessageChannel 订阅,或者如果输出通道不是响应式的,则在 start() 方法中显式订阅。
当套接字上没有收到数据时,会在下一次读取尝试之前应用 consumeDelay(默认为 1 秒)。
ZeroMqMessageProducer 仅支持 SocketType.PAIR、SocketType.PULL 和 SocketType.SUB。
此组件可以连接到远程套接字或通过提供的或随机端口绑定到 TCP 协议。
在组件启动并绑定 ZeroMQ 套接字后,可以通过 getBoundPort() 获取实际端口。
套接字选项(例如安全性或写入超时)可以通过 setSocketConfigurer(Consumer<ZMQ.Socket> socketConfigurer) 回调进行配置。
如果 receiveRaw 选项设置为 true,则从套接字消费的 ZMsg 将按原样发送到生成的消息的有效负载中:下游流负责解析和转换 ZMsg。
否则,使用 InboundMessageMapper 将消费的数据转换为 Message。
如果接收到的 ZMsg 是多帧的,则第一帧被视为此 ZeroMQ 消息发布到的 ZeroMqHeaders.TOPIC 头部。
如果 unwrapTopic 选项设置为 false,则传入消息被认为由两帧组成:主题和 ZeroMQ 消息。
否则,默认情况下,ZMsg 被认为由三帧组成:第一帧包含主题,最后一帧包含消息,中间有一个空帧。
使用 SocketType.SUB 时,ZeroMqMessageProducer 使用提供的 topics 选项进行订阅;默认为订阅所有。
可以使用 subscribeToTopics() 和 unsubscribeFromTopics() @ManagedOperation 在运行时调整订阅。
以下是 ZeroMqMessageProducer 配置的示例:
@Bean
ZeroMqMessageProducer zeroMqMessageProducer(ZContext context, MessageChannel outputChannel) {
ZeroMqMessageProducer messageProducer = new ZeroMqMessageProducer(context, SocketType.SUB);
messageProducer.setOutputChannel(outputChannel);
messageProducer.setTopics("some");
messageProducer.setReceiveRaw(true);
messageProducer.setBindPort(7070);
messageProducer.setConsumeDelay(Duration.ofMillis(100));
return messageProducer;
}
ZeroMQ 出站通道适配器
ZeroMqMessageHandler 是一个 ReactiveMessageHandler 实现,用于将发布消息生成到 ZeroMQ 套接字中。
仅支持 SocketType.PAIR、SocketType.PUSH 和 SocketType.PUB。
此组件可以连接到远程套接字或通过提供的或随机端口绑定到 TCP 协议。
在组件启动并绑定 ZeroMQ 套接字后,可以通过 getBoundPort() 获取实际端口。
当使用 SocketType.PUB 时,topicExpression 会根据请求消息进行评估,以将主题帧注入 ZeroMQ 消息(如果它不为 null)。
订阅方(SocketType.SUB)必须先接收主题帧,然后才能解析实际数据。
如果 wrapTopic 选项设置为 false,则 ZeroMQ 消息帧将在注入的主题(如果存在)之后发送。
默认情况下,在主题和消息之间会发送一个额外的空帧。
当请求消息的有效负载是 ZMsg 时,不执行转换或主题提取:ZMsg 按原样发送到套接字,并且不会被销毁以备将来重用。
否则,使用 OutboundMessageMapper<byte[]> 将请求消息(或仅其有效负载)转换为 ZeroMQ 帧以进行发布。
默认情况下,使用 ConvertingBytesMessageMapper 和 ConfigurableCompositeMessageConverter。
套接字选项(例如安全性或写入超时)可以通过 setSocketConfigurer(Consumer<ZMQ.Socket> socketConfigurer) 回调进行配置。
以下是连接到套接字的 ZeroMqMessageHandler 配置示例:
@Bean
@ServiceActivator(inputChannel = "zeroMqPublisherChannel")
ZeroMqMessageHandler zeroMqMessageHandler(ZContext context) {
ZeroMqMessageHandler messageHandler =
new ZeroMqMessageHandler(context, "tcp://localhost:6060", SocketType.PUB);
messageHandler.setTopicExpression(
new FunctionExpression<Message<?>>((message) -> message.getHeaders().get("topic")));
messageHandler.setMessageMapper(new EmbeddedJsonHeadersMessageMapper());
}
以下是绑定到指定端口的 ZeroMqMessageHandler 配置示例:
@Bean
@ServiceActivator(inputChannel = "zeroMqPublisherChannel")
ZeroMqMessageHandler zeroMqMessageHandler(ZContext context) {
ZeroMqMessageHandler messageHandler =
new ZeroMqMessageHandler(context, 7070, SocketType.PUB);
messageHandler.setTopicExpression(
new FunctionExpression<Message<?>>((message) -> message.getHeaders().get("topic")));
messageHandler.setMessageMapper(new EmbeddedJsonHeadersMessageMapper());
}
ZeroMQ Java DSL 支持
spring-integration-zeromq 通过 ZeroMq 工厂和 IntegrationComponentSpec 实现为上述组件提供了便捷的 Java DSL 流式 API。
这是 ZeroMqChannel 的 Java DSL 示例:
.channel(ZeroMq.zeroMqChannel(this.context)
.connectUrl("tcp://localhost:6001:6002")
.consumeDelay(Duration.ofMillis(100)))
}
ZeroMQ Java DSL 的入站通道适配器是:
IntegrationFlow.from(
ZeroMq.inboundChannelAdapter(this.context, SocketType.SUB)
.connectUrl("tcp://localhost:9000")
.topics("someTopic")
.receiveRaw(true)
.consumeDelay(Duration.ofMillis(100)))
}
ZeroMQ Java DSL 的出站通道适配器是:
.handle(ZeroMq.outboundChannelAdapter(this.context, "tcp://localhost:9001", SocketType.PUB)
.topicFunction(message -> message.getHeaders().get("myTopic")))
}