入站通道适配器:控制远程文件获取

配置入站通道适配器时,应考虑两个属性。 max-messages-per-poll,与所有轮询器一样,可用于限制每次轮询发出的消息数量(如果准备好的消息多于配置值)。 max-fetch-size(从 5.0 版本开始)可以限制一次从远程服务器检索的文件数量。

以下场景假设起始状态是本地目录为空:

  • max-messages-per-poll=2max-fetch-size=1:适配器获取一个文件,发出它,然后获取下一个文件,并发出它。 然后它休眠直到下一次轮询。

  • max-messages-per-poll=2max-fetch-size=2:适配器获取这两个文件,然后发出每个文件。

  • max-messages-per-poll=2max-fetch-size=4:适配器最多获取 4 个文件(如果可用)并发出前两个文件(如果至少有两个)。 接下来的两个文件将在下一次轮询时发出。

  • max-messages-per-poll=2max-fetch-size 未指定:适配器获取所有远程文件并发出前两个文件(如果至少有两个)。 后续文件在后续轮询时发出(每次两个)。 当所有文件都被消费后,会再次尝试远程获取,以获取任何新文件。

当您部署应用程序的多个实例时,我们建议设置一个小的 max-fetch-size,以避免一个实例“抢占”所有文件并饿死其他实例。

max-fetch-size 的另一个用途是当您想停止获取远程文件但继续处理已获取的文件时。 在 MessageSource 上设置 maxFetchSize 属性(通过编程方式、JMX 或通过 控制总线)可以有效地阻止适配器获取更多文件,但允许轮询器继续为先前已获取的文件发出消息。 如果更改属性时轮询器处于活动状态,则更改将在下一次轮询时生效。

从 5.1 版本开始,同步器可以提供一个 Comparator<?>。 这在通过 maxFetchSize 限制获取的文件数量时很有用。

从 6.4 版本开始,AbstractRemoteFileStreamingMessageSource 现在提供了一个方便的 clearFetchedCache() API,用于从缓存中移除未处理的远程文件的引用。 引用之所以保留在缓存中,是因为轮询配置不允许在一个周期内处理所有文件,并且目标 SessionFactory 可能会在轮询周期之间发生变化,例如通过 RotatingServerAdvice

另请参阅一般的 SFTP 入站通道适配器 章节,了解 FileListFilter 配置信息。