理解确认、积压与恢复。

以实际收据为依据,设置可靠交付的边界。

原生持久队列

FlowPort 使用原生持久存储,不依赖 SQLite。上游确认建立在当前 Worker 本地持久化之上;各 Worker 队列独立,不自动复制。

逻辑配额不等于磁盘占用。失败记录仍消耗容量,预留磁盘和队列余量,并监控磁盘健康与背压。

确认与重试

下游确认遵循协议,例如 HTTP 成功响应、Kafka ISR 确认或对象写入成功。它不提供跨 Destination 的全局事务或绝对顺序。

重试和崩溃恢复可能产生重复,重要下游应支持去重或幂等写入。不要将多目标发送点数除以接收批次数作为成功率。

失败记录与恢复

修复目标连接、认证或数据格式后,再重放对应失败记录。已经成功的其他分支不必重新发送。删除失败数据属于主动丢弃,操作前核对范围。

停止数据流会停止新接入,已接收的数据仍继续处理与投递。排空并确认无积压后,再移除节点或数据目录。

指标与诊断

Overview 提供状态与吞吐图表,数据流运行图展示采样活动。动画不是单条记录追踪。提供 Prometheus /metrics;按实际角色配置鉴权和抓取。

测试连接区分网络可达与协议请求;只读检查不能证明真实写入权限。试采样不新增消费、确认消息或推进游标。