超过20%的网络位于Cloudflare的网络背后，我们的团队数据团队拥有数据管道，负责将数据（以及更多数据）从我们的全球网络传输到适用的中央数据中心。Cloudflare网络是一个全球分布式系统，支持数万台服务器。
支持Cloudflare日志、SQL API、可观察性、内部分析等数据流经此网络，并使用我们的数据管道为客户提供服务。今年5月，我们以每秒约20亿个事件的速度提供数据传输。这包括客户流量以及内部团队发送的数据。年复一年，我们解决了同样的问题--与线性硬件增长相比，流量呈指数级增长。
我们必须对这一增长做出反应，以控制资源成本。在过去的五年中，我们进行了各种改进，以弥补与硬件分配相比的数据量增长，相当于推迟了两年半的硬件扩展。
本文详细介绍了这些变化：在2022年打破我们的单片数据架构，在2024年调整压缩，在2026年春季重新构建流水线复制，在2026年夏季分散采样，并在2026年秋季将聚合引入流水线。我们的管道从一个名为Logfwdr的内部服务开始，我们从高度分布式的数据源（想想： Workers， FL ）收集数据。
然后，我们将这些数据馈送到一组集中式接收器，最终将其推送到我们的缓冲系统Buftee上。消费者从Buftee获取数据，并将数据分发到最终目的地，例如我们非常依赖的ClickHouse。2022年，我们拆除了唯一的架构。