11月20日,Cloudflare发文介绍其重新设计无服务器SQL数据库D1控制平面的方案,以支持数百万个数据库。此次重构旨在避免集中式架构中的性能瓶颈,同时引入重试机制、幂等性保障和最终一致性。D1于2022年首次发布,基于SQLite构建,运行于Cloudflare全球网络,过去一年每日活跃数据库数量增长了18倍。
新控制平面围绕三种存储系统构建:Postgres存储事务性元数据,ClickHouse负责分析,Workers KV存储全球复制的路由数据。架构将查询处理保留在边缘节点,与集中式管理操作分离,并通过分布式元数据缓存、连接池、异步工作流和定期健康检查提升可扩展性与故障恢复能力。
Cloudflare采用30秒一次的心跳机制,并为每个数据库引入随机时间偏移,使每个D1 Durable Object定期与Postgres核对状态。Postgres是数据库是否存在以及账户配额的事实来源,该机制可自动修复创建或删除操作失败后留下的不一致状态:孤立的Durable Object会被标记为已删除,Workers KV中的路由元数据也会得到修复。
查询路径上,Edge API Worker负责身份认证、授权、速率限制和请求验证,随后将请求转发至Eyeball Worker,再直接路由到对应的D1 Durable Object,避免查询经过集中式Postgres。Cloudflare工程师解释,使用Workers KV而非仅依赖Hyperdrive缓存,是因为KV是持久化数据存储,条目被逐出时仍由KV自身存储层提供服务,可防止灾难性缓存清除导致数百万数据库同时回源而引发亚稳态故障。存储配额管理则采用异步用量更新与增量存储变化量机制,避免全量扫描和写入竞争。
扫码查看视频号
咨询
咨询