订单状态已经更新,缓存也删了,页面却在几秒后重新显示旧状态。排查日志时,更新请求看起来没有问题:数据库提交成功,删除命令也成功返回。真正把旧值写回去的,是更新之前就开始、更新之后才结束的另一个读取请求。
缓存一致性的问题经常藏在这种交错里。单看任意一个请求,它都遵守了“读不到就查库、更新后删缓存”的规则;把多个请求放到同一条时间线上,规则之间却留下了空隙。本文先复现这个空隙,再比较短有效期、串行化和版本栅栏三种方案,并明确它们各自能保证到什么程度。
删除命令成功,不代表旧读取已经结束
考虑一个商品对象,数据库版本为一,缓存恰好为空。请求甲从数据库读到版本一,随后因网络或进程调度暂停。请求乙把数据库更新为版本二并提交,接着删除缓存。此时缓存仍然为空,删除成功并没有改变什么。请求甲恢复,把手里的版本一写入缓存,并设置五分钟有效期。之后的读请求命中旧值,不再访问数据库。
这个时序只需要一次普通暂停,不需要缓存故障、数据库丢数据,也不依赖极高并发。若数据来自延迟副本,旧值甚至可能在数据库主节点更新之后才被读出。问题的关键是,缓存写入携带了一份过去的观察结果,却没有证明它在回填时仍然有资格被接受。
Azure 的 Cache-Aside 模式说明描述了按需加载、写入后失效的常见流程,同时指出缓存与数据源之间不保证一致。这里需要把“不一致”变成可讨论的业务条件:商品介绍可以晚几秒,订单支付状态、权限撤销和余额展示可能需要不同规则。不能给整个系统设置同一个缓存策略,再让所有业务承担同一种风险。
本文讨论单个对象的缓存,数据源是权威数据库,版本随对象每次提交单调增加。暂不讨论跨多个对象的原子快照。缓存失效消息可能重复、乱序或延迟;缓存值可以过期或被淘汰。只要这些前提有一个不同,后面的设计都需要重新检查。
先把业务承诺拆成三种
第一种承诺是允许有限陈旧。例如展示类信息允许稍后刷新,重点是数据库不会被瞬时流量打穿。第二种是写后读:用户刚保存成功,再打开详情页应至少看到自己写入的版本。第三种是更强的读取语义:一次读开始前已经完成的写入,不应被读成更旧的状态。
三者需要的成本不同。短有效期通常只能帮助第一种;把写入版本随响应交给客户端、后续读取要求最低版本,可以为第二种提供明确检查;第三种往往需要让读取经过权威一致性路径,或者把读写放进完整的协调协议。用异步通知维护的普通缓存,不能自动满足第三种。
版本也不能只是服务器当前时间。多台机器时钟可能偏移,同一时间粒度内还可能发生多次写入。更容易审查的办法,是在数据库更新对象时同步递增整数版本,并读取提交后的版本。如下 SQL 表达的是版本分配的位置,参数由驱动绑定,表结构和权限检查需要按业务补齐:
UPDATE products
SET description = $2,
version = version + 1
WHERE id = $1
RETURNING id, description, version;
事件只能在事务成功后对外生效。若事务最终回滚,不能让失效消费者提前发布一个永远不存在的更高版本。逻辑删除同样应当有版本,必要时保留删除标记;删除对象后复用相同编号并从版本一重新开始,会让旧任务与新对象混淆。可以不复用编号,或把对象代次一起加入缓存键和比较条件。
方案一:短有效期控制风险,但别把它当成精确上界
最简单的处理是保留缓存旁路模式,给值设置较短有效期,并对写后读接口绕过缓存。这种方案的优势是状态少、恢复简单,适合低频变化、错误代价较低的展示数据。代价是过期后的回源流量,尤其在热点对象上需要请求合并,避免同一时刻几十个请求一起查询数据库。
有效期为三十秒,并不意味着数据库提交后三十秒内一定恢复。假设旧读取在提交前启动,四十秒后才回填,回填时又获得新的三十秒有效期,旧值就可能存活到提交后七十秒。若回源副本持续延迟,过期后还可能再次填入旧版本。要给出严格时间上界,必须同时约束在途读取时长、数据源新鲜度、重试方式和过期策略。
“延迟再删一次”能缩小某些已知时序下的窗口,但延迟应该取多少?取数据库平均响应时间不够,极端暂停可能更长;定时删除任务自身也可能丢失或延迟。它可以作为降低旧值停留概率的措施,却不宜写成保证一致性的证明。若业务需要确定语义,应在读取或回填协议中增加检查,而不是不断延长等待时间。
对允许陈旧的数据,还可以把数据库版本和加载时间作为内部观测字段,抽样比较缓存与主库。这里的抽样只能估计问题,不能阻止每一次错误。真正需要立即生效的权限或支付判断应在权威服务执行,页面上的缓存展示不应成为最终授权依据。
方案二:按键串行化,把冲突放到一个明确入口
另一条路是让同一对象的读取回填和更新失效经过同一个串行执行者。一个受控进程内,可以按键持有互斥锁:缓存未命中后,在锁内再次检查缓存、读取权威数据库并回填;写入方也持同一把锁,完成数据库提交和缓存失效之后才释放。这样旧读取无法跨过该锁内的更新步骤偷偷回填。
这个方案成立的前提很强:所有相关读取回填和写入都遵守同一个协调入口,没有绕过入口的后台脚本,也不从落后副本回填;进程故障后恢复不能带着失效的所有权继续写缓存。把进程内锁换成一个带超时的分布式锁,并不会自动保留这些前提。
例如持锁者暂停,锁租约到期,第二个持锁者已经完成更新;第一个恢复后如果仍然执行回填,就会重现旧值覆盖。延长租期只能改变出现概率。要真正约束迟到的持锁者,需要下游写入识别单调的所有权令牌,或采用能保证单一有效执行者的架构。仅仅在释放锁时比较令牌,可以防止误删别人的锁,却不能撤销之前已经发生的旧值写入。
串行化还有吞吐成本。假设某个热点键的临界区平均占用二十毫秒,单条串行通道的理想处理上限约为每秒五十次进入临界区,实际还会受调度和网络影响。这是排队模型的算术,不是压测结果。若把数据库慢查询和远程缓存调用都放在临界区里,长尾会直接传给后面的请求。因此它更适合冲突集中、单键写入量可控、协调入口清晰的场景。
方案三:让缓存记住已经见过的最低版本
不想让每个读取等待写入锁,可以让旧回填自己失败。为每个对象保留两个概念:缓存值,以及已经观察到的最低可接受版本。后者称为版本栅栏。收到版本二的失效事件时,将栅栏提高到二,并删除任何低于二的缓存值;读请求带着版本一回来时,回填必须被拒绝。
只把版本塞进缓存值仍然不够。值被删除或过期后,缓存就忘记自己曾经见过版本二。此时版本一遇到空键,仍可能成功写入。因此值的生命周期和栅栏的生命周期必须分开。读取版本三后,可以顺便把栅栏提升到三;迟到的版本二失效事件只能取最大值,不能让栅栏倒退,也不该无条件删除已经更新的版本三。
检查版本和写入值必须是一个原子步骤。先 GET 栅栏、在应用中比较、再 SET 值,中间仍然可以插入一次更新。Redis 的 事务文档提供 WATCH 配合事务实现条件更新的机制;也可以使用经过审查的服务端脚本。它们约束的是 Redis 内部操作,不会把数据库提交一并变成同一事务。
用 WATCH 实现时,应监视参与判断的栅栏和值,读取后计算是否允许回填,再提交条件更新;冲突就重新读取或放弃本次缓存写入,不能把失败当成成功。若使用 Redis Cluster,多键原子操作还需要满足键槽约束。版本若可能超过脚本语言的精确整数范围,应采用安全的编码和比较方式,不能把数据库的大整数随手转成浮点数。
栅栏解决的是观察之后的回退
必须强调一个时间点:数据库已经提交版本二,但失效事件还没到缓存时,缓存仍可能返回版本一。版本栅栏只能保证在观察到版本二之后,不再接受低于二的新回填;它没有让异步传播变成瞬时传播。若请求此前已经取走旧值,后续失效也无法收回已经发出的响应。
对于写后读,写接口可以返回已提交版本,后续读请求带上最低版本要求。服务端只有在缓存版本达到要求时才使用它,否则到权威数据源读取,必要时等待副本追上或直接读主节点。这要求版本令牌与正确对象、租户和授权上下文绑定,不能让客户端通过任意指定版本绕过权限或制造无限等待。
失效消息也需要可恢复的传递方式。Redis 的键空间通知文档明确说明,Pub/Sub 客户端断开期间的消息会丢失。若把通知当作唯一正确性链路,断线后仍继续使用本地缓存,就可能永久漏掉更新。Redis 客户端缓存参考文档介绍了服务端辅助跟踪;采用任何客户端库时,仍应核实断连、重连与清空本地缓存的具体行为,而不是只验证正常消息能到达。
一个能稳定复现竞态的最小程序
下面使用 Python 标准库,没有 Redis 或数据库依赖。它把并发请求拆成明确步骤,主动安排最危险的交错,不依靠随机睡眠碰运气。保存为 race.py,运行 python race.py。模型只覆盖单键协议状态,不模拟网络、持久化、真正的线程原子性或 Redis 故障切换。
from dataclasses import dataclass
@dataclass(frozen=True)
class Row:
version: int
value: str
class FenceCache:
"""One key, one process: an executable protocol model, not Redis."""
def __init__(self):
self.epoch = 0
self.floor = 0
self.entry = None
def ticket(self):
return self.epoch
def invalidate(self, version):
self.floor = max(self.floor, version)
if self.entry is not None and self.entry.version < self.floor:
self.entry = None
def fill(self, ticket, row):
if ticket != self.epoch or row.version < self.floor:
return False
if self.entry is not None and row.version < self.entry.version:
return False
self.floor = max(self.floor, row.version)
self.entry = row
return True
def expire_value(self):
self.entry = None # The version fence is deliberately retained.
def rebuild(self, authoritative_row):
self.epoch += 1 # Production needs a new shared, non-reused epoch.
self.floor = authoritative_row.version
self.entry = authoritative_row
old, new, newer = Row(1, 'old'), Row(2, 'new'), Row(3, 'newer')
# Force the interleaving: read v1; commit v2; DEL; resume old reader.
db = old
cache = None
reader_snapshot = db
db = new
cache = None
cache = reader_snapshot
assert cache.version < db.version
print('naive: stale v1 refilled after v2 invalidation')
c = FenceCache()
t = c.ticket()
reader_snapshot = old
c.invalidate(new.version)
assert not c.fill(t, reader_snapshot)
assert c.fill(c.ticket(), new)
print('fenced: old refill rejected, v2 accepted')
assert c.fill(c.ticket(), newer)
c.invalidate(new.version) # Delayed v2 event must not erase v3.
assert c.entry == newer and c.floor == 3
print('out-of-order invalidation: v3 preserved')
c.expire_value()
assert not c.fill(c.ticket(), new) # A lagging replica returns v2.
assert c.fill(c.ticket(), newer)
print('value expiry: fence still rejects lagging v2')
old_ticket = c.ticket()
c.rebuild(newer)
assert not c.fill(old_ticket, newer)
assert c.fill(c.ticket(), newer)
print('rebuild: old in-flight ticket rejected')
# The guarantee begins when the invalidation has been observed.
d = FenceCache()
assert d.fill(d.ticket(), old) # DB could already be at v2 here.
assert d.entry == old
d.invalidate(2)
assert d.entry is None
print('delayed invalidation: stale window exists before notification')
print('6 scenarios passed')
本次实际执行中,六个场景全部通过:普通删除后旧值成功回填;栅栏拒绝旧回填;乱序失效不删除更高版本;值过期后栅栏仍阻止落后副本回填;重建后旧代次请求被拒绝;失效通知到达前仍存在陈旧窗口。最后一个场景特意保留了方案的弱点,避免测试只证明自己希望看到的结果。
程序中的 epoch 是缓存实例代次。示例通过整数加一表达“切换到新的一代”,生产环境不能让不同进程各自维护一个可能重复的数字。需要共享、不会复用的代次标识,并让领取票据、检查代次和回填遵守同一原子协议。重建过程中还要处理新的数据库提交,不能读取一次版本就宣称恢复完成。
缓存重启、淘汰和热点,决定方案是否值得采用
版本栅栏比缓存值更接近协调元数据。若栅栏与值一起被内存淘汰,旧回填保护就消失了。安全的默认行为应是:发现栅栏缺失或代次未知时,拒绝未经重新验证的回填,暂时绕过缓存,而不是把缺失解释成版本零。重新启用需要从权威数据源或可靠事件位置建立基线,同时隔离旧在途任务。
这会产生新的容量成本。假设一千万个对象各保留三十二字节逻辑元数据,仅数据本体就是约三百二十兆字节,还没有计算键、对象分配、索引、复制和碎片。实际 Redis 占用可能明显更大,必须测量。不能为了节约这部分空间随意给栅栏设置短有效期,因为一旦旧请求或副本滞后超过该期限,安全前提就被破坏。
对热点对象,版本检查解决不了缓存击穿。仍需限制并发回源数、合并同键请求、设置合理超时,并在缓存故障时控制数据库入口。降级策略也要按业务划分:商品描述可以允许返回明确标记的旧数据,权限判断应失败关闭或回到权威服务。把所有请求同时绕过缓存,可能把缓存故障扩大成数据库故障。
上线验收至少应注入这些故障:读取完成后暂停回填;数据库提交后暂停通知;倒序投递多个版本;清除值但保留栅栏;意外丢失栅栏;切换缓存实例时恢复旧进程;从延迟副本读到旧版本。每个场景都应记录缓存返回版本、回填是否被拒绝、数据库查询量和恢复时间,而不仅是命中率。本文没有执行真实 Redis 集成和性能测试,不能把模型通过当成线上验收通过。
我的选择顺序是:允许陈旧的展示数据先用简单缓存与明确有效期,写后读通过最低版本或权威读取单独处理;单键协调入口清晰且冲突可控时,再考虑串行化;只有在旧回填确实造成问题、团队也愿意维护版本元数据和恢复协议时,才引入版本栅栏。缓存的价值应体现在可接受的语义下减少读取成本。若为了隐藏一次数据库查询,需要新增一套无人能解释的协调系统,直接读数据库可能反而是更可靠的架构。
评论
暂无评论。