每天凌晨导入一份供应商商品目录,最直观的实现是先清空旧表,再把 CSV 写进去。数据少时一切正常;文件变大后,问题开始混在一起:导入太慢、页面读到半份目录、任务重试覆盖了更新的文件,以及导入成功后才发现索引或业务校验没有完成。
这类系统应先定义“哪一刻可以让读者看到新目录”,再讨论每秒能写多少行。本文设计一个全量快照导入流程:旧版本继续服务,新版本独立装载和校验,最后通过短事务切换版本指针。目标是把长时间的数据处理与短时间的业务发布分开,而不是把数据库事务包装成万能的恢复机制。
适用场景是供应商定期提供完整、可重放且带稳定版本标识的数据集,在线应用只读这些导入结果。若用户也会修改同一批商品,或者上游只提供增量补丁,必须额外设计冲突合并与删除语义,不能直接套用本方案。文中的 SQL 面向 PostgreSQL 18,属于关键结构与操作示例;没有执行真实数据库导入、故障恢复或性能基准。后文的状态模型是单独验证的抽象模型,不代表数据库集成测试。
一、先把成功拆成三个不同结果
文件接收成功,只说明字节已到达;装载事务提交,只说明一批数据库记录已经存在;目录发布成功,才说明业务读取会使用这个版本。三个状态若共用一个“成功”字段,运维人员就无法判断应该重传文件、重跑校验,还是只重新查询发布结果。
建议每个导入批次保留源版本、原文件校验值、格式版本、期望记录数、实际记录数、校验结果和操作者。文件校验值用来识别内容是否一致,不负责证明业务正确;记录数相同也不能排除漏一行又多一行。对于商品目录,还应检查商品键唯一、必填字段、价格范围、分类引用以及相对上一版的异常变化。允许多少商品下架属于业务规则,不能用“数据库没有报错”代替。
这里有两个身份:batch_id 标识一次不可变候选数据,source_seq 标识上游数据的先后顺序。后者必须来自可信上游版本序列或已明确的业务顺序规则,不能用文件到达时间冒充。旧文件可能晚到,新文件也可能先完成。若上游只有不具备顺序含义的文件名,应让调度器显式指定预期前一版本,不要擅自比较字符串或时间戳。
整个数据流可以写成:
不可变源文件
↓ 校验文件身份与格式
批次装载区 → 约束/业务校验 → ready 候选版本
↓ 短发布事务
在线查询 ← catalog_head 指针 ← 完整且不可变的数据版本
入口服务负责接收和记录文件身份,装载进程负责数据转换,发布器只负责选择已验收版本。在线请求不参与导入事务,也不能凭“最新创建时间”自行选版本。
二、为什么不用一个大事务直接替换
第一种方案是在单个事务中删除旧数据、导入新数据,再提交。优点是结构简单,原有查询不用改造,事务失败时不会留下已提交的半批结果。对于小目录、维护窗口足够长、并发访问要求不高的系统,这往往是最经济的方案。
它的代价集中在运行期间:事务持续时间、被修改的数据量、锁等待、WAL 产生速度及失败后的清理成本都随数据增长。用 TRUNCATE 代替 DELETE 也不是无条件改进;TRUNCATE 的锁要求会影响并发访问,不能把“执行快”理解为“对线上无影响”。具体锁语义应按 PostgreSQL 显式锁文档评估。
第二种方案是按小块提交到线上表。重试范围变小,单次事务较短,但读者会看到新旧混合的目录。即使每块带幂等键,也只能避免同一块重复写入,不能自动把几百个事务合成一个业务快照。对于实时追加日志,这可能符合需求;对于“整版价目表必须一起生效”,则改变了产品语义。
第三种方案是版本化导入。候选版本允许分阶段准备,读者只认当前指针,最后一次提交决定新版本是否可见。它增加了存储、查询过滤和旧版本回收的工作,却把失败的影响限制在未发布区域。本文选择这一方案,因为目录更新频率低于查询频率,保留两版数据的成本可以估算,而新旧混读不可接受。
版本化不是免费获得更强隔离。它依赖三个不变量:ready 后数据不可变;指针只能指向 ready 批次;一次业务读取必须固定同一批次。少一个条件,指针就只是一个好看的状态字段。
三、最小数据模型与装载边界
以下结构刻意保留必要约束,而不是先删除所有索引追求最快写入。商品键在一个批次内唯一,指针有外键引用,源版本与内容校验值不可空。示例只包含一个目录,真实系统可把 supplier_id 加入所有相应唯一键和指针主键。
CREATE TABLE import_batch (
batch_id uuid PRIMARY KEY,
source_seq bigint NOT NULL UNIQUE,
source_sha256 text NOT NULL,
state text NOT NULL CHECK (state IN ('loading', 'ready')),
row_count bigint,
CHECK (
(state = 'loading' AND row_count IS NULL)
OR (state = 'ready' AND row_count >= 0)
)
);
CREATE TABLE catalog_item (
batch_id uuid NOT NULL REFERENCES import_batch(batch_id),
sku text NOT NULL,
name text NOT NULL,
price_minor bigint NOT NULL CHECK (price_minor >= 0),
PRIMARY KEY (batch_id, sku)
);
CREATE TABLE catalog_head (
singleton boolean PRIMARY KEY CHECK (singleton),
batch_id uuid REFERENCES import_batch(batch_id)
);
INSERT INTO catalog_head VALUES (true, NULL);
这里的约束还没有实现 ready 后不可写。不能把这段建表语句当成完整权限方案。应让在线角色只有受限读取权限,装载角色只能通过受控入口写入,入口在修改批次内容前取得批次行锁并检查 loading 状态;封存操作取得同一行锁,检查全部写入已完成后改为 ready。所有写入、封存、删除都必须遵循同一协议,或者用数据库触发器及权限组合把协议强制落实。仅在应用里先查一次状态、随后任意写行,会留下检查与写入之间的竞态。
更简单的初版可以让一个批次从创建到 ready 全部处于同一个事务,事务成功后立即关闭该批次的写入路径。这样不具备分块恢复能力,但减少了并发装载和封存的复杂度。文件很大时再升级为分块:为每块记录校验值与行数,同批次的写入者按批次锁协议协调;封存前确认所有预定块齐全,不接受“队列暂时为空”作为完成证据。
装载时可先进入临时表,再以明确的列清单写入版本表。下面展示 psql 的关键顺序,固定 UUID 和源序号只是演示数据,运行前必须换成任务实际值;不要把供应商提供的路径或 SQL 片段直接拼接到命令中。
BEGIN;
CREATE TEMP TABLE incoming (
sku text NOT NULL,
name text NOT NULL,
price_minor bigint NOT NULL CHECK (price_minor >= 0)
) ON COMMIT DROP;
-- 在同一个 psql 会话执行下一行,文件由客户端读取
\copy incoming (sku, name, price_minor) FROM 'catalog.csv' WITH (FORMAT csv, HEADER true)
INSERT INTO import_batch
(batch_id, source_seq, source_sha256, state)
VALUES
('11111111-1111-4111-8111-111111111111', 101,
'replace-with-verified-source-sha256', 'loading');
INSERT INTO catalog_item (batch_id, sku, name, price_minor)
SELECT '11111111-1111-4111-8111-111111111111'::uuid,
sku, name, price_minor
FROM incoming;
-- 此处执行期望行数、变更幅度等业务校验;
-- 任一校验失败必须抛错并回滚,不能继续执行以下语句。
UPDATE import_batch
SET state = 'ready', row_count = (SELECT count(*) FROM incoming)
WHERE batch_id = '11111111-1111-4111-8111-111111111111';
COMMIT;
使用 psql 文件执行时应启用 ON_ERROR_STOP,避免脚本忽略前面失败。重复 sku 会由版本表主键拒绝,负价格会在临时表检查阶段拒绝;但空白商品名、异常下架比例等仍需业务校验。示例没有把缺失的业务规则偷偷写成固定百分比,因为那会制造看似精确的错误保证。
COPY 与客户端的 \copy 访问文件的位置不同;COPY FROM 会执行目标表的触发器和检查约束。失败的 COPY 还可能留下不可见但占空间的已删除行,需按实际情况处理清理与空间预算。这些行为见 COPY 文档。导入报错后立刻无限重试,可能同时放大磁盘和日志压力。
四、发布事务要解决迟到与结果未知
装载完成后,发布器携带 candidate_batch 和 expected_head 开始短事务。先锁住单例指针行,再核对候选批次。所有发布器都使用这个锁顺序,避免各自先锁不同对象后互相等待。
BEGIN
head = SELECT catalog_head FOR UPDATE
if head.batch_id == candidate_batch:
返回“当前已是该版本”,不再修改
if head.batch_id != expected_head(含 NULL 的安全比较):
返回冲突,ROLLBACK
candidate = 读取并锁定候选批次
assert candidate.state == ready
assert candidate.source_seq > 当前版本.source_seq
(初次发布时无当前版本)
UPDATE catalog_head SET batch_id = candidate_batch
写入本次发布的审计记录
COMMIT
这是一段事务协议伪代码,不是可直接复制的数据库函数。实现必须把检查和更新放在同一事务内,并把空值比较写成明确语义,例如 IS DISTINCT FROM。不要在事务外读 head,再只执行无条件 UPDATE。行锁的作用是让竞争发布者依次做判断;源序号检查的作用是阻止旧文件在重试后覆盖更新数据,两者解决的问题不同。
假设批次 B 和 C 都从 A 开始准备,C 先发布。B 随后拿到锁时应得到预期版本冲突。系统可以重新读取并提示 B 已过期,但不能为了“自动重试成功”把 expected_head 改成 C 后强行覆盖。若需要回退,应是一个单独、可审计的操作策略,明确允许指针退回某个保留版本;不能让正常前进发布流程顺带承担回退权限。
提交后网络断开也是常见情况。客户端没有收到成功并不等于事务未提交。重新连接后先查询指针与发布审计:若当前仍是候选版本,可确认它已经成为当前版本;若已有更新版本,审计记录用于判断该候选是否曾经发布。只看当前指针无法回答历史问题。重试不得重新导入同一源文件,也不得把未知结果变成第二次无条件切换。
五、读路径必须真的固定版本
单条查询可以把指针和目录放在同一条 SQL 中:
SELECT i.sku, i.name, i.price_minor
FROM catalog_head AS h
JOIN catalog_item AS i ON i.batch_id = h.batch_id
WHERE h.singleton = true
ORDER BY i.sku
LIMIT 50;
这条语句通过同一个语句快照读取指针和数据。若业务先单独查询指针,再执行多条不同查询,则应保存 batch_id,并在后续查询中始终显式过滤该值。不能每条 SQL 重新读当前指针,否则一次页面组装可能跨过发布点。PostgreSQL 默认 Read Committed 的连续语句可以看见不同提交状态,见 事务隔离文档。
跨 HTTP 请求分页还需要把版本放进游标。第一页返回 batch_id 和最后一个 sku,第二页继续使用同一 batch_id;若该版本已被回收,应返回明确的版本过期响应,让客户端重新开始,而不是悄悄切到新版本继续分页。缓存键同样应包含版本,否则数据库切换正确,缓存仍可能把两版结果混用。
删除旧版本要与读者约定相配。单条数据库语句受 MVCC 保护,但显式携带版本号、稍后再来的请求不会自动获得永久保护。可以为分页游标设最长有效期,并保留超过该期限的旧版本;长时导出则使用租约登记或固定快照。回收进程必须排除当前版本、回退保留版本和仍有有效读取租约的版本。不能根据“不是当前 head”就立即删除。
六、性能预算应覆盖发布之前的全部工作
设一版完整目录连同索引占用 D,保留当前版和上一版,同时准备新版,粗略存储起点就是 3D,再加临时数据、排序空间、WAL 和失败清理余量。这个公式是容量规划起点,不是磁盘峰值保证。索引大小与行宽、键分布、压缩和更新历史有关,必须在接近真实数据的环境测量。
端到端时间也应拆开:文件接收、解压、解析、装载、建索引、校验、统计信息、发布,以及副本追平。只报 COPY 阶段吞吐,会把剩下的大部分等待藏起来。PostgreSQL 的批量装载建议讨论了 COPY、索引创建顺序和装载后 ANALYZE;是否删除索引,要考虑约束和线上查询代价,不能直接在服务表上照搬新建空表的优化。
本文共享版本表的主键会在装载时持续维护,代价换来批内唯一性和简单读路径。如果性能验证证明索引维护是主要瓶颈,可以把每一版放入独立表或分区,装载后再建索引、校验、接入统一读取层。但这引入了对象生命周期、规划器行为和切换锁的新问题,不是只增加一个参数。普通建索引和并发建索引也有不同条件与失败处置,应阅读 CREATE INDEX 文档。
UNLOGGED 暂存区适合可丢弃、能从源文件重建的数据,不适合把“已验收候选”直接当作持久发布数据。它在崩溃或非正常关闭后可能被清空,内容也不会复制到备用服务器。把状态放在普通表、把数据放在 UNLOGGED 表,会出现状态仍是 ready 而内容已经丢失的危险组合。发布前必须重新验证并转入满足持久化要求的存储,相关限制见 CREATE TABLE 文档。
七、验收不只检查成功路径
至少演练以下几类故障:文件截断、重复商品键、校验失败、装载进程中止、两个批次反序完成、发布提交后断网、分页期间切换,以及回收时仍有旧版导出。每个测试都要同时检查当前指针、候选状态、读者返回的数据版本和审计记录,不能只看任务退出码。
本文执行了一个纯 JavaScript 状态模型,验证未 ready 不能发布、预期版本冲突不改变指针、源序号倒退被拒绝、发布重试保持当前版本、两种竞争顺序都不会回退,共十项断言通过。模型把短事务视为原子动作,因此不验证 PostgreSQL 的真实锁等待、死锁、WAL、连接断开或权限约束。SQL 示例尚未在真实数据库运行,集成前必须完成上述并发和恢复演练。
监控应区分装载失败与发布失败:前者关注输入与资源,后者关注候选状态、竞争和版本策略。还应监测当前目录年龄、候选等待时长、未回收版本空间、校验拒绝原因,以及发布后的查询延迟。当前目录过旧可以触发告警,但不应自动跳过校验发布一份坏数据。
最终的取舍很具体:目录小且允许维护窗口,可以保留单事务替换;允许逐行生效的数据流,可以分块写入;需要整版原子生效且能承担多版本存储时,再采用版本化导入。无论选择哪种装载工具,都应先验证它如何影响约束、持久化、索引恢复和业务可见性。能够更快写完文件只是其中一步,能够明确解释失败后读者会看到哪一版,才是这套架构可以交付的条件。
评论
暂无评论。