大数据采集实训系统里，学生常把数据采进来就算完成，直到下游报表对不上才发现重复、缺失、时区错乱一起爆发。采集环节的难点不在工具会不会用，而在边界条件的处理：增量从哪里开始、重复怎么消、脏数据怎么留痕。这三件事决定了后续所有分析的可信度。

增量抽取的时间戳陷阱

按更新时间戳做增量，要处理三个问题：时区、边界与迟到数据。源库用本地时间、目标库用协调世界时，中间不做换算，跨零点的数据就会错位一天。边界处理上，起始时间取上一次抽取的峰值减 1 秒，用闭开区间避免重复或遗漏。

迟到数据在流式场景里是常态。以水位线机制控制的窗口，允许迟到 30 秒至 2 分钟，超出的记录进入侧输出流单独处理。变更数据捕获方案要关注日志保留时长，源库日志只保留 7 天，抽取链路中断超过这个窗口就必须做一次全量对账。时间戳字段的类型也要统一，字符串与整型混用会让比较结果出现难以解释的偏差，排查起来比写代码更费时间。

日志采集的落地与分区

埋点日志先进消息队列再落存储，队列分区数按峰值吞吐设定，一般取消费能力的 1.5 倍。落盘按日期分区，目录写成日期加来源的层级，小文件按 128 兆合并，否则元数据压力会拖慢查询，学生在做实验时会明显感到等待时间变长。

采集链路要设监控。延迟、积压、失败率三个指标做成看板，积压超过设定阈值的 2 倍触发告警。学生在仿真环境里手动制造一次消费者宕机，观察积压曲线如何变化，比看文档更能理解为什么分区数要留余量。队列副本数按可用性要求设，教学环境取 2 即可，副本过多会放大写入延迟，实时性要求高的场景尤其明显。

脏数据的判定与留痕

数据质量常按完整性、准确性、一致性、及时性、重复性、有效性六个维度衡量。采集层的重点是重复性与有效性：主键重复可以用哈希指纹去重，字段越界如年龄写 200 岁、金额为负，要按规则拦截并打标。

拦截下来的数据不能直接丢弃，写入隔离表并记录拦截规则编号与原始值。教师端能看到各规则命中量，学生要针对命中量高的规则提出修正方案——是源端改，还是清洗端补，这个判断是数据治理的基本功，也决定了后续返工量。隔离表要有清理策略，只进不出会让存储水位在学期中段就报警，清理动作要写进定时任务而不是靠人记。

采集边界与合规

网页采集要遵守站点的 robots 协议，控制请求频率，设置合理的并发与退避。涉及个人信息的字段按《个人信息保护法》的要求最小化采集，手机号、身份证号在入库前做掩码或哈希处理，日志里不再保留原文。