底层刷数表重复数据分析报告

本次分析针对数据文件 0828底层刷数表-终版.xlsx 中的 Sheet1 工作表进行重复性校验。

文件包含 6 个字段：A列-产品编号、B列-是否老搬家产品、C列-供应商产品中文名、D列-数据源全称、E列-数据源机构编号、F列-数据源标识及标识值。

如果同一产品编号下出现了相同的D列和E列组合，则说明该产品对同一数据源录入了多条记录（可能仅C列供应商产品中文名或F列数据源标识不同），这违反了数据唯一性约束，需要处理。

经全量扫描 3680 行数据，共发现 299 行重复记录，涉及 116 个产品编号，构成 143 组重复组合。

重复行占总数据量的 8.1%，涉及产品数占产品总数的 116/3680，重复问题覆盖面较广，需要优先处理。

从数据源（D列+E列组合）维度统计，重复记录共涉及 17 个不同数据源。以下表格展示了各数据源的重复行数分布：

从产品编号（A列）维度统计，116个存在重复的产品中，重复组合数最多为3组（即同一产品有3个不同数据源出现重复），共5个产品：4377、4501、5183、6276、11928。

下表列出所有143组重复记录的完整明细，按产品编号排序。每组记录展示了：产品编号、数据源全称、数据源机构编号、重复次数、严重等级，以及重复行中不同的C列（供应商产品中文名）和F列（数据源标识）值。

1. 确认业务规则：首先需要确认同一产品编号关联同一数据源时，C列（供应商产品中文名）和F列（数据源标识）的不同是否为合理的业务场景。如果不同标识代表不同子产品/接口场景，则可能需要在唯一性约束中加入F列。

2. 去重处理：如果C列和F列的差异属于录入不规范导致，建议按以下策略去重：

• 保留每组重复中最新的一条记录（根据业务时间判断）
• 或保留C列名称最完整/规范的一条
• 或保留F列标识值非空的一条

3. 数据源治理：深圳市腾讯计算机系统有限公司（50行重复）和上海黑瞳信息技术有限公司（44行重复）是重复重灾区，建议优先排查这两个数据源的数据录入流程。

4. 建立校验机制：在数据录入环节增加"A+D+E组合唯一性"校验，防止后续新增重复数据。