网站权重查询，自动导出遗漏分页时怎样检查完整性
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /90088fa58eec.html
📄
网站权重查询，自动导出遗漏分页时怎样检查完整性
先给结论：自动导出出现遗漏分页，不能只看总条数是否变少。正确做法是先判断遗漏发生在“导出阶段”还是“数据源阶段”，再决定是补抓分页，还是回退到手工抽查。前者可以按页码连续性修复，后者必须重新定义导出范围，否则补多少次都会漏。
先分清两种遗漏：导出环节丢页 vs 数据源本身没有
这两种情况的处理方式完全不同，判断依据也不一样。
- 导出环节丢页：数据源里明明有第 3 页，但导出文件只到第 2 页就停了。典型证据是分页链接存在、总条数大于已导出条数，或者两次导出结果条数不稳定。
- 数据源本身没有：查询结果里就没有第 3 页，导出当然也没有。典型证据是分页控件显示“上一页/下一页”但下一页无内容，或总条数本身就小于单页容量。
把这两种混为一谈，就会在“数据源本来就没有”的情况下反复补抓，浪费时间；也会在“导出丢页”的情况下误以为数据完整，直接进入分析。
条件一：分页链接可枚举时，按页码连续性核对
如果查询结果提供明确的分页参数（例如 &page=2、&offset=20），优先用页码连续性检查。
- 先记录第一页的总条数和每页条数，算出理论页数。假设每页 20 条、总条数 137，则理论页数为 7 页，最后一页应为 17 条。
- 导出后按页码排序，检查是否存在跳号，例如从第 4 页直接跳到第 6 页。
- 核对最后一页条数是否等于“总条数减去前面页累计条数”。如果最后一页条数异常少或为 0，说明尾页可能被截断。
这一步的实际动作是：把理论页数和实际导出的页码做一次差集。如果差集为空，说明导出阶段基本完整；如果差集非空，下一步就是只补抓缺失页码，而不是重跑全部导出。这样能把补抓范围从“全量”缩小到“缺页”，减少重复劳动。
条件二：分页链接不可枚举时，用边界值抽查代替全量核对
有些查询结果的下一页地址是动态生成的，无法直接拼接页码。这时不能靠猜 URL，而要用边界值抽查。
- 取导出结果的第一条和最后一条记录，回到查询界面确认它们是否分别位于第一页和最后一页。
- 如果最后一条记录不是数据源的末条，说明尾部分页被漏掉。
- 再随机抽取中间某页的首条记录，确认它是否出现在导出文件中。
边界值抽查的假设是：如果头、中、尾三个位置都命中，遗漏只可能发生在小范围中间页。这个假设不保证 100% 完整，但能在无法枚举分页时给出一个可接受的置信范围。若业务对完整性要求极高，应改用条件一的方式，先让导出工具输出可枚举的分页地址。
发现遗漏后，先判断是否值得补抓
不是所有遗漏都需要立即补抓。判断依据是遗漏位置是否影响当前决策。
假设你正在对比两个时间段的权重指标变化，遗漏的是第 6 页中一段排名靠后的记录。如果这段记录本来就不在分析范围内，补抓的收益很低；但如果遗漏的是第 1 页或最后一页，通常意味着头部或尾部数据缺失，会直接影响趋势判断，必须补抓。
一个可执行的动作是：在导出文件里标记缺失页码的位置，并注明该位置对应的记录特征（例如排名区间、时间区间）。如果缺失位置落在分析区间之外，可以先继续分析，但要在结论里注明未覆盖范围；如果落在分析区间之内，则暂停分析，先补抓再继续。这个动作的结果决定了下一步是“带缺口分析”还是“补全后分析”。
例外：总条数变化不等于遗漏，也不等于完整
有时两次导出的总条数不同，但并不能直接证明某一次遗漏了分页。总条数变化还可能来自：数据源本身在两次导出之间发生了更新、查询条件被无意修改、去重规则不同。
反过来，总条数一致也不代表完整。如果两次导出都在同一个位置截断，总条数会稳定地偏小，看起来“一致”，实际都漏了同一页。因此，总条数只能作为辅助信号，不能单独作为完整性依据。
更可靠的做法是保留每次导出的页码清单和边界记录，做纵向对比。如果页码清单连续且边界记录覆盖头尾，即使总条数有波动，也能判断为导出完整；如果页码清单本身有缺口，总条数再稳定也不能视为完整。
