📍 WDQWDWQD987AAAAA:216.73.216.237
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /0138c4836335.html
📄

网站收录问题：移动端与桌面端怎样检查差异

检查移动端与桌面端的收录差异，核心是分别用两种设备的用户代理抓取同一批URL，对比返回的HTML、状态码、canonical和robots指令是否一致。优先处理“移动端返回的内容明显少于桌面端”或“移动端被noindex、被robots.txt拦截”这两类问题，因为它们会直接导致移动端不收录或收录后内容不符。

准备：先确定对比范围和工具

不要全站逐页对比，先圈定范围：

• 从站点地图或搜索资源平台的收录报告中，抽取有代表性的URL，覆盖首页、栏目页、详情页、分页各若干条。
• 准备两种用户代理：桌面端常用的Mozilla/5.0 (Windows NT 10.0; Win64; x64)，移动端常用的Mozilla/5.0 (iPhone; CPU iPhone OS 17_0 like Mac OS X)。具体字符串可按需替换，关键是两端明显不同。
• 工具上，curl适合快速看状态码和HTML源码，浏览器开发者工具的“设备模拟”适合看渲染结果，抓取类工具适合批量对比。三者用途不同，不要混为一谈。

实施：抓取并逐项对比

对每个URL分别用两种用户代理请求，记录以下检查项：

1. HTTP状态码：两端是否都返回200；若移动端返回301、302或403，说明存在重定向或拦截。
2. HTML主体内容：移动端是否缺少正文、价格、库存等关键信息。若移动端仅剩导航和“请下载App”，属于典型的内容不对等。
3. canonical标签：移动端是否错误地指向自身或指向一个不存在的URL。两端canonical应指向同一个规范URL，除非确实存在独立的移动版且配置正确。
4. meta robots与X-Robots-Tag：检查移动端是否出现noindex或nofollow。
5. robots.txt：确认是否针对移动端用户代理设置了单独的Disallow规则。注意，robots.txt的抓取限制不等于可靠的索引移除，被拦截的URL仍可能因外部链接出现在结果中。

假设某详情页桌面端返回完整正文，移动端用户代理下只返回一段“请在App内查看”的提示，且没有canonical。可以判断为移动端内容缺失，属于需要优先修复的问题。反之，如果两端HTML完全一致，只是CSS不同，则通常不构成收录差异。

验证：确认修改是否生效

修改后不要只看一次结果：

• 重新用两种用户代理抓取同一批URL，确认状态码、canonical和robots指令已一致。
• 用URL检查类功能分别以移动端和桌面端方式请求，观察抓取到的HTML是否包含正文。不同搜索引擎的支持情况须分别核查，不要假设一个平台的结果适用于另一个。
• 观察一段时间内的收录数量变化。站点地图不保证收录，HTTPS也不保证安全无漏洞或排名，这些都不能替代对内容一致性的验证。

维护：把差异检查变成固定动作

在时间和人手有限的情况下，把检查压缩成两步：

1. 每次发布新版模板或调整移动端适配后，抽取10条核心URL跑一次双端对比脚本，重点看状态码和canonical。
2. 每月抽查一次移动端正文长度与桌面端的比值，明显偏低就列入修复队列。

下一步，先挑一个移动端内容缺失最严重的栏目，用两种用户代理各抓一条URL，确认差异属于内容缺失、重定向还是robots拦截，再决定修复顺序。