网站地图：XML文件对谷歌和爬虫的作用

网站地图是面向搜索引擎的网站“地图”。它列出了所有相关的URL，并向爬虫提供关于页面是否存在、其重要性以及最后修改时间的提示。在对任何较大域名进行抓取时，都能看出它与Robots.txt文件之间有着多么紧密的关联。关于如何设置的实用指南，请参阅我们的文章《网站管理员工具基础知识》，本文则主要探讨这一概念本身。

XML网站地图包含哪些内容

从技术角度来看，网站地图是一个XML文件，它针对每个URL提供附加信息，例如最后修改日期、更新频率或相对优先级。谷歌等搜索引擎利用这些信息，能够更快地识别新页面或已修改的页面，而不再仅依赖内部链接在网站中进行爬取。

网站地图并不能保证页面被收录，它仅仅是向爬虫发出访问特定页面的邀请。

特别是对于拥有数千个子页面的超大型网站，或是刚上线且反向链接较少的域名而言，一份维护良好的网站地图能显著加快新内容的发现速度。如果网站地图中缺少重要页面，或者包含错误的URL，就会浪费宝贵的抓取预算。

每个URL的最后修改日期
各页面的相对优先级
刷新频率作为参考
排除重复内容

网站地图为何对排名至关重要

网站地图不能替代良好的内部链接和页面优化，而是对这两项措施的补充。通过 Google 搜索控制台，可以查看已提交的 URL 中有多少被实际收录，以及存在哪些偏差。此类报告通常能率先揭示技术问题，例如错误的重定向、被屏蔽的目录或没有内部链接的孤立页面。

检查网站地图与索引之间的差异
及早发现错误的重定向
查找没有内部链接的孤立页面
定期检查索引报告

网站地图文件本身的加载速度也起着重要作用，尤其是当它包含数千个URL且由性能较弱的服务器提供时。相比于结构混乱、大小达数兆字节且缺乏清晰框架的版本，经过压缩且结构良好的文件能被爬虫更可靠、更快速地完整读取。

技术SEO实践中的网站地图

网站地图的构建与其他技术因素密切相关，例如网页的抓取和加载时间。对于规模非常大的域名，建议将其拆分为多个网站地图文件，并设置一个上级索引文件，以便搜索引擎更快地掌握网站结构。此外，在网站改版时，必须更新网站地图并重新提交，否则它将继续指向早已不存在的旧URL。

将大型域名拆分为多个文件
创建上级网站地图索引
每次重新发布后均需重新提交
彻底删除旧的URL

各类网站地图类型概览

除了针对文本页面的传统网站地图外，还有针对特定内容类型的专用网站地图。图片网站地图有助于搜索引擎有针对性地抓取页面上的图片；视频网站地图则提供时长或预览图等额外信息；而新闻网站地图对于发布时效性极强内容的新闻编辑部尤为重要，因为它能被搜索引擎快速读取。对于大多数中小型网站而言，一个维护良好的、涵盖所有页面的网站地图就完全足够了；而对于拥有多种内容形式的大型门户网站，按类型进行清晰划分则更为有利。哪种方案更合适，取决于各网站的内容重点，通常可以逐步补充完善，而无需彻底重建现有结构。

图片网站地图（用于图形和照片）
包含播放时长和预览图的视频网站地图
最新编辑文章的新闻网站地图
对于规模较小的网站，一个网站地图就足够了

无论选择哪种类型，都应遵循以下原则：网站地图应仅包含真实且可访问的页面，并应定期自动更新，以免随着时间推移变得过时，从而导致爬虫访问死链。

网站地图：实践中常见的错误

随着时间的推移，许多网站地图中会包含早已不存在的URL，这是因为页面被删除或重命名后，该文件并未相应地进行清理。此外，重定向链接也经常在无人察觉的情况下出现在网站地图中，尽管网站地图中本应仅包含最终的、实际可访问的目标地址。虽然能够自动生成网站地图的内容管理系统可以减少此类错误，但并不能取代定期的手动检查。

对URL结构的严格维护也会直接影响网站地图：如果事后修改固定链接却未清理旧条目，就会导致链接长期失效。