由于网站的更新，改版导致过去搜索引擎收录的很多地址已经永久失效了。但是根据Nginx日志分析还是能看到各大搜索引擎还不断有爬取旧地址的行为，同时还有不少通过之前链接访问过来的。这样就会导致日志中出现大量的404，这样会影响搜索引擎及用户体验。
对于已经永久失产的链接可以直接在Nginx上处理返回410 加速清理，并配合robots.txt文件来屏蔽，减少不必要的爬取。
一、怎么对robots.txt文件的修改
可以直接修改文件，或者利用插件等工具来辅助，不用直接在服务器上敲命令了。
下面我把收集到的主流、常用、能直接改 robots.txt 的 WP 插件全部列清楚，包括：全能 SEO 插件（最常用）+ 纯 robots 专用插件（轻量），并说明各自怎么用、优缺点，你一看就知道大概率用哪一个。
1、全能 SEO 类（90% 的人都是用这些改 robots.txt）
Yoast SEO（最常见，你极大概率用过）
- 后台路径：SEO → 工具 → 文件编辑器 → robots.txt
- 直接写：plaintext
Disallow: /旧目录/ Disallow: /废弃文件夹/ - 优点：免费可用、最稳定、自动加 sitemap
- 缺点：功能多、略重
Rank Math SEO（现在很火，很多人从 Yoast 转过来）
- 后台路径：Rank Math → 通用设置 → robots.txt → 开启自定义
- 自带语法检查、爬虫模拟测试，不容易写错。
- 优点：免费版功能很强、界面干净、轻量
- 缺点：中文适配一般
All in One SEO（AIOSEO，老牌，国内也常用）
- 路径：AIOSEO → 工具 → robots.txt 编辑器
- 直接输入规则即可。
- 优点：中文好、稳定、老站常用
- 缺点：免费版功能不如 Rank Math
2、纯 robots.txt 专用插件（轻量、只干一件事）
适合：不想装大 SEO 插件、只想简单改 robots.txt
Virtual Robots.txt（最老牌纯 robots 插件）
- 直接在后台设置里编辑虚拟 robots.txt
- 不生成物理文件，靠 WP 输出
- 优点：超轻量、5 万 + 安装、简单
- 缺点：功能少，不能测试爬虫
Admin Robots.txt Editor（简单稳定）
- 后台：设置 → Robots-txt
- 自动生成默认规则，可重置
- 优点：极简、稳定、支持多站点
- 缺点：更新频率一般
Robots.txt Quick Editor（轻量快速）
- 在设置里加一个 robots.txt 编辑框
- 兼容 Yoast、AIOSEO
- 优点：小巧、权限控制严格
- 缺点：界面简陋
Robots.txt Rewrite（可视化勾选）
- 可以勾选式设置 Disallow 目录，不用手写
- 自动检测物理 robots.txt
- 优点：新手友好、可拖拽排序
- 缺点：国内用得少
我是使用了Yoast SEO，直接在后台——>找到Yoast SEO——>工具——>点击文件编辑器即可对robots.txt文件进行修改了。
屏蔽失效目录的「标准写法」
规则格式
Disallow: /目录名/
- 必须带前后斜杠：
/old-dir/ - 不要写完整 URL：只写相对路径
- 子目录自动继承：屏蔽
/old/→/old/a/、/old/b/全被屏蔽
常见失效目录示例
Disallow: /2018/
Disallow: /2019/
Disallow: /old-theme/
Disallow: /old-plugin/
Disallow: /demo/
Disallow: /test/
Disallow: /backup/
Disallow: /temp/
Disallow: /deleted-posts/
二、修改Nginx配置对永久失效的返回410
- 少量 404 正常，搜索引擎会自动处理
- 大量 404 会浪费抓取配额，搜索引擎把时间花在死链上，新页面反而抓不到
- 持续返回 404 的 URL，搜索引擎最终会从索引删除，这个过程可能要几周到几个月
1.如果只是转移了，可以使用301 告诉搜索引擎”永久搬家了”，会把权重转移到新地址。
2. 彻底没了的页面 → 返回 410 Gone
410 比 404 更明确，告诉搜索引擎”这个内容永久删除了”，删除索引更快：
编辑nginx配置文件，添加以下代码，根据自己情况修改
# 彻底不存在的旧路径
location ~ ^/html/ {
return 410;
}保存后，记得执行nginx -t 测试一下配置是否正确。
最后重载一下Nginx配置即可生效，接下来日志记录将会减少很多这些失效链接的爬取记录。