头条蜘蛛 Bytespider 无视 robots 协议爬行我的中医药博客

很多站长都嫌各大搜索引擎蜘蛛不到自己的网站上来，而缙哥哥最近搭建的中医笔记博客「上工之路」决定将 WordPress 对搜索引擎的可见性设置成建议搜索引擎不索引本站点。

虽然后台有提示：

搜索引擎将本着自觉自愿的原则对待 WordPress 提出的请求。并不是所有搜索引擎都会遵守这类请求。

但是大部分搜索引擎蜘蛛都是先访问 robots.txt 文件，发现此站点不允许爬行扭头就走……

只有头条蜘蛛居然不遵守协议，万万没想到字节系这么大的厂子，无视 robots 文件说明强行来爬。

于是乎我只能对其 User-Agent 关键词拉入黑名单，但凡是 Bytespider 请求，就禁止访问。

并且重新创建了一个 robots.txt 文件，将 WordPress 默认拒绝的规则重新描述：

User-agent: *
Crawl-delay: 86400
Disallow: /

后续我也将会持续关注日志，如果机器人和蜘蛛前来，就慢慢补充拦截规则。

打造一个私有的中医药网站，共大家参考、借鉴。