今日头条做搜索已经不是一天两天的事情，最近子凡开始大量的检测到关于头条搜索相关蜘蛛及服务器抓取，其抓取频率可以说是火力全开，甚至看到有些站长朋友在吐槽自己虚拟主机的网站流量月初就没有了，看了字节跳动想要一口吃个大胖子哦。

头条搜索（https://m.toutiao.com/search）目前只有移动端版本，似乎也就间接意味着头条搜索是一个移动搜索引擎，官方有时也叫做字节跳动搜索。，从以前的“Bytespider”改变为“Bytespider;[email protected]”，添加了一个邮箱，子凡在想是不是可以通过邮箱联系到官方呢？

目前通过泪雪网抓取记录获取查看到有几组头条搜索的 UA：

1
2
3
4
5
6
7

Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.6462.1049 Mobile Safari/537.36; Bytespider;bytespider@bytedance.com
 
Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/44.0.3320.1410 Mobile Safari/537.36; Bytespider;bytespider@bytedance.com
 
Mozilla/5.0 (Linux; Android 5.0; SM-G900P Build/LRX21T) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.1868.1341 Mobile Safari/537.36; Bytespider;bytespider@bytedance.com
 
Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/44.0.4372.1425 Mobile Safari/537.36; Bytespider;bytespider@bytedance.com

通过抓取的 UA 基本可以完整的判断都是属于移动端或者手机设备的抓取，同时为了方面查下抓取的服务器 IP 是否真实为头条搜索，还可以通过 IP 反查服务器名称，如果主机名为：bytespider-220-243-135-89.crawl.bytedance.com。那么这就是标准的头条搜索 IP 蜘蛛的服务器啦。

对于想要屏蔽头条搜索的，最简单粗暴的就是判断 UA，想要准备的就是直接通过 IP 来屏蔽，都需要通过服务器来操作，关于查询 IP 是否为真实的头条搜索蜘蛛，可以试试子凡开发的一个小工具（ip.leiue.com）。

另外，其实子凡个人认为如果站长们的服务器完全能够承受头条搜索的抓取，那么就不要去屏蔽了，虽然从目前子凡的观察来看，网站通过头条搜索的流量少得可怜，但是其头条搜索的收录和展现来看还是非常客观的，至少我们泪雪网的表现还不错，通过站长工具还能查询到我们泪雪网的头条搜索引擎有 4 了。

所以对于头条搜索就目前而言，谈不上好也谈不上坏，只是可能头条搜索的抓取来的有些猛烈而导致一些小网站无法承受，如果头条搜索也能够官方推出一个站长平台，或者是抓取频率设定的工具，相信能够得到不少小站长的亲睐，当然凭借子凡的经验分析不可否认的是搜索引擎还是比较喜欢大站，毕竟内容足够多啊，哈哈哈

w.haolusi.com

本文链接：https://w.haolusi.com/bytespider.html