各蜘蛛爬虫IP地址一览表每年更新建议搜藏

谷歌 google.com
203.208.32.0/19
192.178.0.0/15
74.125.0.0/16
72.14.192.0/18
64.233.160.0/19
66.249.64.0/19
66.102.0.0/20
64.68.64.0/19
203.208.60.138
192.178.5.138
74.125.210.48
72.14.199.224
64.233.172.36
66.249.64.138
66.102.6.138
64.68.90.138

必应
202.89.232.0/21
103.255.140.0/22
103.25.156.0/24
111.221.16.0/20
157.56.0.0/16
199.30.16.0/20
65.52.0.0/14
13.64.0.0/11
157.55.0.0/16
207.46.0.0/16
40.64.0.0/10
40.76.0.0/14
40.80.0.0/12
104.40.0.0/13
131.253.24.0/21
131.253.32.0/20
191.232.0.0/13
20.40.0.0/13
23.103.64.0/18
64.4.0.0/18

百度
61.135.0.0/16 准备造访（内部）
123.125.0.0/16 低权重
111.206.0.0/16 渲染IP抓取JS、CSS、图片
180.76.0.0/20 百度蜘蛛北京段
180.149.128.0/19 疑似伪装百度
220.181.0.0/16 Robot抓取
36.110.128.0/17 百度蜘蛛北京段
113.24.0.0/14 站长模拟百度蜘蛛
124.164.0.0/14 新版抓取
116.179.0.0/16 网页抓取高权重
180.97.0.0/18 百度蜘蛛江苏段

搜狗
118.184.176.0/22
123.180.0.0/14
123.125.0.0/16
61.135.0.0/16
123.126.0.0/16
111.202.0.0/16
36.110.128.0/19
220.181.0.0/16
106.120.128.0/17
49.7.0.0/16
218.30.96.0/19
106.38.0.0/16
58.250.0.0/16
183.36.96.0/19
43.231.96.0/22
49.7.64.0/18

360sou
180.153.0.0/16
180.163.128.0/17
42.224.0.0/12

建议屏蔽（狂爬貌似攻击却不收录）：
神马
42.156.128.0/17
42.120.128.0/17
106.11.144.0/20

亚马逊
52.80.0.1 - 52.80.255.255
54.222.0.1- 54.222.255.255
123.182.49.1 - 123.182.255.255
122.14.220.1 - 122.14.255.25
124.239.12.0/24 [1] [2]
相关文章(向右看)..