其实,如果是爬虫抓取的话,好像封IP也没有什么意义吧。。在Nginx上针对IP 的reject 看起来只是个形式罢了~

@mashiro 要不减速器上面封ip段
要不写个禁止所有爬虫的robots.txt :pio_huaji:

@EndlessDaydreams 遵守robot.txt的爬虫都是好爬虫,大部分搬家爬虫都不看的

@mashiro 如果从UserAgent来判断可以吗
(不过好像也不行)

@EndlessDaydreams 效果不明显的。最好的方法是设置白名单,然后给白名单外的请求加上JS challenger

Follow

@mashiro 啊对,,减速器全站UAM就可以了 :pio_huaji:

· · Web · 1 · 0 · 0
Sign in to participate in the conversation
小森林

每个人都有属于自己的一片森林,也许我们从来不曾走过,但它一直在那里,总会在那里。迷失的人迷失了,相逢的人会再相逢。愿这里,成为属于你的小森林。