@[email protected]
前几天做了个静态页面，放在了一个全新的二级域名下面，谁也没告诉，看nginx日志已经有不少爬虫来过了……
@dogcraft 正常。。爬虫很难防。我博客上是在文里面插上一段标明出处的话，页面加载完毕后再用JS移除这段话，感觉治搬运类爬虫特别有效(≧▽≦)
@[email protected] 这个方法不错
我还是太菜了，我博客还没来过搬运类的爬虫……
@dogcraft 当时是被花瓣扒的，搜索引擎上比本尊还靠前。。
@mashiro 要是ipv6的话，那更是做梦了 
@banqiao Nginx上IPv6加对方括号就可以了
@[email protected] @[email protected] IPv6地址多，屏蔽一个可以马上换一个……
如果按IP段屏蔽那就有可能误伤正常用户……
@mashiro 要不减速器上面封ip段
要不写个禁止所有爬虫的robots.txt 
@EndlessDaydreams 遵守robot.txt的爬虫都是好爬虫，大部分搬家爬虫都不看的
@mashiro 如果从UserAgent来判断可以吗
（不过好像也不行）
@EndlessDaydreams 效果不明显的。最好的方法是设置白名单，然后给白名单外的请求加上JS challenger
@mashiro 啊对，，减速器全站UAM就可以了
@EndlessDaydreams 但这样会严重降低用户体验
@mashiro
实话。大家还是各种保护好自己。