网站被爬虫_小伙爬虫攻击网站

爬虫把别人网站爬崩了怎么办

应该是你触发到网站的反爬虫机制了。

解决方法是：1.伪造报文头部user-agent（网上有详细教程不用多说）

2.使用可用代理ip，如果你的代理不可用也会访问不了

3.是否需要帐户登录，使用cookielib模块登录帐户操作

4.如果以上方法还是不行，那么你的ip已被拉入黑名单静止访问了。

通过爬虫采集网站信息，算不算违法行为

爬虫所带来风险主要体现在以下3个方面：违反网站意愿，例如网站采取反爬措施后，强行突破其反爬措施；爬虫干扰了被访问网站的正常运营；爬虫抓取了受到法律保护的特定类型的数据或信息。那么作为爬虫开发者，如何在使用爬虫时避免进局子的厄运呢？严格遵守网站设置的robots协议；在规避反爬虫措施的同时，需要优化自己的代码，避免干扰被访问网站的正常运行；在设置抓取策略时，应注意编码抓取视频、音乐等可能构成作品的数据，或者针对某些特定网站批量抓取其中的用户生成内容；在使用、传播抓取到的信息时，应审查所抓取的内容，如发现属于用户的个人信息、隐私或者他人的商业秘密的，应及时停止并删除。

网站被恶意爬虫抓取，应该怎么办

在nginx上配置规则，限制来该IP网段的连接数和请求数就可以了啊。