FreeABC
记忆重叠

用curl抓取网站数据,仿造IP、防屏蔽 实用方法

1、简单一点的可以在header伪造X-FORWARDED-FOR,并伪造referer,代码如下:

2、上面的方法大多数能糊弄过去,但也有抓到了真实IP的。就使用代理,麻烦在于你有一个有效的代理ip和端口号,有的还需要用户名密码,代码如下:

3、另外还有一种情况,就是用浏览器可以访问,用curl就是不行,发现对方检查了useragent,如果没有就认为是抓取等非法来源,那么我们就自己在header加上useragent,代码如下:

未经允许不得转载:Free-Abc智能 » 用curl抓取网站数据,仿造IP、防屏蔽 实用方法
分享到: 更多 (0)

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址