Hook 是一种钩子技术，在系统没有调用函数之前，钩子程序就先得到控制权，这时钩子函数既可以加工处理（改变）该函数的执行行为，也可以强制结束消息的传递。简单来说，修改原有的 JS 代码就是 Hook。Hook 技术之所以能够实现有两个条件：客户端拥有 JS 的最高解释权，可以决定在任何时候注入 JS

1.anaconda31.下载anaconda3（清华源）https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/ 点击链接选择合适版本的anaconda进行安装2.安装anaconda3无脑下一步即可3.anaconda3的环境配置2.安装p

在js逆向时，部分网站需要登录，且登录信息加密，这是就需要破解加密参数，可以使用hook技术，登录前在控制台改写代码，debugger暂停到登录位置，研究jsObject.defineProperty(document, 'cookie',{ get:function(val)

爬取某网站时,发送请求后，却收到了【403 Forbidden】错误，并且返回title为Just a moment...import requestsresp = requests.get('https://www.cosdna.com/chs/product.php?q=%E5%B0%8F&am

scrapy_splash的过滤器# scrapy_splash# 渲染服务的url, 这里换成你自己的SPLASH_URL = 'http://192.168.31.172:8050'# 下载器中间件, 这个必须要配置DOWNLOADER_MIDDLEWARES = { &#

​分布式爬虫, 就是搭建一个分布式的集群, 让其对一组资源进行分布联合爬取.​既然要集群来抓取. 意味着会有好几个爬虫同时运行. 那此时就非常容易产生这样一个问题. 如果有重复的url怎么办? 在原来的程序中. scrapy中会由调度器来自动完成这个任务. 但是, 此时是多个爬虫一起跑. 而我们又

在scrapy中提供了CrawlSpider来完成全站数据抓取.创建项目scrapy startproject qichezhijia进入项目cd qichezhijia创建爬虫(CrawlSpider)scrapy genspider -t crawl ershouche che168.com和以

1. csv文件写入​写入文件是一个非常简单的事情. 直接在pipeline中开启文件即可. 但这里要说明的是. 如果我们只在process_item中进行处理文件是不够优雅的. 总不能有一条数据就open一次吧class CaipiaoFilePipeline: def proce