置顶中华人民共和国计算机信息 系统安全保护条例


1994年2月18日中华人民共和国国务院令第147号发布 根据2011年1月8日《国务院关于废止和修改部分行政法规的决定》修订)第一章 总 则第一条 为了保护计算机信息系统的安全,促进计算机的应用和发展,保障社会主义现代化建设的顺利进行,制定本条例。 第二条 本条例所称的计算机信息系统,是指由计

hook片段

Hook 是一种钩子技术,在系统没有调用函数之前,钩子程序就先得到控制权,这时钩子函数既可以加工处理(改变)该函数的执行行为,也可以强制结束消息的传递。简单来说,修改原有的 JS 代码就是 Hook。Hook 技术之所以能够实现有两个条件:客户端拥有 JS 的最高解释权,可以决定在任何时候注入 JS

anaconda安装pytorch

1.anaconda31.下载anaconda3(清华源)https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/ 点击链接选择合适版本的anaconda进行安装2.安装anaconda3无脑下一步即可3.anaconda3的环境配置2.安装p

JS HOOK登录脚本

在js逆向时,部分网站需要登录,且登录信息加密,这是就需要破解加密参数,可以使用hook技术,登录前在控制台改写代码,debugger暂停到登录位置,研究jsObject.defineProperty(document, 'cookie',{ get:function(val)

Request指纹反爬

爬取某网站时,发送请求后,却收到了【403 Forbidden】错误,并且返回title为Just a moment...import requestsresp = requests.get('https://www.cosdna.com/chs/product.php?q=%E5%B0%8F&am

rides+scrapy+bloom过滤器整合

scrapy_splash的过滤器# scrapy_splash# 渲染服务的url, 这里换成你自己的SPLASH_URL = 'http://192.168.31.172:8050'# 下载器中间件, 这个必须要配置DOWNLOADER_MIDDLEWARES = { &#

网站使用js调试禁止用户唤醒开发者工具


如下图所示:点击开发者右侧所示按钮,即可屏蔽该反爬

分布式爬虫

​分布式爬虫, 就是搭建一个分布式的集群, 让其对一组资源进行分布联合爬取.​既然要集群来抓取. 意味着会有好几个爬虫同时运行. 那此时就非常容易产生这样一个问题. 如果有重复的url怎么办? 在原来的程序中. scrapy中会由调度器来自动完成这个任务. 但是, 此时是多个爬虫一起跑. 而我们又

CrawlSpide的使用

在scrapy中提供了CrawlSpider来完成全站数据抓取.创建项目scrapy startproject qichezhijia进入项目cd qichezhijia创建爬虫(CrawlSpider)scrapy genspider -t crawl ershouche che168.com和以

Scrapy管道

1. csv文件写入​写入文件是一个非常简单的事情. 直接在pipeline中开启文件即可. 但这里要说明的是. 如果我们只在process_item中进行处理文件是不够优雅的. 总不能有一条数据就open一次吧class CaipiaoFilePipeline: def proce