在scrapy中提供了CrawlSpider来完成全站数据抓取.创建项目scrapy startproject qichezhijia进入项目cd qichezhijia创建爬虫(CrawlSpider)scrapy genspider -t crawl ershouche che168.com和以

1. csv文件写入​写入文件是一个非常简单的事情. 直接在pipeline中开启文件即可. 但这里要说明的是. 如果我们只在process_item中进行处理文件是不够优雅的. 总不能有一条数据就open一次吧class CaipiaoFilePipeline: def proce

爬虫工程化: 对爬虫的功能进行模块化的开发. 并达到可以批量生产的效果(不论是开发还是数据产出)

数据容器一种可以容纳多份数据的数据类型，容纳的每一份数据称之为1个元素每一个元素，可以是任意类型的数据，如字符串、数字、布尔等。

deque是栈和队列的一种广义实现，deque是"double-end queue"的简称；deque支持线程安全、有效内存地以近似O(1)的性能在deque的两端插入和删除元素

栈是含有一组对象的容器，支持快速后进先出（LIFO）的插入和删除操作。与列表或数组不同，栈通常不允许随机访问所包含的对象。插入和删除操作通常称为入栈（push）和出栈（pop）。

链表是一系列数据元素，通过链接连接在一起。 每个数据元素都以指针的形式包含到另一个数据元素的连接。单链表。 在这种类型的数据结构中，任何两个数据元素之间只有一个链接。 创建一个链表并使用一些方法来插入，更新和从列表中移除元素。

队列是一种特殊的线性表，特殊之处在于它只允许在表的前端（front）进行删除操作，而在表的后端（rear）进行插入操作，和栈一样，是一种操作受限制的线性表。进行插入操作的端称为队尾，进行删除操作的端称为队头，核心概念是先进先出

安装docker​安装docker就一条例命令就好了[root@spider1 ~]# yum install docker​配置docker的源.[root@spider1 ~]# vi /etc/docker/daemon.json# 写入一下内容, 注意.先按'i', 更换为输