[TOC] 本文为笔记 原视频：https://www.bilibili.com/video/BV19541167cn?p=1 设计模式 设计模式：对软件设计中普遍存在（反复出现）的各种问题，所提出的解决方案。每一个设计模式系统的命名、解释

123456环境window10python3使用到的库json 解析jsonrequests 网络请求 1 写在前面本次要采集的是 熙攘中文网 ，以采集一本小说为例，示例在爬虫采集中json格式的数据的处理方法 2 页面分析

1234567891011环境window10python3rerequestsetreethreadingthreadpoolredis [TOC] 源码地址 前言这次的升级版主要修复了上个程序的一些不足的地方，并且是为了用到之前总结

123环境window10redis 前言使用到redis的原因，一是之前做的业务逻辑有需要对用户操作连续几个操作的逻辑判断和做一个时间上的有效性，二是做一下热数据的临时缓存。 redis的使用体验是很舒服，简单而又高效。 一点简介

12345678环境window10python3rerequestsetree 源码地址 [TOC] 前言这次来写一个基础版的获取网络上公开免费壁纸的爬虫，采集的网站为 彼岸桌面 ，网站打开是这个样子： 红色框框中为我们这次的目标。

123环境window10chrome 浏览器 [TOC] 前言写web网站的爬虫时，总是需要和浏览器打交道，经常就是进去先F12打开开发者工具再说，今天写一下浏览器开发者工具常用到的一些功能。 本次操作以chrome浏览器（94.0.

123456环境window10python3使用到的库requests 网络请求lxml 网页源码解析 源码地址 [TOC] 摘要写爬虫被封ip是很正常的，所以代理ip也是爬虫生活必不可少的一部分，今天写一个网络上公开的免费的代理i

12345678环境window10python3使用到的库re 字符串匹配openpyxl 表格操作requests 网络请求lxml 网页源码解析 源码地址 步骤写爬虫之前首先要知道我要怎么写一个爬虫，就像如果要把大象塞进冰箱

在使用scrapy进行爬虫编写的时候，经常会遇到一些post请求，根据不同的header往往会有不同的参数提交方式，采坑记录。 Query String Parameters这种是相对简单的，参数可以直接拼接在url中，在url中?后面的

CV 用的好，天天下班早（想得美）时间格式123456789101112131415161718# 时间有几天前，的那种论坛贴吧pubtime_string = response.xpath("//div[@class=