【Python爬虫必备—＞Scrapy框架快速入门篇——上】

目录

 ?第一篇之爬虫入坑文；一篇万字博文带你入坑爬虫这条不归路（你还在犹豫什么&抓紧上车）
 ?第二篇之爬虫库requests库详解。两万字博文教你python爬虫requests库，看完还不会我把我女朋友都给你
 ?第三篇之解析库Beautiful Soup库详解。Python万字博文教你玩透Beautiful Soup库【❤️建议收藏系列❤️】
 ?第四篇之Selenium详解。【❤️爬虫必备-＞Selenium从黑铁到王者❤️】初篇——万字博文详解(建议收藏)

  其实我已经有一个scrapy一条龙教学的分栏，也有不少人订阅并且反响不错，【Scrapy框架详解】。但是呢？我又想了想，确实少了篇总结性的文章——来从总体上介绍Scrapy框架。

⏰⏰所以应粉丝们要求，本博主花了假期周六周日两天时间，肝出本文（共分上中下三篇），目的在于带领想要学习scrapy的同学走近scrapy的世界！并在文末附带一整套scrapy框架学习路线，如果你能认认真真看完这三篇文章，在心里对scrapy有个印象，然后潜心研究文末整套学习路线，那么，scrapy框架对你来说——手到擒来！！！⏰⏰

??我会尽量把技术文写的通俗易懂/生动有趣，保证每一个想要学习知识&&认认真真读完本文的读者们能够有所获，有所得。当然，如果你读完感觉本文写的还可以，真正学习到了东西，希望给我个「 赞 」 和 「 收藏 」，这个对我很重要，谢谢了！??

?第一部分：走近scrapy！

?0.简介及安装

1️⃣简介：

scrapy设计目的：用于爬取网络数据，提取结构性数据的框架，其中，scrapy使用了Twisted异步网络框架，大大加快了下载速度！

官方文档地址！！！

2️⃣安装：

直接pip安装（一句命令&&一步到位）：

pip install scrapy

?1.scrapy项目开发流程：

?2.scrapy框架运行流程：

原理描述：

?拓展——scrapy中三个内置对象：

三个内置对象：（scrapy框架中只有三种数据类型）

   request请求对象：由url，method，post_data，headers等构成；
   response响应对象：由url，body，status，headers等构成；
   item数据对象：本质是一个字典。

?第二部分：创建&&运行你的第一个scrapy项目！

?1.创建项目：

创建scrapy项目的命令：scrapy startproject <项目名字>
示例：

scrapy startproject myspider

生成的目录和文件结果如下：

?2.爬虫文件的创建：

在项目根路径下执行：

 scrapy genspider <爬虫名字> <允许爬取的域名>

示例：

cd myspider
scrapy genspider itcast itcast.cn

讲解：

?3.运行scrapy爬虫：

命令：在项目目录下执行：
scrapy crawl <爬虫名字>

示例：

scrapy crawl itcast

不过，在运行之前，我们先要编写itcast.py爬虫文件：

# -*- coding: utf-8 -*-
import scrapy


class ItcastSpider(scrapy.Spider):
    # 爬虫运行时的参数
    name = 'itcast'
    # 检查允许爬的域名
    allowed_domains = ['itcast.cn']
    # 1.修改设置起始的url
    start_urls = ['见评论区']

    # 数据提取的方法：接收下载中间件传过来的response，定义对于网站相关的操作
    def parse(self, response):
        # 获取所有的教师节点
        t_list = response.xpath('//div[@class="li_txt"]')
        print(t_list)
        # 遍历教师节点列表
        tea_dist = {}
        for teacher in t_list:
            # xpath方法返回的是选择器对象列表     extract()方法可以提取到selector对象中data对应的数据。
            tea_dist['name'] = teacher.xpath('./h3/text()').extract_first()
            tea_dist['title'] = teacher.xpath('./h4/text()').extract_first()
            tea_dist['desc'] = teacher.xpath('./p/text()').extract_first()
            yield teacher

然后再运行，会发现已经可以正常运行！
 

?4.明确了爬虫所爬取数据之后，使用管道进行数据持久化操作：

修改itcast.py爬虫文件：

# -*- coding: utf-8 -*-
import scrapy
from ..items import UbuntuItem


class ItcastSpider(scrapy.Spider):
    # 爬虫运行时的参数
    name = 'itcast'
    # 检查允许爬的域名
    allowed_domains = ['itcast.cn']
    # 1.修改设置起始的url
    start_urls = ['见评论区']

    # 数据提取的方法：接收下载中间件传过来的response，定义对于网站相关的操作
    def parse(self, response):
        # 获取所有的教师节点
        t_list = response.xpath('//div[@class="li_txt"]')
        print(t_list)
        # 遍历教师节点列表
        item = UbuntuItem()
        for teacher in t_list:
            # xpath方法返回的是选择器对象列表     extract()方法可以提取到selector对象中data对应的数据。
            item['name'] = teacher.xpath('./h3/text()').extract_first()
            item['title'] = teacher.xpath('./h4/text()').extract_first()
            item['desc'] = teacher.xpath('./p/text()').extract_first()
            yield item

注意：

小知识点1——定位元素以及提取数据、属性值的方法：
（解析并获取scrapy爬虫中的数据: 利用xpath规则字符串进行定位和提取）

小知识点2——response响应对象的常用属性：

?5.管道保存数据

在pipelines.py文件中定义对数据的操作！

♥️初级篇：

♥️进阶篇：

# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: https://docs.scrapy.org/en/latest/topics/item-pipeline.html
import json


class UbuntuPipeline(object):

    def __init__(self):
        self.file = open('itcast.json', 'w', encoding='utf-8')

    def process_item(self, item, spider):
        # 将item对象强制转为字典，该操作只能在scrapy中使用
        item = dict(item)
        # 爬虫文件中提取数据的方法每yield一次，就会运行一次
        # 该方法为固定名称函数
        # 默认使用完管道，需要将数据返回给引擎
        # 1.将字典数据序列化
        '''ensure_ascii=False 将unicode类型转化为str类型，默认为True'''
        json_data = json.dumps(item, ensure_ascii=False, indent=2) + ',\n'

        # 2.将数据写入文件
        self.file.write(json_data)

        return item

    def __del__(self):
        self.file.close()

?6.settings.py配置启用管道：

在settings文件中，解封代码，说明如下：

?7.scrapy数据建模与请求：

（通常在做项目的过程中，在items.py中进行数据建模！）

?（1）为什么建模？

?（2）本项目中实操：

在items.py文件中操作：

# Define here the models for your scraped items
#
# See documentation in:
# https://docs.scrapy.org/en/latest/topics/items.html

import scrapy


class UbuntuItem(scrapy.Item):
    # 讲师名字
    name = scrapy.Field()
    # 讲师职称
    title = scrapy.Field()
    # 讲师座右铭
    desc = scrapy.Field()

注意：

?8.设置user-agent：

# settings.py文件中找到如下代码解封，并加入UA:
# Override the default request headers:
DEFAULT_REQUEST_HEADERS = {
  'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
  'Accept-Language': 'en',
  'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.162 Safari/537.36',
}

?9.到目前为止，一个入门级别的scrapy爬虫已经OK了，基操都使用了！

如何run呢？

现在cd到项目目录下，输入

scrapy crawl itcast

即可运行scrapy！

?10.开发流程总结：

创建项目：
scrapy startproject 项目名

明确目标：
在items.py文件中进行建模！

创建爬虫：

创建爬虫：
  scrapy genspider 爬虫名 允许的域名
完成爬虫：
  修改start_urls； 检查修改allowed_domains； 编写解析方法！

保存数据：
在pipelines.py文件中定义对数据处理的管道
在settings.py文件中注册启用管道

结语：

  通过上面的学习，你已经可以独立创建一个scrapy项目并使用此框架进行简单的爬虫项目编写。但是！任何一种功夫都不是一下就能学好学会学精的！所以跟着本专栏，只要你跟着潜心学完，那么！恭喜你！你已经是名优秀的scrapy框架使用者了！！！

?第三部分——In The End！