在找寻材料的时候，会看到一些暂时用不到但是内容不错的网页，就这样关闭未免浪费掉了，下次也不一定能再次搜索到。有些小伙伴会提出可以保存网页链接，但这种基本的做法并不能在网页打不开后还能看到内容。我们完全可以用爬虫获取这方面的数据，不过操作过程中会遇到一些阻拦，今天小编就教大家用sleep间隔进行python反爬虫，这样就可以得到我们想到的数据啦。
步骤
要利用headers拉动请求，模拟成浏览器去访问网站，跳过最简单的反爬虫机制。
获取网页内容，保存在一个字符串content中。
构造正则表达式，从content中匹配关键词pattern获取下载链接。需要注意的是，网页中的关键词出现了两遍(如下图)，所以我们要利用set()函数清除重复元素。
第三步是遍历set之后的结果，下载链接。
设置time.sleep(t)，无sleep间隔的话，网站认定这种行为是攻击，所以我们隔一段时间下载一个，反反爬虫。
具体代码
import urllib.request# url request
import re # regular expression
import os # dirs
import time
"""
url 下载网址
pattern 正则化的匹配关键词
Directory 下载目录
def BatchDownload(url,pattern,Directory):
# 拉动请求，模拟成浏览器去访问网站->跳过反爬虫机制
headers = {"User-Agent"