http2.0爬虫解决方案

文章目录

现在的大部分网站都是基于HTTP/1.x协议的，但是还有一小部分是HTTP/2.0的，遇到这样的网站，爬虫的很多常用库都没法用了，目前python 的requests库并不支持http/2.0网站，scrapy2.5.0 2021.4更新开始支持HTTP2.0，但是官网明确提示，现在是实验性的功能，不推荐用到生产环境，当前 Scrapy 的 HTTP/2.0 实现的已知限制包括：

不支持 HTTP/2.0 明文（h2c），因为没有主流浏览器支持未加密的 HTTP/2.0。没有用于指定最大帧大小大于默认值 16384 的设置，发送更大帧的服务器的连接将失败。不支持服务器推送。不支持bytes_received和 headers_received信号。
关于其他的一些库，也不必多说了，对 HTTP/2.0 的支持也不好，目前对 HTTP/2.0 支持得还可以的有 hyper 和 httpx，后者更加简单易用一些。
hyper使用参考
HTTPX使用参考

解决方案上啊代码：

#!/usr/bin/env python3
# -*- coding: utf-8 -*-
# @Author  : 冰履踏青云
# @File    : 01.py
# @Software: PyCharm



# requests无效
# import requests
# response = requests.get('https://spa16.scrape.center/')
# print(response.text)

# httpx 有效 需要配置nignx
# 参考：https://blog.csdn.net/weixin_45378258/article/details/119108022?utm_source=app&app_version=4.12.0&code=app_1562916241&uLinkId=usr1mkqgl919blen
# import httpx
# client = httpx.Client(http2=True)
# response = client.get('https://spa16.scrape.center/',headers=headers)
# print(response.text)


# 使用requests可以结合hyper
import requests
from hyper.contrib import HTTP20Adapter

s = requests.Session()
s.mount('https://spa16.scrape.center/', HTTP20Adapter())
r = s.get('https://spa16.scrape.center/')
print(r.text)