主要学习requests这个http模块，该模块主要用于发送请求获取响应，该模块有很多的替代模块，比如说urllib模块，但是在工作中用的最多的还是requests模块，requests的代码简洁易懂，相对于臃肿的urllib模块，使用requests编写的爬虫代码将会更少，而且实现某一功能将会简单。因此建议大家掌握该模块的使用。
requests模块
我们来学习如何在代码中实现我们的爬虫
1. requests模块介绍
requests文档http://docs.python-requests.org/zh_CN/latest/index.html
** 1.1 requests模块的作用：**
发送http请求，获取响应数据
1.2 requests模块是一个第三方模块，需要在你的python(虚拟)环境中额外安装
pip/pip3 install requests
1.3 requests模块发送get请求
需求：通过requests向百度首页发送请求，获取该页面的源码 运行下面的代码，观察打印输出的结果
1.2.1-简单的代码实现
import requests
目标url
url = ' response = requests.get(url) print(response.text) 观察上边代码运行结果发现，有好多乱码；这是因为编解码使用的字符集不同早造成的；我们尝试使用下边的办法来解决中文乱码问题 1.response.text是requests模块按照chardet模块推测出的编码字符集进行解码的结果 2.网络传输的字符串都是bytes类型的，所以response.text = response.content.decode('推测出的编码字符集') 3.我们可以在网页源码中搜索charset，尝试参考该编码字符集，注意存在不准确的情况 response.text response.content response.content.decode() 默认utf-8 response.content.decode("GBK") 常见的编码字符集 response.url响应的url；有时候响应的url和请求的url并不一致 response.status_code 响应状态码 response.request.headers 响应对应的请求头 response.headers 响应头 response.request._cookies 响应对应请求的cookie；返回cookieJar类型 response.cookies 响应的cookie（经过了set-cookie动作；返回cookieJar类型 response.json()自动将json字符串类型的响应内容转换为python对象（dict or list） import requests向目标url发送get请求
打印响应内容
知识点：掌握 requests模块发送get请求
2\. response响应对象
----------------
# 1.2.2-response.content
import requests
# 目标url
url = 'https://www.baidu.com'
# 向目标url发送get请求
response = requests.get(url)
# 打印响应内容
# print(response.text)
print(response.content.decode()) # 注意这里！
**2.1 response.text 和response.content的区别：**
类型：str
解码类型： requests模块自动根据HTTP 头部对响应的编码作出有根据的推测，推测的文本编码
类型：bytes
解码类型： 没有指定
**2.2 通过对response.content进行decode，来解决中文乱码**
* utf-8
* gbk
* gb2312
* ascii （读音：阿斯克码）
* iso-8859-1
**2.3 response响应对象的其它常用属性或方法**
> response = requests.get(url)中response是发送请求获取的响应对象；response响应对象中除了text、content获取响应内容以外还有其它常用的属性或方法：
# 1.2.3-response其它常用属性
import requests
# 目标url
url = 'https://www.baidu.com'
# 向目标url发送get请求
response = requests.get(url)
# 打印响应内容
# print(response.text)
# print(response.content.decode()) # 注意这里！
print(response.url) # 打印响应的url
print(response.status_code) # 打印响应的状态码
print(response.request.headers) # 打印响应对象的请求头
print(response.headers) # 打印响应头
print(response.request._cookies) # 打印请求携带的cookies
print(response.cookies) # 打印响应中携带的cookies
```
3\. requests模块发送请求
------------------
**3.1 发送带header的请求**
```
我们先写一个获取百度首页的代码
共同學習，寫下你的評論
評論加載中...
作者其他優(yōu)質(zhì)文章
