basil_2020 ·requests 第三方庫
官方定義：Requests is the only Non-GMO HTTP library for Python, safe for human consumption.
簡單翻譯一下就是：Requests 是唯一適用于 Python 的 Non-GMO HTTP 庫，可供開發(fā)人員安全使用。
上面是 requests 庫的官方定義。簡單來說 requests 庫是 Python 的第三方 HTTP 庫，以 urllib 為基礎(chǔ)。因為使用簡單，人性化，安全的特性，被廣泛的用來爬蟲的請求發(fā)送。
1. requests 安裝
可以通過 PIP 進(jìn)行安裝：
Tips：Python 環(huán)境安裝之后 PIP 也會自動安裝，直接打開 CMD 命令行使用即可。
pip install requests
也可以到 官網(wǎng)下載，然后通過以下命令進(jìn)行安裝。然后進(jìn)入到下載的目錄，輸入以下命令：
python setup.py install
2. requests 請求
下面我們使用慕課網(wǎng)作為目標(biāo)網(wǎng)站，并使用 requests 庫進(jìn)行請求：
2.1 get 無參數(shù)請求
我們直接使用 request 的 get 方法來請求慕課網(wǎng)，然后打印返回結(jié)果：
import requests
r = requests.get('http://idcbgp.cn/')
print(r.text)
請求結(jié)果如下，格式為 HTML：
<!DOCTYPE html>
<html>
<head>
<meta charset="utf-8">
<title>慕課網(wǎng)-程序員的夢工廠</title>
<meta http-equiv="X-UA-Compatible" content="IE=edge, chrome=1">
<meta name="renderer" content="webkit" />
<meta name="mobile-agent" content="format=wml"; url="https://m.imooc.com/">
<link rel="alternate" media="only screen and (max-width: 640px)" >
<meta name="mobile-agent" content="format=xhtml"; url="https://m.imooc.com/">
<meta name="mobile-agent" content="format=html5"; url="https://m.imooc.com/">
<meta property="qc:admins" content="77103107776157736375" />
......
2.2 get 有參數(shù)請求
下面我們給 get 請求加上參數(shù)，來看看返回結(jié)果：
import requests
r = requests.get('https://www.imooc.com/common/adver-getadverlistbymarking?marking=global_newcomer
', {marking: global_newcomer})
print(r.text)
請求結(jié)果如下，格式為 Json：
{"result":0,"data":{"global_newcomer":{"id":"2696","name":"\u65b0\u4eba\u6709\u793c","column_id":"366","description":"","pic":"\/\/img3.mukewang.com\/5df2084b096514ff25600136.png","links":"https:\/\/idcbgp.cn\/act\/newcomer","type":"99","type_id":"0","create_time":"1576142925","uid":"10001","is_open":"0","seqid":"0","status":"0","start_time":"0","end_time":"0","skillid_list":""}},"msg":"\u6210\u529f"}
2.3 無參數(shù)的 post 請求
import requests
r = requests.post('http://idcbgp.cn/search/hotwords')
print(r.text)
請求結(jié)果如下，格式為 Json：
{"result":0,"data":["Vue","Python","Java","flutter","springboot","docker","React","\u5c0f\u7a0b\u5e8f"],"msg":"\u6210\u529f"}
2. 4 有參數(shù)的 post 請求
import requests
r = requests.post('https://httpbin.org/post', data = {'key':'value'})
print(r.text)
請求結(jié)果如下，格式為 Json：
{
"args": {},
"data": "",
"files": {},
"form": {
"key": "value"
},
"headers": {
"Accept": "*/*",
"Accept-Encoding": "gzip, deflate",
"Content-Length": "9",
"Content-Type": "application/x-www-form-urlencoded",
"Host": "httpbin.org",
"User-Agent": "python-requests/2.22.0",
"X-Amzn-Trace-Id": "Root=1-5e3bde61-bb0c787463f0852c81b7faa8"
},
"json": null,
"origin": "124.78.170.82",
"url": "https://httpbin.org/post"
}
除了 get，post 等基本請求，Request 也支持其他的請求類型。以下羅列的是官方提供的其他請求方法：
r = requests.put('https://httpbin.org/put', data = {'key':'value'})
r = requests.delete('https://httpbin.org/delete')
r = requests.head('https://httpbin.org/get')
r = requests.options('https://httpbin.org/get')
3. requests 的響應(yīng)
3.1 獲取二進(jìn)制響應(yīng)內(nèi)容
import requests
r = requests.post('http://idcbgp.cn/')
print(r.content)
返回的二進(jìn)制文本如下所示：
b'\n\r\n<!DOCTYPE html>\r\n<html>\r\n<head>\r\n<meta charset="utf-8">\r\n<title>\xe6\x85\x95\xe8\xaf\xbe\xe7\xbd\x91-\xe7\xa8\x8b\xe5\xba\x8f\xe5\x91\x98\xe7\x9a\x84\xe6\xa2\xa6\xe5\xb7\xa5\xe5\x8e\x82</'
......
某些情況下，我們需要獲取二進(jìn)制的內(nèi)容，比如圖片或者一些視頻的信息流。
3.2 獲取響應(yīng)狀態(tài)碼和響應(yīng)編碼
import requests
r = requests.post('http://idcbgp.cn/')
print(r.status_code)
print(r.encoding)
請求成功后將會得到以下的狀態(tài)碼。另外，request 庫同時也提供了 requests.codes.ok 來表示請求成功。
通過響應(yīng)碼，我們可以知道我們請求的是否發(fā)送成功，是否被正確的解析，以及是否正確的返回。通過檢驗程序的編碼，來防止編碼不一致導(dǎo)致的亂碼問題。
4. 自定義請求頭
這里，我們把程序的請求頭封裝在了字典里，然后通過字典的形式傳給 requests 進(jìn)行請求，這樣做，有助于我們代碼的整潔性和可維護(hù)性。
url = 'http://idcbgp.cn/'
headers = {'user-agent': 'app/1.0'}
r = requests.get(url, headers=headers)
print(r.request.headers) # 響應(yīng)狀態(tài)碼
上述代碼，我們?nèi)匀豢梢哉埱蟪晒?，只是更改?user-agent 字段而已，返回的結(jié)果如下所示：
{'user-agent': 'muke_app/1.0', 'Accept-Encoding': 'gzip, deflate', 'Accept': '*/*', 'Connection': 'keep-alive'}
5. 高級內(nèi)容
上面的內(nèi)容我們只是羅列了一些 requests 庫經(jīng)常使用的功能，但是已經(jīng)足夠我們進(jìn)行爬蟲開發(fā)了。當(dāng)然 requests 庫還有許多的高級功能比如設(shè)置請求時間，會話，代理，以及身份認(rèn)證等。有興趣的同學(xué)可以參考去 Requests 官網(wǎng) 學(xué)習(xí)。這里我們就不一一贅述了。
6. 小結(jié)
這一個小節(jié)，我們講解了 Requests 第三方庫，介紹了安裝，以及請求和響應(yīng)。Reqeusts 庫的設(shè)計非常的簡單方便，絕大多數(shù)的爬蟲程序都是使用 Requests 庫進(jìn)行網(wǎng)頁的爬取。
2025 imooc.com All Rights Reserved |