basil_2020 ·HTTP 的請(qǐng)求和響應(yīng)
上一個(gè)小節(jié)中，我們簡單的介紹了 HTTP 協(xié)議，但是，并沒有針對(duì) HTTP 的請(qǐng)求和響應(yīng)進(jìn)行更詳盡的描述。但是，分析請(qǐng)求和響應(yīng)信息是我們進(jìn)行爬蟲工作中的重要步驟，因此，有必要詳細(xì)的介紹這兩個(gè)步驟。
我們還是復(fù)用之前的訪問慕課網(wǎng)的例子進(jìn)行 HTTP 協(xié)議的解析。關(guān)于怎么獲取請(qǐng)求頭和響應(yīng)頭的信息的內(nèi)容，我們會(huì)在后面講解第一個(gè)爬蟲的時(shí)候進(jìn)行講解。
使用 get 方法請(qǐng)求慕課網(wǎng)的請(qǐng)求信息如下：
GET / HTTP/1.1
Host: idcbgp.cn
Connection: keep-alive
Cache-Control: max-age=0
HTTP 請(qǐng)求主要有四部分組成。分別是請(qǐng)求行，請(qǐng)求頭部，空行和請(qǐng)求數(shù)據(jù)。
1. 請(qǐng)求行
我們先來看下第一部分，請(qǐng)求行：
GET / HTTP/1.1
請(qǐng)求行里的 GET 是請(qǐng)求方法。請(qǐng)求方法主要是告訴服務(wù)器端，客戶端要對(duì)資源實(shí)行什么樣的具體操作，方便服務(wù)器進(jìn)行響應(yīng)的處理。
-
HTTP 1.0 規(guī)定的方法： GET，POST，HEAD；
-
HTTP 1.1 新增的請(qǐng)求方法：OPTIONS，PUT，DELETE，TRACE，CONNECT；
-
HTTP 規(guī)定的主要請(qǐng)求如下表所示，我們主要使用的實(shí)際上就是 get，post 這兩個(gè)請(qǐng)求。
常用的請(qǐng)求方法
| 序號(hào) | 請(qǐng)求方法 | 方法描述 |
|---|---|---|
| 1 | GET | 用來獲取服務(wù)器的信息。 |
| 2 | POST | 用于創(chuàng)建一個(gè)文件，請(qǐng)求是非冪等的。 |
| 3 | HEAD | 通過這個(gè)來獲取響應(yīng)的報(bào)頭文件，不包含的具體內(nèi)容。 |
| 4 | PUT | 主要是用來更新文件，這個(gè)方法對(duì)服務(wù)器來講，應(yīng)該是冪等的。 |
| 5 | DELETE | 這個(gè)命令是用來請(qǐng)求讓服務(wù)器端來刪除特定的信息。 |
| 6 | OPTIONS | 這個(gè)方法可以讓客戶端可以查看服務(wù)器可以提供的請(qǐng)求方法等信息。 |
| 7 | TRACE | 這個(gè)主要用于測試和診斷，可以回顯服務(wù)器的信息。 |
| 8 | CONNECT | HTTP/1.1協(xié)議中預(yù)留的請(qǐng)求方法，不常使用。 |
Get 后面的 / 是來標(biāo)明請(qǐng)求的資源信息，我們這里是想訪問慕課網(wǎng)的主頁，所以寫 /。 HTTP/1.1 指的是 HTTP 的協(xié)議版本。
Tips：HTTP 是在 1990 左右提出的協(xié)議，距今已經(jīng)有幾十年的歷史了。廣泛使用的版本有 1.0,1.1，現(xiàn)在也有 2.0 的版本，不過還沒有普及。除此之外，對(duì)安全要求高的一些網(wǎng)站，也有的開始采用 HTTPS 協(xié)議進(jìn)行傳輸。HTTPS 提供了更多的安全校驗(yàn)，是利用 SSL/TLS 技術(shù)進(jìn)行加密的，相對(duì)于普通的 HTTP，更加安全，隱私更不容易泄露。
好了說完了請(qǐng)求行，讓我們來介紹一下請(qǐng)求頭部。
2. 請(qǐng)求頭
從第二行開始，都是請(qǐng)求頭部的信息，比如我第二行的 Host: idcbgp.cn，用來表明請(qǐng)求的地址是什么。還有一些其他的信息，比如瀏覽器可接受的語言類型，字體編碼，Cookie 等信息。
接下來是空行，不必多說。最后面的一部分是我們的請(qǐng)求的具體內(nèi)容，請(qǐng)求內(nèi)容可以是表單，也可以是 JSON 等格式。
3. HTTP響應(yīng)
正如 HTTP 請(qǐng)求包含四部分一樣，HTTP 的響應(yīng)同樣包含四個(gè)部分。分別是狀態(tài)行，消息報(bào)頭，空行，以及響應(yīng)正文。
下面這個(gè)是我們?cè)L問慕課網(wǎng)后，返回的信息：
HTTP/1.1 200 OK
Server: nginx
Content-Type: text/html; charset=UTF-8
Content-Length: 49930
Connection: keep-alive
<HTML>....
第一行為狀態(tài)行，同樣的，需要標(biāo)明 HTTP 協(xié)議的版本，然后后面是一個(gè)狀態(tài)碼。這里的 200 表示請(qǐng)求成功。OK 是用來表明請(qǐng)求的狀態(tài)消息，通過消息我們可以對(duì)請(qǐng)求的錯(cuò)誤進(jìn)行定位。
常見的狀態(tài)碼如下表所示：
| 狀態(tài)碼 | 解釋 |
|---|---|
| 200 OK | 請(qǐng)求成功 |
| 400 Bad Request | 請(qǐng)求消息有語法錯(cuò)誤。 |
| 401 Unauthorized | 未經(jīng)授權(quán)，必須和WWW-Authenticate報(bào)頭域一起使用。 |
| 403 Forbidden | 拒絕提供服務(wù) |
| 404 Not Found | 請(qǐng)求的資源不存在，或者被移除了 |
| 500 Internal Server Error | 服務(wù)器端錯(cuò)誤，通常是服務(wù)器端代碼邏輯錯(cuò)誤造成的 |
| 503 Server Unavailable | 服務(wù)不可用，有可能需要等一段時(shí)間進(jìn)行恢復(fù) |
Tips：總結(jié)一下規(guī)律，2 開頭的意味著成功，3 開頭的大部分是重定向，4 開頭是客戶端錯(cuò)誤，5 開頭的是服務(wù)器端的錯(cuò)誤。
第二行的 Server: nginx表明了服務(wù)器端采用的服務(wù)器名稱。Content-Length: 49930 是消息報(bào)頭表明了服務(wù)器返回的 HTML 內(nèi)容的長度。Connection: keep-alive 是空行，空行必須要有，不可省略。最后是響應(yīng)正文，一般會(huì)是一個(gè) HTML 文檔。
4. 個(gè)人經(jīng)驗(yàn)
這一小節(jié)，內(nèi)容比較多，但是不需要大家記住所有的知識(shí)點(diǎn)，比如請(qǐng)求方法和服務(wù)器狀態(tài)碼，只需要記住經(jīng)常使用的那幾個(gè)就可以了，其他的，工作中遇到的話，再去查找。
5. 小結(jié)
本小節(jié)主要講解了 HTTP 的請(qǐng)求與響應(yīng)，對(duì)于我們爬蟲程序來說，主要使用的就是 get 請(qǐng)求。對(duì)于返回的狀態(tài)碼的了解，可以方便的調(diào)試和分析我們的爬蟲程序是否運(yùn)行良好。
2025 imooc.com All Rights Reserved |