通過urllib或者requests請求后，會得到一個HTTPResponse，HTTPResponse擁有狀態(tài)碼、回應頭等的信息。
但我們知道，對于一個頁面，通常是由文字、圖片等信息組成的，這些屬于一個HTTPResponse的內(nèi)容。

import requests

response = requests.get('http://idcbgp.cn')
content = str(response.content, encoding='utf-8') # ==> 打印具體內(nèi)容

打印的結果是一個很長的字符串，顯得雜亂無章，但其實它是由結構的，它是一個標準的HTML頁面，可以從頁面內(nèi)容里面獲取很多有用的數(shù)據(jù)。
網(wǎng)絡爬蟲是典型的應用程序，它的工作原理就是通過不斷的請求互聯(lián)網(wǎng)的頁面，并從回應中解析獲取出有用的數(shù)據(jù)；數(shù)據(jù)積累后，可以有很多用處。
通過requests獲得網(wǎng)頁的內(nèi)容后，我們可以嘗試使用一些簡單的方法獲取頁面的內(nèi)容。

content_list = content.split('\n') # 分行
len(content_list) # 打印頁面內(nèi)容的行數(shù)

在網(wǎng)頁中，頁面內(nèi)部鏈接其他資源的信息是通過href提供的，通過字符串匹配的方式可以過濾出包含鏈接的行。

for line in content_list:
    if 'href' in line:
        print(line.strip())

過濾出來的信息或許有些雜亂，但也包含了一些有用的數(shù)據(jù)，我們可以從過濾后的信息中找到鏈接相關的信息。不過我們過濾的方式比較簡單，通過優(yōu)化過濾的方式可以匹配到更加精準的數(shù)據(jù)。而爬蟲正是這樣工作的。