Scrapy框架：

Scrapy Engine: Scrapy引擎，負責(zé)Spiders，ItemPipline，Scheduler，Downloader中間的通信信號和數(shù)據(jù)的傳遞，相當(dāng)于是一個交通站。

Scheduler: Scrapy的調(diào)度器，就是一個隊列，負責(zé)接收引擎發(fā)送過來的request請求，然后將請求排隊，當(dāng)引擎需要請求數(shù)據(jù)的時候，就將請求隊列中的數(shù)據(jù)交給引擎。

Downloader: Scrapy的下載器，負責(zé)發(fā)送請求并下載數(shù)據(jù)，負責(zé)下載引擎發(fā)送過來的所有request請求，并將獲取到的response交還給引擎，然后再由引擎將response交給Spiders來進行解析。

Spiders: Scrapy的爬蟲，它是一個正則表達式組價，里面包含很多解析策略，用于分析和提取數(shù)據(jù)，負責(zé)處理所有的response,而如果response包含有其他請求，此時Spiders會將這個請求提交給引擎，再由引擎將這些url再次扔到Scheduler進行處理。

Item Pipeline: Scrapy的管道，用于封裝去重類，存儲類的地方，負責(zé)處理Spiders中獲取到的數(shù)據(jù)，并且進行后期的處理，過濾或者存儲等。

Downloader Middlewares: 下載中間件，自定義擴展組件，就是封裝代理或者http請求頭用于隱藏我們自己。

Spider Middlewares: 爬蟲中間件，可以自定義擴展引擎Spiders的中間通信功能的組件，比如進入Spiders的response和從Spders出去的request，它可以在中間做一些修改。

spider編寫

scrapy爬蟲框架入門與實戰(zhàn)學(xué)習(xí)課程大綱

1.scrapy介紹

2.scrapy的安裝

3.scrapy在安裝時經(jīng)常遇到的坑

4.mongodb的安裝（數(shù)據(jù)庫）

代碼和注釋

Scrapy框架

Scrapy Engine :引擎，中間連接站

Spider：負責(zé)對引擎發(fā)來response進行處理，分離干貨：數(shù)據(jù)和新的request

Scheduler：request隊列，負責(zé)將Spider發(fā)來的request請求排列

Downloader：負責(zé)下載引擎發(fā)來的所有request請求

Item Pipline：負責(zé)處理Spider中的數(shù)據(jù)。并且進行過濾或存儲。

Python爬蟲框架Scrapy

作用：抓取數(shù)據(jù)進行分析

開發(fā)環(huán)境：Centos6.0，Scrapy1.5，Python3.0，Mongdb3.6,Pycharm

windows下的安裝

pip3 install scrapy

Python3安裝模塊報錯Microsoft Visual C++ 14.0 is required的解決方法

在https://www.lfd.uci.edu/~gohlke/pythonlibs

找到對應(yīng)版本的對應(yīng)庫下載復(fù)制到python3安裝目錄的Scripts下,?

我這里顯示Twisted安裝失敗

pip3? install 文件名(.whl)
pip3 install scrapy

vim? /etc/mongod.conf

屏蔽bindIp或改為局域網(wǎng)地址或0.0.0.0等

重啟mongodb

sudo?/etc/init.d/mongod?restart

關(guān)閉防火墻

sudo?/etc/init.d/iptables?stop
sudo?chkconfig?iptables?off

Centos 使用yum安裝MongoDB 4.0

原文鏈接?https://www.cnblogs.com/tianyamoon/p/9860656.html

其他參考鏈接 https://www.cnblogs.com/weiyiyong/p/9386015.html

1.配置MongoDB的yum源

創(chuàng)建yum源文件：

#cd /etc/yum.repos.d?

#vim mongodb-org-4.0.repo?

添加以下內(nèi)容：（我們這里使用阿里云的源）

[mngodb-org]
name=MongoDB?
Repositorybaseurl=?
gpgcheck=0
enabled=1

這里可以修改?gpgcheck=0, 省去gpg驗證

清理安裝源
yum?clear?all

安裝之前先更新所有包 ：

# yum update

2.安裝MongoDB
安裝命令：
yum -y install mongodb-org

安裝完成后

查看mongo安裝位置 whereis mongod

查看修改配置文件 ： vim /etc/mongod.conf

?bindIp: 172.0.0.1? 改為 bindIp: 0.0.0.0

（注意冒號與ip之間需要一個空格）

3.啟動MongoDB?
啟動mongodb ：systemctl start mongod.service
停止mongodb ：systemctl stop mongod.service

查到mongodb的狀態(tài)：systemctl status mongod.service

4.外網(wǎng)訪問需要關(guān)閉防火墻：
CentOS 7.0默認使用的是firewall作為防火墻，這里改為iptables防火墻。
關(guān)閉firewall：
systemctl stop firewalld.service #停止firewall
systemctl disable firewalld.service #禁止firewall開機啟動

?vim /etc/sysconfig/iptables

iptables文件添加

-A INPUT -m state --state NEW -m tcp -p tcp --dport 27017 -j ACCEPT

（注意：-A INPUT -m state --state NEW -m tcp -p tcp --dport 27017 -j ACCEPT要加在-A INPUT -j REJECT --reject-with icmp-host-prohibited之前，不然啟動無效）

重啟iptables

service iptables restart

?5.設(shè)置開機啟動
systemctl enable mongod.service

6.啟動Mongo shell
命令：mongo?

查看數(shù)據(jù)庫：show dbs

7.需要的話啟用權(quán)限控制：
編輯mongod.conf注釋bindIp,并重啟mongodb.
vim /etc/mongod.conf

重啟mongodb：systemctl restart mongod.service

Scrapy注意事項：

代理IP設(shè)置：

scrapy框架：

NoSQL manager for mongodb freeware

在windows上也可以，python的可移植性賊強。當(dāng)然Windows上也支持Scrapy庫啦。

<p>在windows上也可以，python的可移植性賊強。當(dāng)然Windows上也支持Scrapy庫啦。之所以很多都強調(diào)用藥linux來操作python，主要公司里的生產(chǎn)環(huán)境都是部署在服務(wù)器上的。而服務(wù)器的操作系統(tǒng)基本都是centos,redhat,烏班圖之類的，所以，學(xué)python，一定要會一些linux的操作命令</p>好的點都德

content_s?=?''
for?i_content?in?content:
????#去掉空格并連接
????content_s?+=?"".join(i_content.split())

douban_item['introduce']?=?content_s

111111111111111