-
Scrapy框架：
Scrapy Engine: Scrapy引擎
Scheduler: Scrapy的調(diào)度器
Downloader: Scrapy的下載器
Spiders: Scrapy的爬蟲
Item Pipeline: Scrapy的管道
Downloader Middlewares: 下載中間件
Spider Middlewares: 爬蟲中間件
查看全部 -
Scrapy是什么？
查看全部 -
Scrapy介紹
查看全部 -
#安裝Scrapy
pip3 install scrapy
##安裝依賴
yum install -y openssl-devel
##由于先前自行編譯Python，需要重新編譯
.configure --prefix='/home/imooc_user1/python3' --with-ssl
make
make install
##找依賴包到pypi.python.org
##配置
vi .bashrc
最后一行新增
alias scrapy='/home/imooc_user1/python3/bin/scrapy'
退出、編譯
source .bashrc
查看全部 -
xpath:
以// 開頭，后面接關(guān)鍵字，然后加中括號，中括號內(nèi)第一字符是@。
/P
from ***.items import ***item
查看全部 -
創(chuàng)建scrapy爬蟲項目
scrapy startproject douban +url
查看全部 -
阿布云代理
查看全部 -
mongo查看數(shù)據(jù)
查看全部 -
安裝pymongo
查看全部 -
保存問json和csv
查看全部 -
Scrapy注意事項
查看全部 -
scrapy?arch
查看全部 -
1、創(chuàng)建scrapy爬蟲項目
`scrapy startproject douban`
初始化生成的項目目錄
```
- spiders
???????- __init__.py
- __init__.py
- items.py
- middlewares.py
- pipelines.py
- settings.py
- scrapy.cfg
```
2、在生成當(dāng)前自動生成爬蟲文件
`scrapy genspider douban_spider movie.douban.com `
查看全部 -
1、centos 下安裝mongoDB提示沒有這個包：
`sudo yum -y install mongodb-org`
?2、之后從網(wǎng)絡(luò)上搜索相關(guān)的安裝源，并編輯文件：
`sudo vim /etc/yum.repos.d/mongo.repo`
3、清理yum安裝源：
`sudo yum clean all`
4、重新執(zhí)行安裝命令
查看全部 -
scrapy爬蟲注意事項
查看全部
舉報