爬蟲時(shí)，如果不使用pymongo的close方法，pythonxxx.py內(nèi)存會(huì)一點(diǎn)一點(diǎn)的上漲，最開始900多M，慢慢的就1個(gè)多G，快到2G了。但是速度快，在tail-flog的時(shí)候，基本看不清輸出信息。如果使用了close方法，內(nèi)存穩(wěn)定在500M左右，但是讀和取數(shù)據(jù)庫(kù)速度慢，在taillog的時(shí)候，能看到正在保存哪個(gè)URL，正在獲取哪個(gè)URL。請(qǐng)問我該如何解決這個(gè)問題呢。#-*-coding:utf-8-*-importloggingimportsettingimporttime,datetimefromsettingimportmongo_host,mongo_port,mongo_db_name_data,mongo_db_name_linkbase,mongo_db_name_taskimportpymongologging.basicConfig(filename='log',level=logging.INFO)classConnect_mongo(object):def__init__(self):self.mongo_host=mongo_hostself.mongo_port=mongo_portself.conn()defconn(self):self.client=pymongo.MongoClient(host=self.mongo_host,port=self.mongo_port)self.db_data=self.client[mongo_db_name_data]self.db_linkbase=self.client[mongo_db_name_linkbase]self.db_linkbase_collection=self.db_linkbase.linkbaseself.db_task=self.client[mongo_db_name_task]definsert_db(self,item):setting.my_logger.info('當(dāng)前插入數(shù)據(jù)庫(kù)的最終數(shù)據(jù)為%s'%item)self.db_data.xxx_data.update({"car_id":item['car_id']},item,True)self.client.close()defsave_linkbase(self,response_result,spider_name,hash_url,item_type):ifitem_type=='carinfo_item':linkinfo={}linkinfo['status']=response_result.status_codelinkinfo['url']=response_result.urllinkinfo['spider_name']=spider_namelinkinfo['hash_url']=hash_url#保存到linkbaseself.db_linkbase_collection.update({"status":linkinfo['status'],"hash_url":hash_url},linkinfo,True)self.client.close()else:self.db_linkbase_collection.create_index([("over_time",pymongo.ASCENDING)],expireAfterSeconds=7200)linkinfo={}linkinfo['status']=response_result.status_codelinkinfo['url']=response_result.urllinkinfo['spider_name']=spider_namelinkinfo['hash_url']=hash_urllinkinfo['over_time']=datetime.datetime.utcnow()#保存到linkbaseself.db_linkbase_collection.update({"status":linkinfo['status'],"hash_url":hash_url},linkinfo,True)self.client.close()defsave_task(self,task):setting.my_logger.info('當(dāng)前插入數(shù)據(jù)庫(kù)的task信息為%s'%task)self.db_task.xxx_task.update({'url':task['url']},task,True)self.client.close()defget_task(self,max_requests=10):task=[]foriinrange(max_requests):result=self.db_task.xxx_task.find_one_and_delete({})task.append(result)returntaskdefduplicate_removal(self,hash_data):result=self.db_linkbase.linkbase.find_one({'hash_url':hash_data})ifresult==None:returnTrueelse:returnFalsemongo_insert=Connect_mongo()在另一個(gè)py文件中使用requests進(jìn)行爬蟲和xpath進(jìn)行處理，然后存儲(chǔ)或取數(shù)據(jù)庫(kù)。