                        課程
                    
                        /后端開(kāi)發(fā)
                        
                            /Python
                        
                        /python遇見(jiàn)數(shù)據(jù)采集

python執(zhí)行mysql插入時(shí)間超長(zhǎng)

和你的代碼一樣,為什么我執(zhí)行mysql插入時(shí)花費(fèi)的時(shí)間

?[Finished in 164.8s]

kent324

2016-09-05

源自：python遇見(jiàn)數(shù)據(jù)采集 4-1

關(guān)注問(wèn)題我要回答

4134

操作

收起

3 回答

秋名山車神回答被采納 +3 積分
2016-09-05

你把插入數(shù)據(jù)庫(kù)的代碼注釋掉，然后只是打印名字和網(wǎng)址，看看需要多久。

0 回復(fù) 有任何疑惑可以回復(fù)我~

收起回答

#1

kent324 提問(wèn)者

注釋掉插入數(shù)據(jù)庫(kù)的代碼后,速度非常快,基本上秒出結(jié)果.

2016-09-05 回復(fù) 有任何疑惑可以回復(fù)我~

#2

秋名山車神回復(fù) kent324 提問(wèn)者

還有這種情況，你把插入到表里面的數(shù)據(jù)，導(dǎo)出成SQL語(yǔ)句，然后在MySQL的管理工具里面執(zhí)行那些命令，看看需要多久。

2016-09-06 回復(fù) 有任何疑惑可以回復(fù)我~

#3

kent324 提問(wèn)者回復(fù) 秋名山車神

這個(gè)我也試過(guò),速度非常快. 感謝回復(fù)哈 :)

2016-09-07 回復(fù) 有任何疑惑可以回復(fù)我~

查看1條回復(fù)

weibo_慕村3462509
2016-09-25

代碼一樣，這個(gè)是數(shù)據(jù)庫(kù)配置不對(duì)嗎

pymysql.err.ProgrammingError: (1064, "You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near '~urls~(~urlname~, ~urlhref~)values('Wikipedia', 'https://en.wikipedia.org/wiki/W' at line 1")

0 回復(fù) 有任何疑惑可以回復(fù)我~

收起回答

kent324 提問(wèn)者
2016-09-05

values?=?[]?
#?輸出所有的詞條對(duì)應(yīng)的名稱和URL屬性
for?url?in?listUrls:
	#過(guò)濾.jpg或.JPG結(jié)尾的URL
	if?not?re.search("\.(jpg|JPG)$",url["href"]):	
		#輸出URL的文字和對(duì)應(yīng)的鏈接
		print(url.get_text(),"<----->","https://en.wikipedia.org"+url["href"])		
		values.append((url.get_text(),"https://en.wikipedia.org"+url["href"]))
try:
	connection?=?pymysql.connect(host="localhost",user="root",password="root",db="wikiurl",charset="utf8mb4")
	with?connection.cursor()?as?cursor:
		sql?=?"insert?into?`urls`(`urlname`,`urlhref`)values(%s,%s)"

		cursor.executemany(sql,values)
		connection.commit()		
except:
	info?=?sys.exc_info()
	print(info)
	print(info[0])
	print(info[1])
finally:
	connection.close()

上面代碼我換了思路,把mysql操作放在最后來(lái)做,同時(shí)調(diào)用cursor.executemany, 一次可以插入多條記錄

0 回復(fù) 有任何疑惑可以回復(fù)我~

收起回答

#1

秋名山車神

能夠用自己的思路去優(yōu)化，非常好。

2016-09-06 回復(fù) 有任何疑惑可以回復(fù)我~

#2

kent324 提問(wèn)者回復(fù) 秋名山車神

感覺(jué)大批量插入數(shù)據(jù)還是不寫在for里面比較好, so 就它們提出來(lái)放外面

2016-09-07 回復(fù) 有任何疑惑可以回復(fù)我~