好久没有更新博客，国庆7天，宿舍就我一个人，人生真的寂寞如雪啊。
想起我之前看过一本数据分析的书，今天想来实战一下。之前由于误删了网络爬虫爬下来的数据，所以只能重新爬取一次了，不过这次就抓取点好玩的东西，爬取淘宝淘女郎的信息来做一个简单的数据分析。
先上爬虫代码：

#coding:utf-8import requestsimport osfrom multiprocessing.dummy import Pool as ThreadPoolimport timefrom bs4 import BeautifulSoupimport urllib2,urllibimport reclass MM:
    def __init__(self):
        self.baseurl='https://mm.taobao.com/json/request_top_list.htm?page='
        self.pool = ThreadPool(10)   #初始化线程池
        self.headers={'Accept-Language':'zh-CN,zh;q=0.8','User-Agent':'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.116 Safari/537.36','Connection':'close','Referer': 'https://www.baidu.com/'}    def indexPage(self,index):
        indexpage=requests.get(self.baseurl+str(index),headers=self.headers)        return indexpage.content.decode('GBK')    def getAlldetail(self,index):
        indexpage=self.indexPage(index)
        p=re.compile(r'class="lady-avatar".*?<img class="lazyload" src="data:image/png;base64,iVBORw0KGgoAAAANSUhEUgAAAAEAAAABCAYAAAAfFcSJAAAAAXNSR0IArs4c6QAAAARnQU1BAACxjwv8YQUAAAAJcEhZcwAADsQAAA7EAZUrDhsAAAANSURBVBhXYzh8+PB/AAffA0nNPuCLAAAAAElFTkSuQmCC" data-original="(.*?)".*?class="lady-name".*?>(.*?)</a>.*?<strong>(.*?)</strong>.*?<span>(.*?)</span>',re.S)
        alldetail=re.findall(p,indexpage)
        eachdetail=[]        for eachmm in alldetail:
            eachdetail.append(['http:'+eachmm[0],eachmm[1],eachmm[2]+'years old',eachmm[3]])        return eachdetail    def getImg(self,filename,imgaddr):
        f=open('mm/'+filename+'/'+filename+'.jpg','wb+')
        f.write(requests.get(imgaddr,headers=self.headers).content)
        f.close()    def getContent(self,filename,content):     
        with open('mm/'+filename+'/'+filename+'.txt','w+') as f:            for each in content:
                f.write((each.encode('utf-8'))+'\n')    def mkdir(self,path):
        path = path.strip()
        isExists=os.path.exists(path)        if not isExists:            # 如果不存在则创建目录
            print u"新建了名字叫做",path,u'的文件夹'
            # 创建目录操作函数
            os.makedirs(path)            return True                 
        else:       
            # 如果目录存在则不创建，并提示目录已存在
            print u"名为",path,'的文件夹已经创建'
            return False

    def savePageInfo(self,index):
        alldetail=self.getAlldetail(index)        for eachdetail in alldetail:
            self.mkdir('mm/'+eachdetail[1])       
            #self.mkdir('mm/')
            self.getImg(eachdetail[1],eachdetail[0])
            self.getContent(eachdetail[1],eachdetail[1:])    def start(self):
        while 1:            try:
                start=int(raw_input('开始查询的页数（整数）：'))
                end=int(raw_input('结束的页数（整数）：'))            except Exception,e:                print e            else:                break
        index=range(start,end+1)
        begin=time.time()        try:
            results = self.pool.map(self.savePageInfo,index)
            self.pool.close()
            self.pool.join()        except Exception as e:            print e            pass
        end=time.time()
        total=end-begin        print '总耗时：',totalif __name__=='__main__':
    mm=MM()
    mm.start()

运行后输入你要爬取的页面，就能把淘女郎的年龄，居住地，名字和照片给爬取下来。一共有4万多个淘女郎信息，你可以全部爬取下来做数据分析用。
我只爬了几十页，运行后截图：

1.png

随便打开一个目录，可以看到图片和信息。
由于代码是很久之前写的，当时并没有想到做

matplotlib这个中文不能显示这块有点恼火，它必须要指向一个可以显示中文的ttf文件才能显示中文，本脚本用的matplotlib是1.5版本的，如果是其他的版本可能会出现因为参数的不同而出错。

最后经过数据分析后的图片（以下是遍历了1到8页的信息后得到的图片，你们可以继续遍历......）

2016-10-08 19-38-09 的屏幕截图.png

2016-10-08 19-38-40 的屏幕截图.png

这是数据分析的一点点皮毛，深入之后再继续玩儿......
欢迎大牛指正.......

作者：adminlzzs
链接：https://www.jianshu.com/p/34493eab2a80