第七色在线视频,2021少妇久久久久久久久久,亚洲欧洲精品成人久久av18,亚洲国产精品特色大片观看完整版,孙宇晨将参加特朗普的晚宴

基礎層? 采集層? 數(shù)據(jù)處理層? 應用層

基礎層：基礎信息采集；采集層：數(shù)據(jù)結構搭建，數(shù)據(jù)模型搭建；處理層：數(shù)據(jù)清洗，標準化數(shù)據(jù)格式；應用層：數(shù)據(jù)分析結論輸出，深度挖掘；

數(shù)據(jù)預處理：

數(shù)據(jù)集成

數(shù)據(jù)清洗

數(shù)據(jù)處理

數(shù)據(jù)變換

數(shù)據(jù)歸納

可視化技術

XGBoost--實現(xiàn)30W數(shù)據(jù)文本分析

文件操作方法

網(wǎng)絡爬蟲，有時間學習下

課程思維導圖

開發(fā)環(huán)境說明

30萬條數(shù)據(jù)分析??

訓練分類器

算法調(diào)優(yōu)

數(shù)據(jù)預處理流程

數(shù)據(jù)清理

數(shù)據(jù)集成

數(shù)據(jù)變換

數(shù)據(jù)歸約

數(shù)據(jù)處理往往比算法模型和調(diào)參帶來的效果更好

文本信息處理,稍作改動也支持圖片和語音

什么是數(shù)據(jù)預處理

遍歷讀取文件

算法思路：

·遍歷文件的類TraversalFun：TraversalDir、AllFiles

·遍歷目錄文件TRaversalDir：AllFiles（self.rootDir）

·遞歸遍歷文件AllFiles（self，rootDir）

·判斷是否為文件isfile：打印出文件名

·判斷是否是目錄isdir：遞歸遍歷

算法思路：

·定義文件路徑和轉存路徑：split

·修改新的文件名：TranType（filename，typename）、fnmatch

·設置完整的保存路徑：join

·啟動應用程序格式轉換：Dispatch

·保存文本：SaveAs

PDF轉TXT的算法實現(xiàn)

算法思路：

·定義文件路徑和轉存路徑：split

·修改新的文件名：fnmatch

·設置完整的保存路徑：join

·啟動應用程序格式轉換：Dispatch

·保存文本：SaveAs

Word轉TXT算法實現(xiàn)

算法思路：

·定義文件路徑和轉存路徑：split

·修改新的文件名：fnmatch

·設置完整的保存路徑：join

·啟動應用程序格式轉換：Dispatch

·保存文本:SavaAs

結構化數(shù)據(jù)：

結構化數(shù)據(jù)是指可以使用關系型數(shù)據(jù)庫表示和存儲，表現(xiàn)為二維形式的數(shù)據(jù)。一般特點是：數(shù)據(jù)以行為單位，一行數(shù)據(jù)表示一個實體的信息，每一行數(shù)據(jù)的屬性是相同的。

·數(shù)據(jù)特點：關系模型數(shù)據(jù)，關系數(shù)據(jù)庫表示

·常見格式：比如MySQL、Oracle、SQL Server等

·應用場合：數(shù)據(jù)庫、系統(tǒng)網(wǎng)站、數(shù)據(jù)備份、ERP等

·數(shù)據(jù)采集：DB導出、SQL等方式

·優(yōu)缺點：結構化的數(shù)據(jù)的存儲和排列是很有規(guī)律的，這對修改和查詢等操作很有幫助。但是，它的擴展性不好。

半結構化數(shù)據(jù)：

半結構化數(shù)據(jù)是結構化數(shù)據(jù)的一種形式，它并不符合關系型數(shù)據(jù)庫或其他數(shù)據(jù)表的形式關聯(lián)起來的數(shù)據(jù)模型結構，但包含相關標記，用來分隔語義元素以及對記錄和字段進行分層。因此，它也被稱為自描述的結構。半結構化數(shù)據(jù)，屬于同一類實體可以有不同的屬性，即使他們被組合在一起，這些屬性的順序并不重要。

·數(shù)據(jù)特點：非關系模型數(shù)據(jù)，還有一定的格式

·常見格式：比如Email、HTML、XML、JSON等

·應用場合：郵件系統(tǒng)、檔案系統(tǒng)、新聞網(wǎng)站等

·數(shù)據(jù)的采集：網(wǎng)絡爬蟲、數(shù)據(jù)解析等方式

·優(yōu)點：不同的半結構化數(shù)據(jù)的屬性的個數(shù)是不定的。有些人說半結構化數(shù)據(jù)是以樹或者圖的數(shù)據(jù)結構存儲的數(shù)據(jù)，標簽是樹的根節(jié)點，和標簽是子節(jié)點。通過這樣的數(shù)據(jù)格式，可以自由地表達很多有用的信息，包括自我描述信息（元數(shù)據(jù)）。所以，半結構化數(shù)據(jù)的擴展性是很好的。

非結構化數(shù)據(jù)：

就是沒有固定結構的數(shù)據(jù)。各種文檔、圖片、視頻/音頻等都屬于非結構化數(shù)據(jù)。對于這類數(shù)據(jù)，我們一般直接整體進行存儲，而且一般存儲為二進制的數(shù)據(jù)格式。

·數(shù)據(jù)特點：沒有固定格式的數(shù)據(jù)

·常見格式：Word、PDF、PPT、圖片、音視頻等

·應用場合：圖片識別、人臉識別、醫(yī)療影像、文本分析等

·數(shù)據(jù)采集：網(wǎng)絡爬蟲、數(shù)據(jù)存檔等方式

數(shù)據(jù)清理：通過填寫缺失的值、光滑噪聲數(shù)據(jù)、識別或刪除離群點并解決不一致性來清理數(shù)據(jù)。目標：格式標準化，異常數(shù)據(jù)清理，錯誤糾正，重復數(shù)據(jù)的清除。

數(shù)據(jù)集成：將數(shù)據(jù)由多個數(shù)據(jù)源合并成一個一致的數(shù)據(jù)存儲，如數(shù)據(jù)倉庫。

數(shù)據(jù)變換：通過平滑聚集，數(shù)據(jù)概化，規(guī)范化等方式將數(shù)據(jù)轉換成適用于的形式。如把數(shù)據(jù)壓縮到0.0-1.0數(shù)值區(qū)間。

數(shù)據(jù)歸約：往往數(shù)據(jù)量非常大，得到數(shù)據(jù)集的歸約表示，它小得多，但仍接近保持原數(shù)據(jù)的完整性，結果與歸約前結果相同或幾乎相同。

數(shù)據(jù)預處理簡而言之就是將原始數(shù)據(jù)裝進一個預處理的黑匣子之后，產(chǎn)生出高質(zhì)量數(shù)據(jù)用來適應相關技術或者算法模型。

·將原始數(shù)據(jù)的數(shù)據(jù)直接進行分類模型訓練，分類器準確率和召回率都比較低。因此我們原始數(shù)據(jù)存在很多干擾項，比如的，是等這些所謂停用詞特征對分類起的作用不大，很難達到工程應用。

·我們將原始數(shù)據(jù)放進預處理黑匣子后，會自動過濾掉干擾數(shù)據(jù)，并且還會按照約定的方法體現(xiàn)每個詞特征的重要性，然后將詞特征壓縮變換在數(shù)值型矩陣中，再通過分類器就會取得不錯的效果，可以進行工程應用。

預處理前：不完整、偏態(tài)、噪聲、特征比重、特征維度、缺失值、錯誤值等問題。

文件抽取資料

word 轉換tet思路

三類數(shù)據(jù)類型：結構化數(shù)據(jù)，半結構化數(shù)據(jù)，非結構化數(shù)據(jù)

#coding=utf-8
import?os,fnmatch
from?win32com?import?client?as?wc
from?win32com.client?import?Dispatch
def?Word2Txt(filepath,savePath=''):
????????dirs,filename?=?os.path.split(filePath)
????????new_name=""
????????if?fnmatch.fanmatch(filename,'*.doc'):
????????????new_name?=?filename[:-4]+'.txt'
????????elif?fnmatch.fnmatch(filename,'*.docx'):
????????????new_name?=?filename[:-5]+'.txt'
????????else:
????????????????print("格式不正確")
????????????????return
????????if?savePath?==?'':
????????????savePath?=?dirs
????????else:
????????????????savePath?=?savePath
????????word2txtPath?=?os.path.join(savePath,new_name)
????????print('-->',word2txtPath)
????????wordapp?=?wc.Dispatch('word.Application')
????????mytxt?=?wordapp.Documents.Open(filePath)
if?__name__=='__main__':
????filePath?=?os.path.abspath(r'../../*.doc')
????word2Txt(filePath)

總結

1.數(shù)據(jù)集成

1.why

1. 特征預處理

2. 不完整、偏態(tài)、噪聲、特征比重、特征緯度、缺失值、錯誤值等問題；

3. 存在完整、正態(tài)、干凈、特征和事、特征緯度合理、無缺失值
   

1.特征預處理

1. 數(shù)據(jù)預處理

2. 謂詞、停用詞

3. 特征壓縮變換
   

課程初衷。。。