1 回答

TA貢獻(xiàn)1859條經(jīng)驗(yàn) 獲得超6個(gè)贊
您出于什么目的進(jìn)行壓縮?如果您的項(xiàng)目中有以下分類(lèi)器模型,您可以使用正常(未輸入 AE)數(shù)據(jù)訓(xùn)練該模型并查看準(zhǔn)確性或您正在測(cè)量的任何內(nèi)容。然后訓(xùn)練相同的模型,但在使用 AE 壓縮數(shù)據(jù)之后。那么如果你也得到了比較好的結(jié)果,這意味著你正在提取一些對(duì)自動(dòng)編碼器有用的東西。特別是如果您不使用所有數(shù)據(jù)來(lái)訓(xùn)練 AE 并查看 AE 在其訓(xùn)練中未看到的示例的壓縮將如何影響準(zhǔn)確性。
在 PCA 等其他技術(shù)中,主成分是特征向量,這些特征向量對(duì)應(yīng)的特征值實(shí)際上非常有意義,它們告訴你數(shù)據(jù)中有多少信息在每個(gè)方向上變化,就像方差一樣。但在 AE 中,尤其是 Deep 中,這種分析并不直觀,或者至少超出我的知識(shí)范圍(如果存在的話)。但是在 1 層 AE 中也許你仍然可以做一些類(lèi)似的事情,實(shí)際上,以 MSE 為目標(biāo)的 1 層 AE 非常接近 PCA。您可以在隱藏層中提取這些權(quán)重,也可以在數(shù)據(jù)協(xié)方差矩陣上應(yīng)用 PCA 或特征分解。然后計(jì)算那些隱藏層權(quán)重和特征向量之間的余弦距離,看看它是否保留了一些有意義的東西。
我不知道是否可以做更多的事情,但如果這對(duì)您很重要,也許您可以找到一些論文來(lái)解決這些問(wèn)題。
添加回答
舉報(bào)