首頁(yè) 猿問 Doc2Vec 預(yù)訓(xùn)練和推斷向量

Doc2Vec 預(yù)訓(xùn)練和推斷向量

Python

函數(shù)式編程 2022-09-06 19:46:42

假設(shè)我已經(jīng)使用50000個(gè)文檔訓(xùn)練了doc2vec模型，并且我想為包含36000個(gè)文檔的單獨(dú)數(shù)據(jù)集推斷向量。在這種情況下，推斷的向量對(duì)于下游的分類任務(wù)是否有效，因?yàn)槲业募僭O(shè)是推斷的向量取決于訓(xùn)練模型的文檔的大小。注意：兩個(gè)數(shù)據(jù)集，即用于訓(xùn)練doc2vec的數(shù)據(jù)集和另一個(gè)用于推斷向量的數(shù)據(jù)集都是唯一的，但來(lái)自美國(guó)最高法院的同一領(lǐng)域。如果我有正當(dāng)理由錯(cuò)了，請(qǐng)糾正我。

查看完整描述

1 回答

守著星空守著你

TA貢獻(xiàn)1799條經(jīng)驗(yàn) 獲得超8個(gè)贊

有了這樣一個(gè)微小的數(shù)據(jù)集，我無(wú)法給出的答案不會(huì)像嘗試一下看看它是否有效一樣有用。

50000 對(duì)于訓(xùn)練集來(lái)說(shuō)很小，但一些有用的結(jié)果是基于類似的語(yǔ)料庫(kù)。Doc2Vec

與訓(xùn)練一樣，向量推理將任意長(zhǎng)度的文檔簡(jiǎn)化為固定大小的向量。（但請(qǐng)注意：gensim默默地將提供給模型的任何文本限制為10000個(gè)令牌。2Vec

但是，如果你已經(jīng)在大約1000個(gè)單詞的文檔上訓(xùn)練了一個(gè)模型，那么嘗試在10個(gè)單詞的片段上進(jìn)行推理，那么這些文檔向量可能不如在更類似于訓(xùn)練集的文檔上的推斷向量有用或有用。但是您仍然需要嘗試一下才能找到答案。（另請(qǐng)注意：在訓(xùn)練期間未學(xué)習(xí)的單詞在推理過程中會(huì)被完全忽略，因此以后對(duì)具有許多/所有未知單詞的文檔的推斷將是弱的或無(wú)意義的。

您的推理文檔是否屬于這種情況 - 它們?cè)诖笮『驮~匯量上與訓(xùn)練文檔有很大不同？如果是這樣，為什么？（你能用更具代表性的文件進(jìn)行培訓(xùn)嗎？

如果在訓(xùn)練開始之前修復(fù)了 36000 個(gè)文檔集，則將它們包含在無(wú)監(jiān)督訓(xùn)練中也可能是有效/可辯護(hù)的。它們是數(shù)據(jù)，它們有助于學(xué)習(xí)領(lǐng)域術(shù)語(yǔ)，并且它們中沒有任何形式的“正確”分類答案。Doc2Vec

反對(duì) 回復(fù) 2022-09-06