我有一個大約 1000 萬個句子的列表，每個句子最多包含 70 個單詞。我在每個單詞上運行 gensim word2vec，然后取每個句子的簡單平均值。問題是我使用了 min_count=1000，所以很多詞都沒有出現(xiàn)在詞匯表中。為了解決這個問題，我將 vocab 數(shù)組（包含大約 10000 個單詞）與每個句子相交，如果該交集中至少剩下一個元素，則返回其簡單平均值，否則返回一個零向量。問題是當我在整個數(shù)據(jù)集上運行它時，計算每個平均值需要很長時間，即使拆分成多個線程，我想獲得一個可以運行得更快的更好的解決方案。我在 EC2 r4.4xlarge 實例上運行它。我已經(jīng)嘗試切換到 doc2vec，它更快，但結(jié)果不如 word2vec 的簡單平均值。word2vec_aug_32x = Word2Vec(sentences=sentences,                         min_count=1000,                         size=32,                         window=2,                        workers=16,                         sg=0)vocab_arr = np.array(list(word2vec_aug_32x.wv.vocab.keys()))def get_embedded_average(sentence):    sentence = np.intersect1d(sentence, vocab_arr)    if sentence.shape[0] > 0:        return np.mean(word2vec_aug_32x[sentence], axis=0).tolist()    else:        return np.zeros(32).tolist()pool = multiprocessing.Pool(processes=16)w2v_averages = np.asarray(pool.map(get_embedded_average, np.asarray(sentences)))pool.close()如果您對具有相同句子嵌入目的并可以解決我的問題的不同算法或技術(shù)有任何建議，我很樂意閱讀它。