我的目標(biāo)是理解 Trax 中變壓器的介紹性示例，import trax# Create a Transformer model.# Pre-trained model config in gs://trax-ml/models/translation/ende_wmt32k.ginmodel = trax.models.Transformer(? ? input_vocab_size=33300,? ? d_model=512, d_ff=2048,? ? n_heads=8, n_encoder_layers=6, n_decoder_layers=6,? ? max_len=2048, mode='predict')# Initialize using pre-trained weights.model.init_from_file('gs://trax-ml/models/translation/ende_wmt32k.pkl.gz',? ? ? ? ? ? ? ? ? ? ?weights_only=True)# Tokenize a sentence.sentence = 'It is nice to learn new things today!'tokenized = list(trax.data.tokenize(iter([sentence]),? # Operates on streams.? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? vocab_dir='gs://trax-ml/vocabs/',? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? vocab_file='ende_32k.subword'))[0]# Decode from the Transformer.tokenized = tokenized[None, :]? # Add batch dimension.tokenized_translation = trax.supervised.decoding.autoregressive_sample(? ? model, tokenized, temperature=0.0)? # Higher temperature: more diverse results.# De-tokenize,tokenized_translation = tokenized_translation[0][:-1]? # Remove batch and EOS.translation = trax.data.detokenize(tokenized_translation,? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?vocab_dir='gs://trax-ml/vocabs/',? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?vocab_file='ende_32k.subword')print(translation)這個(gè)例子工作得很好。但是，當(dāng)我嘗試使用初始化模型翻譯另一個(gè)示例時(shí)，例如sentence = 'I would like to try another example.'tokenized = list(trax.data.tokenize(iter([sentence]),? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? vocab_dir='gs://trax-ml/vocabs/',? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? vocab_file='ende_32k.subword'))[0]tokenized = tokenized[None, :]!我在本地機(jī)器和 Google Colab 上都得到了輸出。其他示例也會(huì)發(fā)生同樣的情況。當(dāng)我構(gòu)建并初始化一個(gè)新模型時(shí)，一切正常。這是一個(gè)錯(cuò)誤嗎？如果不是，這里發(fā)生了什么，我怎樣才能避免/修復(fù)這種行為？Tokenization 和 detokenization 似乎運(yùn)行良好，我對(duì)此進(jìn)行了調(diào)試。. 中的事情似乎出了問(wèn)題/出乎意料trax.supervised.decoding.autoregressive_sample。