未來指導(dǎo)的增量式變壓器可同時進(jìn)行翻譯
同步翻譯是機器翻譯的一種，在閱讀源句子時會生成輸出。它可以用于實時字幕或同聲傳譯。但是，當(dāng)前策略的計算速度較低，并且缺乏來自未來源信息的指導(dǎo)。最近提出的一種方法稱為“未來引導(dǎo)式增量變壓器”，可以克服這兩個缺點。
它使用平均嵌入層來匯總消耗的源信息并避免費時的重新計算。通過知識提煉嵌入一些未來信息，可以增強預(yù)測能力。結(jié)果表明，與當(dāng)前使用的模型相比，訓(xùn)練速度可提高約28倍。在漢英和德英同聲翻譯任務(wù)上，翻譯質(zhì)量也得到了提高。
同步翻譯(ST)在閱讀源句子時同步開始翻譯，并且在許多在線場景中使用。先前的wait-k策略簡潔明了，在ST中取得了良好的效果。但是，wait-k策略面臨兩個缺點：由于重新計算了隱藏狀態(tài)而導(dǎo)致的培訓(xùn)速度較慢，并且缺乏用于指導(dǎo)培訓(xùn)的未來源信息。對于較低的訓(xùn)練速度，我們提出一種具有平均嵌入層(AEL)的增量式變壓器，以加快訓(xùn)練期間隱藏狀態(tài)的計算速度。對于將來的培訓(xùn)，我們建議使用傳統(tǒng)的Transformer作為增量Transformer的老師，并嘗試通過知識提煉無形地將一些將來的信息嵌入模型中。我們對漢英和德英同聲翻譯任務(wù)進(jìn)行了實驗，并與wait-k策略進(jìn)行了比較以評估該方法。我們的方法可以有效地將不同k條件下的訓(xùn)練速度平均提高約28倍，并在模型中隱式嵌入一些預(yù)測能力，從而獲得比wait-k基線更好的翻譯質(zhì)量。
標(biāo)簽：