從科學(xué)文件中自動生成演示幻燈片
從科學(xué)論文創(chuàng)建演示文稿并非易事。自動化模型將提高人類生產(chǎn)力。這就是最近在arXiv.org上進(jìn)行的一項研究的作者所建議的。他們介紹了DOC2PPT，這是一項從文檔創(chuàng)建演示幻燈片的新任務(wù)。
為了做到這一點(diǎn)，分層循環(huán)序列到序列架構(gòu)讀取文檔并將其總結(jié)為結(jié)構(gòu)化幻燈片。模型決定何時繼續(xù)下一部分或幻燈片，考慮當(dāng)前總結(jié)的部分和之前的幻燈片。
釋義模塊將文本轉(zhuǎn)換為幻燈片樣式的子句，例如要點(diǎn)。此外，還使用了文本-圖像匹配目標(biāo)，以便相關(guān)的文本-圖像對出現(xiàn)在同一張幻燈片上。該數(shù)據(jù)集與定性和定量評估數(shù)據(jù)一起發(fā)布，以鼓勵進(jìn)一步研究。
創(chuàng)建演示材料需要復(fù)雜的多模態(tài)推理技能來總結(jié)關(guān)鍵概念并以合乎邏輯和視覺上令人愉悅的方式排列它們。機(jī)器能學(xué)會模仿這個費(fèi)力的過程嗎?我們提出了一種新的文檔到幻燈片生成任務(wù)和方法。解決這個問題涉及文檔摘要、圖像和文本檢索、幻燈片結(jié)構(gòu)和布局預(yù)測，以適合演示的形式排列關(guān)鍵元素。我們提出了一種分層的序列到序列方法，以端到端的方式處理我們的任務(wù)。我們的方法利用文檔和幻燈片中的固有結(jié)構(gòu)，并結(jié)合釋義和布局預(yù)測模塊來生成幻燈片。為了幫助加速該領(lǐng)域的研究，我們發(fā)布了一個關(guān)于我們實(shí)驗(yàn)中使用的6K配對文檔和幻燈片的數(shù)據(jù)集。
標(biāo)簽：