Google的PixelRecorder應(yīng)用以其語音備忘錄功能而聞名，盡管它具有錄制會(huì)議和講座的潛力，但主要用于簡短的備忘錄

。然而，自從該應(yīng)用的開發(fā)人員轉(zhuǎn)向GeminiNano(一種功能強(qiáng)大的設(shè)備內(nèi)置大型語言模型(LLM))以來，人們現(xiàn)在越來越多地使用Recorder應(yīng)用。這種集成引入了一項(xiàng)由AI驅(qū)動(dòng)的音頻摘要功能，可幫助用戶更輕松地找到正確的錄音并快速掌握要點(diǎn)。

本月初，GeminiNano進(jìn)行了升級(jí)，引入了新的多模態(tài)模型。錄音機(jī)應(yīng)用程序已經(jīng)利用這一增強(qiáng)功能來更好地總結(jié)較長的語音錄音，從而改進(jìn)語法和細(xì)微差別的處理。

錄音機(jī)用戶現(xiàn)在平均每天使用新的人工智能摘要功能2到5次，從而使保存的錄音總數(shù)增加了24%。此功能顯著提高了應(yīng)用程序參與度和用戶保留率。錄音機(jī)團(tuán)隊(duì)還報(bào)告說，對(duì)新功能的反饋是積極的，許多用戶對(duì)它為他們節(jié)省的時(shí)間表示贊賞。

錄音機(jī)開發(fā)人員最初探索了基于云的解決方案，實(shí)現(xiàn)了高性能和高質(zhì)量。然而，為了提高用戶的可訪問性和隱私性，他們選擇了設(shè)備端方法。GeminiNano的開發(fā)提供了一個(gè)理想的機(jī)會(huì)，可以創(chuàng)建簡潔的音頻摘要，同時(shí)確保數(shù)據(jù)處理仍在設(shè)備上進(jìn)行。

在設(shè)備上使用LLM對(duì)用戶來說是有益的，因?yàn)樗鼮樗麄兲峁┝烁嗟碾[私、更少的延遲，并且由于不需要互聯(lián)網(wǎng)，它可以在他們需要的任何地方工作。

為了提高結(jié)果，Recorder利用低階自適應(yīng)(LoRA)使用特定于其用例的數(shù)據(jù)對(duì)模型進(jìn)行了微調(diào)。這使得GeminiNano能夠一致地生成轉(zhuǎn)錄的三要點(diǎn)摘要，包括發(fā)言人姓名、關(guān)鍵要點(diǎn)和主題。

錄音機(jī)開發(fā)人員集成了最新的GeminiNano模型(稱為具有多模態(tài)性的GeminiNano)，以增強(qiáng)其在Pixel9設(shè)備上的摘要功能。與Pixel8設(shè)備上的前代產(chǎn)品相比，這款新模型更大、更先進(jìn)，提供了更好的功能、準(zhǔn)確性和可擴(kuò)展性。它還支持更多標(biāo)記，使錄音機(jī)能夠摘要比以前更長的轉(zhuǎn)錄本。目前，具有多模態(tài)性的GeminiNano僅在Pixel9設(shè)備上可用。

為了充分利用新型號(hào)的功能，錄音機(jī)開發(fā)人員擴(kuò)展了數(shù)據(jù)集以包含更長的語音錄音，改進(jìn)了評(píng)估方法，并制定了以語法和細(xì)微差別為重點(diǎn)的發(fā)布標(biāo)準(zhǔn)指標(biāo)。

標(biāo)簽：