作者 | 董子博???
編輯 | 岑峰???
農歷新春將近，新一屆“拜年文學大賽”又要開始了。
一到此時，各路拜年祝福就爭奇斗艷，層出不窮。想要文義優(yōu)美、辭藻生動，本就讓不少人想破腦袋；如果再想配上一幅優(yōu)美的圖片，原創(chuàng)且有新意，更是成了每一年的大難題。
往年“卷”得不行的拜年消息，在今天只需輸入簡單幾句話，就能輕松搞定。而這背后，自然是AIGC技術的重大賦能。
這張由智譜AI生成的賀年卡，不僅不花什么功夫，還包含了一段年味十足的祝福語，和一張精美的圖片，如果有心，還能附上一首賀年的詩詞。一眼看上去平平無奇，但實際上，卻是尖端AIGC技術的集中體現。先說說每年最讓人頭疼的祝福語：在這張祝福卡上，僅憑寥寥幾句引導語，由清華大學KEG實驗室和智譜AI研發(fā)的開放問答機器人小呆（XDAI）就能夠完成一段相當高質量的祝福，甚至還能實現押韻。但這還并不是XDAI最強大的功能，短短一段祝福語背后，小呆還有著能夠完成有邏輯、有內容的對話實力。大規(guī)模預訓練語言模型（PLM）在近年來的進展有目共睹，尤其是ChatGPT橫空出世，更是給PLM圈粉無數，吸引了大量關注。但也有學者看到，在大模型下構建基于知識的對話系統，實現知識資源的收集，并根據任務調優(yōu)，對于個人開發(fā)者來說成本太高。這也就讓這項技術在落地上門檻太高，擋住了一大批有興趣的開發(fā)者。XDAI的提出，就是針對上面的情況，旨在讓開發(fā)人員無需微調，即可利用PLM，快速創(chuàng)建開放域對話系統，并可以用Prompt（引導語）定制自己的特定域系統。這也是XDAI最強大的能力，它不僅能借此完成頗具年味的文字生成，還能通過設計不同的Prompt，達成對XDAI“人設”、甚至“性格”的調整，來設計一個憤怒版、抑郁版、暖心版等不同版本的“小呆”。說回賀年卡，如果你覺得“小呆”為你生成的文字不夠詩意，你可以呼叫“悟能”，讓它來幫你寫作一首詩。“悟能作詩”是智譜AI開發(fā)的，一個在PLM的基礎上開發(fā)的AI作詩平臺。在原先的PLM中，盡管模型已經能夠生成不錯的文字內容，但卻往往缺乏對于問題主題的專注。在對話中，這個弱點可能瑕不掩瑜；但在詩歌創(chuàng)作上，缺乏主題卻相當致命。于是，開發(fā)者想到，可以使用Inverse Prompting的方式，來避免這個弱點——利用生成的文本去復原給定的標題，在通過對生成語句的打分，配合梁式搜索，每生成一個短句，就進行一次評分，并保留分數最高的內容。再使用這個方法，“悟能”能夠學習自己生成的內容，對自己的內容打分，并以此做微調，加強自身作詩的能力。在“悟能作詩”，雷峰網(公眾號：雷峰網)以“新年”為關鍵詞，并限定了“悲傷”的情緒，最終生成的結果如下：新年
圣歷初開歲 云山半老時
七輪才偃月 九陌亂填絲
曙角分龍節(jié) 寒塵斂隼旗
元宵幾處玩 禁火夜彌遲
最后再說說，這張賀年卡背后，圖片生成的AIGC產品——CogView。
CogView的算法框架分為VQ-VAE和Transformer兩部分，對圖像和文本進行大規(guī)模生成式聯合預訓練，首先以VQ-VAE將圖像壓縮成Token，再將其輸入Transformer進行生成訓練；反其道而行之，也可以將Transformer輸出的Token作為依據，生成圖像。
在文字、詩歌、圖片生成的領域，AIGC都擔任了重要的工作。而在小呆、悟能、CogView的背后，都有大規(guī)模語言訓練模型GLM-130B的影子。
這個由清華大學計算機系KEG實驗室，和智譜AI開發(fā)的開源雙語大規(guī)模語言訓練模型，在前些時間的基準測試上超過了OpenAI的GPT-3和谷歌的PALM，并且以開源的形式，作為開源大模型的中國力量，普惠廣大的使用者。
一張小小的賀年卡，背后是一個開源大模型的支持，和三種AIGC的尖端技術。在未來，AIGC技術可能也會給一年一度的“拜年文學大賽”畫上句點。
后續(xù)我們會進一步對GLM-130B進行專項的寫作和報道，如果感興趣的話，可以加本文作者微信交流：william_dong。
更多內容，點擊下方關注：
未經「AI科技評論」授權，嚴禁以任何方式在網頁、論壇、社區(qū)進行轉載！
公眾號轉載請先在「AI科技評論」后臺留言取得授權，轉載時需標注來源并插入本公眾號名片。
雷峰網
雷峰網版權文章，未經授權禁止轉載。詳情見轉載須知。
