0
這個夏天，愛奇藝超級網絡綜藝《中國新說唱》開播以來，話題持續升溫。在剛剛結束的首輪戰隊5進4淘汰賽中，殘酷虐心程度讓粉絲尖叫不已。 
讓真愛粉尖叫的背后是對這檔節目對選手與制作人之間、選手與團隊之間情感走勢引發的強烈共鳴 。炸裂的粉絲反饋源于 《中國新說唱》高水準后期制作的有力支撐，據雷鋒網了解，與以往所有大型綜藝節目不同的是，愛奇藝成功將AI技術應用在了《中國新說唱》的后期制作的多個環節中，成功擴充的節目藝術創作的邊界，大幅提升了后期制作的效率，實現了技術與藝術創意的無縫融合，提升了節目的創意水準。
上周六的首輪戰隊5進4淘汰賽，那吾克熱在最后時刻回心轉意與吳亦凡“牽手成功”；潘瑋柏&G.E.M.鄧紫棋也歷經萬般糾結，終于將楊和蘇、王齊銘、周湯豪納入麾下，“攀登隊”自此集結完畢。在現場比拼環節中，除實力炸場的“夢之隊”外，其余兩組戰隊的表演也各有千秋，雖然彩排過程中狀況頻出，但15位rapper都為了各自的homie以及能在舞臺上留下好的作品而拼盡全力。‘’
如何將戲份的驚心動魄淋漓盡致地呈現，讓粉絲尖叫，對后期制作人員是一個巨大的挑戰。
首先，像《中國新說唱》這樣的大型綜藝采用的是先拍攝后制作的方式，要想有這么豐富的鏡頭，制作團隊前期拍攝時攝影師必然會事無巨細地拍攝大量素材，外場對rapper進行跟拍，現場則是訊道、DV、5D以及穩定器等多鐘機位同時拍攝。不像電影、電視劇的拍攝，真人秀節目的很多狀況都無法提前預知，導演也是要拿到拍攝的素材，根據人物的表現和真實情況來編排節目框架。制作團隊面臨的第一個挑戰就是如何在海量的拍攝素材中，找到最精彩的畫面，使其最大呈現節目的精彩度。 
在此次淘汰賽的后期制作中，拍攝結束后，工作人員首先會對淘汰賽現場、戰隊間、以及藝人與選手采訪間的10T左右的海量素材進行整理，這是一個極其耗時、“虐心”的工作， DIT人員（數字影像工程師，digital imaging technician）需要做所有機位的素材收集、后期素材上線以及將素材整理到時間線上。DIT在此過程中會核對原始素材，檢查音比、音軌與音量是否有問題，甚至會做標記，比如DIT記錄了20軌，會將20軌的視頻素材做標記。在這個過程中，會有很多意外情況發生，比如很多機位的產生的素材會被漏掉，原始素材遺漏會使得節目的精彩瞬間被錯過。
素材收集就這么復雜，后期剪輯更是費時費力。剪輯助理會幫助剪輯師找詞、整理，把不同場景的素材分類，以便后期剪輯。接下來，剪輯助理會處理所有人物的素材，把具體的人物所有中景近景的反應鏡頭全部切出來，放在一條線上，方便剪輯師應用。在這里，實現素材查找、搜索全憑人力花費大量時間人肉海量素材。
除此以外，綜藝節目制作周期緊張，用戶與市場對節目的創意要求越來越高，而且目前娛樂行業的內容競爭異常激烈，是否擁有爆款網綜對平臺增加用戶粘性、搶奪新用戶非常重要。網綜的制作水平與效率需要達到極高的水準才可以讓平臺在競爭中處于不敗之地。在這種狀況下，AI成為提升效率與創意的絕佳方式。
目前，在《中國新說唱》的后期制作中，AI技術主要用來做智能聽打字幕、精彩畫面查找。
此前，聽打字幕完全是由人力來完成的。
愛奇藝副總裁謝丹銘介紹此次愛奇藝與百度進行了深度合作，在《中國新說唱》的后期制作中， 使用ASR（語音識別技術）用作前期的扒詞，人工聽打字幕和后期快要合片時的字幕。
比如，在這期淘汰賽中，工作人員需要完成14個小時的視頻字幕的聽打工作，按照傳統方式，聽打人員需要數十個小時聽打與核對工作，但是AI可以自動完成聽打工作，只需要后期制作人員花費20個小時左右完成整個工作。 
接下來是精彩畫面查找工作，精彩畫面查找有兩種情況，第一種情況是一種場景中的素材查找：現場觀眾會對選手個人表演產生一定的情感，比如陶醉、微笑。AI會對這些觀眾視頻畫面進行識別分析，自動生成標簽，最后實現智能檢索。
第二種情況是在不同場景中一種反應的視頻查找。剪輯師會根據需要，查找其他場景中的反應類視頻，比如查找所有場景中吳亦凡的微笑。工作人員只要在系統中輸入“吳亦凡”和“微笑”，就可以找到所有吳亦凡微笑的視頻畫面。對于剪輯師來說，要從海量的素材中找出吳亦凡的“微笑”是很困難的，還很可能漏掉關鍵素材，而這對于AI來說，卻是舉手之勞。
為了讓3000萬粉絲們不錯過吳亦凡的每一幀微笑，為了讓吳亦凡與那吾克熱“甜”到一起，《中國新說唱》的后期團隊使用AI對視頻素材中反映觀眾情感和不同場景中同一反應的視頻進行查找，通過人臉識別、表情識別、聲紋識別、景別識別與動作識別技術，根據不同的標簽組合查找定位視頻，也可以通過“只看TA”功能，根據確定標簽僅查看該視頻中包含當前標簽的視頻內容，工作人員可以在系統中根據標簽“吳亦凡”、“那吾克熱”、“微笑”等標簽組合，快速找到所有二人一起微笑的視頻片段。
此外，愛奇藝利用精彩畫面查找的功能還能更好地篩選出將導師與選手的畫面，幫助后期剪輯，協助創意人員來更好地講故事。正是有了AI，我們才能在《中國新說唱》中看到那么多精彩、流暢的故事，更豐富地了解每個選手的特點和魅力。
《中國新說唱》在某種程度上是近年愛奇藝在AI領域布局的一次實力檢閱。
愛奇藝CTO劉文峰在接受媒體采訪時曾表示，盡管AI 領域擠滿了獨角獸和創業公司，但愛奇藝的一大優勢在于“愛奇藝擁有最懂娛樂的團隊”。“我們有真正自己的工作室去創造內容，對內容有非常深度的了解，這些可以用來反哺技術，可以讓技術進一步往前迭代。”他說。
在以《中國新說唱》為代表的超級網綜上的實踐表明，有大量的場景和素材積累，這為AI輔助后期制作提供了先決條件與應用場景，使愛奇藝AI技術更好地實現落地。
目前，愛奇藝融合語音識別、人臉識別、表情識別、聲紋識別、景別識別與動作識別的情感識別技術趨于成熟，已經能夠幫助剪輯人員查找導師以及歌手的反應類素材，實現很高的精準度。
未來，愛奇藝強大的跨界資源整合能力將促成 新的智能制作系統的設計、新網絡部署，新的硬件設施的部署等。這一整套的系統的落地將推動中國娛樂業的制作能力躋身國際水平。
早在2014年，愛奇藝就開始在AI方面布局，并打造了“愛奇藝大腦”，研究各種視頻編解碼、云計算、多屏融合、視頻搜索、節目推薦等算法等。目前AI技術已經“無孔不入”滲透到愛奇藝生態的各個角落：
愛奇藝還成功將AI應用在了娛樂生態的各個角落，實現娛樂生態效率最大化提升，比如，在內容創作方面，愛奇藝藝匯選角系統可以通過AI算法實現制片人與藝人需求的精準匹配，大大提升選角效率，為此前熱播的自制劇《泡沫之夏》選擇了張雪迎作為女主，創下了超13億的微博閱讀量在智能營銷方面，愛奇藝通過AI內容識別技術、受眾特征識別等技術，幫助廣告主創造出既符合用戶體驗、又打動消費者的營銷體驗。
為了更好的滿足用戶的個性化需求，愛奇藝通過知識圖譜與深度學習等AI技術，優化用戶視頻推薦模型，成功研發出“私人影院”、“短視頻聯播”等實用性很強的功能，在用戶體驗方面，愛奇藝還通過只看TA功能，讓用戶只看自己喜歡演員的視頻片段，比如在熱播的《延禧攻略》中，點擊“只看 秦嵐 片段”就可以專門看秦嵐的戲份了，AI ABS自制應碼流技術讓用戶隨時看片不卡頓。
今年3月，愛奇藝上市時，創始人、CEO龔宇曾經表示，愛奇藝將以“AI+內容生態的雙主線發展策略進入發展的快車道”。為了打造最“聰明”、“高效”的娛樂生態、為用戶帶來極致體驗，愛奇藝不斷在技術上投入重金，目前將近 50% 的工作崗位是技術崗。最新發布的財報顯示，愛奇藝二季度研發費用支出達到了4.4億元，同比增長50%。
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
