0
| 本文作者： AI金融評論 | 2018-09-20 21:06 |
雷鋒網(wǎng)報道，在9月18日下午上海交通大學(xué)與氪信科技聯(lián)合承辦的世界人工智能大會特色活動——新世代·新疆界·新引擎：青年AI科學(xué)家暢談?wù)搲希?994年圖靈獎得主、卡內(nèi)基梅隆大學(xué)教授Raj Reddy（羅杰·瑞迪），微軟全球執(zhí)行副總裁沈向洋，攜程董事局主席梁建章，招商局創(chuàng)投總經(jīng)理呂克儉，富士康工業(yè)互聯(lián)網(wǎng)首席戰(zhàn)略官姚忠佑，亞利桑那州立大學(xué)凱瑞商學(xué)院副院長、上海交通大學(xué)上海高級金融學(xué)院教授顧彬，及人工智能學(xué)術(shù)界和工業(yè)界的青年科創(chuàng)家們分享了精彩的發(fā)言。
在AI前沿產(chǎn)學(xué)研對話圓桌環(huán)節(jié)，商湯科技聯(lián)合創(chuàng)始人、副總裁徐冰，曠視科技首席科學(xué)家孫劍，Momenta創(chuàng)始人兼CEO曹旭東，微軟亞洲研究院資深研究員韋福如齊聚一堂，上海交通大學(xué)教授、博導(dǎo)盧策吾擔(dān)任主持人。
下為對話原文，雷鋒網(wǎng)作了不改變原意的編輯：
主持人：請教各位，你對基礎(chǔ)性研究的當(dāng)前格局有什么看法，它的機(jī)遇挑戰(zhàn)會在哪里？以及你們個人和公司的研究計(jì)劃是怎么樣的？
孫劍：之前，我們也討論過這個問題。這波AI能夠起來是靠深度學(xué)習(xí)。今天將很多東西積攢在一起，能夠讓深度學(xué)習(xí)系統(tǒng)訓(xùn)練起來，所有人都可以用。只要有足夠多的數(shù)據(jù)就可以做，這是這波AI能夠繁榮的源動力。
同時也有人會說，前兩年的研究進(jìn)展非常快，每天都有顛覆性的新東西發(fā)布，在性能、方法各方面。這個狀態(tài)維持了兩三年。到了今年，各界都在擔(dān)心趨勢會不會放緩，雖然整體數(shù)量上來了，但是突破性技術(shù)是不是放緩了。在我看來，這個情況是很正常的，技術(shù)也會有小的波峰、波谷。
另外一個問題可能是，下一波紅利會在哪里？我個人不是很關(guān)心紅利，這波紅利沒來之前我也很有信心，我認(rèn)為這種技術(shù)非常有用，只不過現(xiàn)在加速了。我相信大家投入這么多精力去做會變得越來越好。
主持人：您的意思是說還有波峰、波谷，持續(xù)投入研究的成果總是會增長？
孫劍：接下來需要突破深度學(xué)習(xí)在解釋性方面的問題，研究深度學(xué)習(xí)的基本組件、SGD優(yōu)化問題的工作機(jī)理。其實(shí)我跟策吾做的項(xiàng)目，參數(shù)比訓(xùn)練數(shù)據(jù)多10倍、20倍、上百倍。以圖片監(jiān)測來說，人的精度是非常高的，機(jī)器的精度是遠(yuǎn)低于人的，雖然數(shù)字不斷刷新。正如策吾說的，“你要增加同樣的數(shù)字，你要增加一倍的數(shù)據(jù)”，這個現(xiàn)象讓我們感覺到蠻力的增加計(jì)算量和數(shù)據(jù)量，不一定能夠達(dá)到我們預(yù)期的。要解決問題，現(xiàn)在的檢測框架應(yīng)該拋棄原有的一些東西，加入AI的機(jī)制。如果大家研究清楚，可能會更容易找到下一個突破點(diǎn)和方向是什么。
徐冰：徐立（商湯科技CEO）一直都說他知道我講不了技術(shù)研究，首先我也是一個青年，我是沒有畢業(yè)的博士，但每天被徐立逼迫著要輟學(xué)，他成天給我講許多應(yīng)用案例。我是2008年大學(xué)本科讀了這塊的博士，做多媒體方面的工作。我們是一個趕上了這一波的團(tuán)隊(duì)，解決了視覺方面的問題。
其實(shí)從研究角度上說，我們在2011年就開始做深度學(xué)習(xí)，直到2014年這幾年都挺困難的。當(dāng)時人臉識別在20萬的數(shù)據(jù)庫做訓(xùn)練工作，訓(xùn)練半個月才出一個結(jié)果，這個是極大的局限，算法創(chuàng)新的瓶頸，一年只能迭代24次。包括現(xiàn)在我發(fā)現(xiàn)很多企業(yè)做深度學(xué)習(xí)，剛開始用深度學(xué)習(xí)做大量數(shù)據(jù)的處理，可能起步的時候都會遇到這個問題。你用什么樣的結(jié)算結(jié)構(gòu)能夠把算法迭代的速度提上來。
2014年我們創(chuàng)立商湯，至今已有四年，我們對外公布融資額是接近20億美金。我是負(fù)責(zé)給商湯融資的，基本上脫離了學(xué)術(shù)研究范圍，但我經(jīng)常跟徐立研究這筆錢怎么樣花，用于做遠(yuǎn)期的戰(zhàn)略部署。從學(xué)術(shù)角度上去看，深度學(xué)習(xí)往前去走，但做學(xué)術(shù)研究也要解決實(shí)際問題，不管是數(shù)據(jù)，還是問題，是極大演化的。當(dāng)我們與政府、客戶打交道的時候，面對的問題是非受限的問題。
以智慧城市為例，如果只是在一個攝像頭做人臉識別，很多企業(yè)都可以做到這樣的水平。深圳市有19萬支公安連接的攝像頭，找尋恐怖分子、罪犯或者是識別某一種不文明行為，都是城市治理和日常的公安等的剛性需求。如果在一個城市范圍做這樣規(guī)模的識別，10萬支攝像頭每天拍下來的照片，僅僅是人臉的照片就是10億的規(guī)模。假如說恐怖分子數(shù)量是10萬，基本上1天之內(nèi)要發(fā)生的速度是100萬億次，99%的算法是不可用的。在這樣的規(guī)模之下，可能就需要你從硬件上和算法生產(chǎn)都可以支持100億，甚至更大規(guī)模的數(shù)量少，做深度學(xué)習(xí)。這樣層次的問題，遠(yuǎn)遠(yuǎn)跳出了我們在學(xué)校里面做學(xué)術(shù)研究面對的問題。
你也可以發(fā)現(xiàn)，現(xiàn)在學(xué)術(shù)界和工業(yè)界做深度學(xué)習(xí)真的是不一樣的，業(yè)界所獲數(shù)據(jù)規(guī)模遠(yuǎn)遠(yuǎn)超過學(xué)術(shù)界。同時還要求基礎(chǔ)設(shè)施的過硬。三年前我們看到了軍備競賽，我們花很多錢買了很多硬件設(shè)備，最后建設(shè)了一個計(jì)算能力很強(qiáng)的計(jì)算平臺，基于此，才能支撐城市級別的場景。這是商湯大部分人在干的事情。深度學(xué)習(xí)這幾年經(jīng)歷了跳躍式的進(jìn)步，從原來要花半個月的時間才能從幾十萬小時的錄像中找到犯罪分子，變成一張照片15分鐘找出來，技術(shù)真的改造產(chǎn)業(yè)的工作模式和效率。
在解決行業(yè)問題的時候，我們說一定要講非受限的問題，而不是把問題極度簡化，不然做出來的產(chǎn)品經(jīng)常是過渡性產(chǎn)品，終有一天會被過渡掉，終有一天被百億級的訓(xùn)練顛覆。
主持人：您這一塊有什么樣的看法，無人車最大的研究問題是什么？
曹旭東：回到基礎(chǔ)研究問題思考，我準(zhǔn)備從兩方面回答這個問題，第一個確定性，第二個不確定性。對于創(chuàng)業(yè)公司來說，這兩件事情非常重要。只有確定性，則沒有未來，但是只有不確定性，現(xiàn)在就會“死掉”。所以要抓住確定性去探討不確定性。第一個大數(shù)據(jù)，第二個計(jì)算，第三個算法。
剛才有人提到數(shù)據(jù)優(yōu)化，我們考慮的是怎么樣把1塊錢一張圖變成1毛錢一張圖，再怎么樣把1毛錢標(biāo)注一張圖，這個對安全性很重要。所以任何一個算法需要做到八個九，需要多大數(shù)據(jù)呢？不同級別的增加是不一樣的，L4級別的需要100個。但100個我們燒不起，每張圖1塊錢投資人就不投了。我們在做的數(shù)據(jù)生產(chǎn)線使用AI算法的優(yōu)化，但是零部件有一些問題，標(biāo)數(shù)據(jù)也是一樣的，如果標(biāo)注錯誤怎么辦？另外標(biāo)注工具怎么樣去設(shè)計(jì)？怎么樣去交互是最優(yōu)的，這樣的設(shè)計(jì)方案，這個人大概30秒可以標(biāo)出來，這個東西如何使用？標(biāo)注的數(shù)據(jù)我們都可以收集到，如何通過算法去優(yōu)化。
除了數(shù)據(jù)之外，我們還做了更多的探索，怎么樣打通商業(yè)閉環(huán)，技術(shù)變成產(chǎn)品，產(chǎn)品變成大數(shù)據(jù)，形成閉環(huán)。一個小例子，就是我們做的車隊(duì)安全管理產(chǎn)品，然后給車隊(duì)提供一些ADS功能車隊(duì)的安全性可以提高30-50%，這樣對于1000車輛規(guī)模的車隊(duì)，這樣在安全上節(jié)省的費(fèi)用是千萬的規(guī)模。對社會來說利益更大，司機(jī)駕駛行為的數(shù)據(jù)是非常有用的，每個車隊(duì)都會有很厲害的老司機(jī)，省油。如果分析物流這個行業(yè)，會發(fā)現(xiàn)司機(jī)的工資成本只占了10%+，油費(fèi)占了20%。這意味著，老司機(jī)開得好一年省油2萬，你能很多老司機(jī)的經(jīng)驗(yàn)收集到，變成產(chǎn)品里面的算法，然后再應(yīng)用到自動駕駛里面去。
徐冰介紹了很多商湯的大計(jì)算，這里想補(bǔ)充一點(diǎn)的就是做這件事情的原因。緣由是目前還是實(shí)驗(yàn)科學(xué)，做實(shí)驗(yàn)跟實(shí)驗(yàn)效率有關(guān)系。同樣都是聰明人，如果你的實(shí)驗(yàn)效率比別人快100倍，至少整個研發(fā)迭代的效率比另外一個團(tuán)隊(duì)快10倍就變得很重要了。這個也是我們在努力的方向，現(xiàn)在可以做到的千萬數(shù)據(jù)級到億萬數(shù)據(jù)集的速度也會不一樣，差不多一天可以訓(xùn)練完。
第三點(diǎn)算法。之前在學(xué)術(shù)界，數(shù)據(jù)量很小，參數(shù)量挺多，結(jié)果較難得到。隨著時代發(fā)展之，這件事情反轉(zhuǎn)過來了，你會要求盡可能小的計(jì)算量，這樣可以用更便宜的芯片實(shí)現(xiàn)產(chǎn)品。如何在小模型，參數(shù)很小的模型上，然后去學(xué)到一個很好的效果。其實(shí)數(shù)據(jù)量有很強(qiáng)的擬合能力，是不是這些參數(shù)都充分的應(yīng)用了。另外在工業(yè)界非常重要的是，如何在有限參數(shù)和現(xiàn)定的參數(shù)和計(jì)算設(shè)計(jì)的情況下，學(xué)出來一個更好的結(jié)果？
從2015年開始，我發(fā)現(xiàn)自動學(xué)習(xí)論文越來越多。這一兩年更多的是學(xué)習(xí)框架和硬件，聯(lián)合學(xué)習(xí)是未來比較有趣的方向。我們做了這個方向，有一些已經(jīng)投入到產(chǎn)品使用。以上所說都是“確定性”的，確定性的東西用一個現(xiàn)象來總結(jié)就是條件反射。實(shí)際上整個突破到現(xiàn)在來說，都是學(xué)習(xí)跟影射。現(xiàn)在用深度學(xué)習(xí)感知智能的一些問題已經(jīng)得到很好的解決。當(dāng)然，數(shù)據(jù)、模型、算力優(yōu)化會更好。
韋福如：這3-5年，深度學(xué)習(xí)除了在圖像，在自然語言處理、文本生成上都取得了突破性的結(jié)果。在大數(shù)據(jù)，計(jì)算力之外，還有兩個重點(diǎn)。
第一個點(diǎn)端到端的自然語言模型，我們希望人去定義、處理句子，先分句子，做詞性標(biāo)注，再做語法分析，然后得到最后結(jié)果。包括機(jī)器翻譯、閱讀理解都是這樣大的框架下面去做的。給定了比較多的數(shù)據(jù)情況下，其實(shí)模型的學(xué)習(xí)能力還是很強(qiáng)的，包括在很多的領(lǐng)域里面達(dá)到或者突破人的水平。
另外一塊是目前我們看到的預(yù)訓(xùn)練的模型。人在學(xué)語言的也是一步一步來的，這種預(yù)訓(xùn)練的模型就有預(yù)訓(xùn)練的詞向量。最近在閱讀理解任務(wù)上，一戰(zhàn)成名的上下文相關(guān)的詞恩向量，使得把預(yù)訓(xùn)練的效果發(fā)揮更大了。這樣一個技術(shù)在后面的其他任務(wù)里面也得到一些驗(yàn)證。端到端+預(yù)訓(xùn)練，是自然語言能夠取得突破性結(jié)果很重要的兩個方面。
自然語言處理為什么很難？有以下的原因。語言天生有歧義性，這個在深度學(xué)習(xí)，詞向量表示的情況下，得到了很好的緩解，能夠計(jì)算句子、詞組，某種程度上緩解了一個意思有多種表示的挑戰(zhàn)。機(jī)器不知道常識和知識，而一般人類知識都在非結(jié)構(gòu)化的文本中。某種意義上來講，我們要在探索如何利用常識或者知識的情況下取得一個折中方式。我們現(xiàn)在能夠有一定的方式獲得非結(jié)構(gòu)化文本的知識，還有一些存在結(jié)構(gòu)化里面這個接下來很好研究的。另外，推理也是需要突破的難點(diǎn)。
更多資訊，請關(guān)注雷鋒網(wǎng)AI金融評論
雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
