0
作者 | 王曄
目前，我國新的城市治理體系基本形成。與此同時，伴隨著經濟社會的變革、大數據、互聯網的發展以及人工智能、云計算的興起，城市治理面臨著新要求、新挑戰的同時，也實現了跨越式的發展。
那么技術的進步為城市治理帶來了哪些進展？又面臨怎樣的瓶頸呢？
不久前，在CCAI 2021 大數據智能學術論壇上，過敏意教授分享了題為“面向城市治理的圖智能分析框架”的主題報告，分四部分介紹了城市治理方面的內容。
過敏意 歐洲科學院外籍院士、上海交通大學講席教授、IEEE/CCF Fellow
過敏意教授是歐洲科學院外籍院士，上海交通大學致遠講席教授，電子信息與電氣工程學院計算機學科負責人，國家杰出青年基金獲得者，也是教育部創新團隊學術帶頭人，“973”計劃首席科學家。
他長期從事并行與分布式系統和云計算的研究，發表學術論文400多篇，著述英文著作4部，主持多項國家自然基金重點項目以及國家和省部級項目，曾獲得國家技術發明二等獎和省部級科技一等獎等多項獎項。
AI科技評論對過敏意教授在CCAI 2021 大數據智能學術論壇上的報告做了不改變原意的整理：
1. 從原來的物能說話，以數字化、網絡化為代表的城市管理，即智慧城市的初級形態。我們借助網絡實現連接使得物與物之間能夠互聯起來。
2. 到后來2.0版，就是物物對話。不僅是互聯網，還有物聯網了。從物聯網在城市治理中的作用來看，運用系統化、程序化、標準化的手段，使城市各單元精確、高效、協同和持續發展，實現萬物互聯。
3. 到了3.0版，即人物協同。以人為本，充分發揮人機協同的作用，通過對城市大數據價值的挖掘，使城市各部分功能優化運行，呈現的決策能夠更精準，最大程度地服務市民。
4. 4.0時代，就進入了城市大腦階段，即讓城市自身學會思考，能夠自主整合、引導和分配城市管理資源，具有自我優化與進化能力，真正智慧化，這是最高版的城市精細化治理。
為了真正讓城市學會思考，實現城市治理智慧化，打造智慧、智能城市，我們正在實踐城市大腦的理念。“十三五”期間，我們和阿里及杭州的“城云科技“合作，做了城市的交通管理、智慧停車等工作。
我們將人、機、物三元空間的物理世界、人類社會、信息社會得到的數據進行融合。結果發現越來越多的數據，呈現出圖化的結構，其實是用圖的形式表示出來的。關于這個問題我們以前都沒有注意到，也沒有處理，但這樣以后很多數據都不能夠精準處理。因此，在城市化治理中，圖化治理場景是一個關鍵挑戰。
五個不同領域的圖化治理場景：
（3）醫療健康服務。生命健康基因圖譜的分析，也是圖的重構、圖的迭代、圖的分析。還有人腦網絡的功能區域分析，現在腦電采集實際上都可以從圖的結構里面反映出來，所以有大量的個性化的圖的分析。
因此目前對圖的分析和圖的管理越來越迫切，現在我們國家以及世界上很多科研機構公司等都研發了一些面向圖計算的工具，但還是遇到了問題。
面對大規模結構化的城市治理任務，現有大數據計算平臺存在收斂慢、吞吐低問題，影響城市治理決策。
開發環境未針對圖應用定制化設計，難以高效優質地進行執行階段劃分
我們以前“十三五”期間做的事情，基本上都是用的傳統spark、MapReduce等大數據框架來做的，但是這些問題如果要弄到圖里面預處理，比如說圖要進行預置、分拆等等，用傳統框架就不適用了，它會非常慢，要循環往復來做。
（2）吞吐低：現有主流圖計算框架如PowerGraph/Ligra不支持高并發請求。
上述框架大都忽略了多用戶請求執行共存的問題
現有主流圖計算框架如PowerGraph/Ligra等框架都是單機、單用戶的圖計算結構，雖然克服了spark、Mapreduce等的缺點，它可以圖分析、圖分解、圖查詢等，但是如果面向城市治理這些就不適用了，因為城市治理是高并發的。也就是說這些框架對高并發的圖的問題，都不太適用，所以就會遇到吞吐根本做不了城市大腦支撐的問題。
要解決上述問題就要做城市大數據協同計算框架。圖計算將成為未來城市大數據協同計算框架中的關鍵一環，能夠支撐大規模高并發場景的圖智能分析尤其重要。
城市大數據協同計算框架
我們以前做了很多Mapreduce、PowerGraph的處理，但是還缺乏圖請求調度、圖結構分析、圖數據分割、圖查詢、圖生成等面向圖計算的工具。所以 我們就一定要把這些工具給數據融合、數據感知開發出來。如果沒有圖分析、圖查詢、圖管理、圖結構分析等，是沒有辦法支撐整個城市大數據協同平臺的。所以我們要在有限的資源下，處理高并發多元圖數據分析的請求，對單用戶的圖計算框架實行高并發多用戶的圖計算框架的轉變。
那么如何高效執行不同用戶提交的多元化圖計算請求呢？
目前，我們要做的事情是實現可擴展和可持續。
擴展性需求：隨著圖規模和圖計算服務的激增，需解決平臺峰值負載問題。
高并發圖的圖分析、圖查詢也延續到了一些人工智能算法，比如說現在做人工智能的技術處理，如果講大模型，比如說GBT-3 1 751億個參數跑一次訓練，相當于一輛用油汽車跑70萬公里，那么這對可持續發展、低碳環保非常不利。所以說圖計算也是這樣的，如果不斷地進行圖的迭代往復，如果算法不好，那么可擴展、可持續都不行，所以現在各大公司和云商像華為和阿里都對此非常重視，都自己開發了這方面的工具對圖進行分析。我們有一個課題做國家重點研發計劃現在也是做的圖處理這方面的事情。
但是并發圖計算不同于如今的線上數據密集型計算（如MapReduce)，更不同于以往的高性能數值計算。
對并發圖計算來講，請求間和請求內的協同優化變得更重要
比如做并行計算時，以往的傳統的并行計算比較規則，我從一個處理到下一個CPU的處理，通信是比較規則的。這邊處理好以后，下一個通信基本上模式是一樣的。但是并發圖不一樣，圖的計算模式是不規則的，這個到下一個的并發處理有可能是A節點到B節點，下一個可能是C節點到D節點，模式是完全不一樣的不規則的。
所以其中通信、優化和它的并發都和原來的高性能計算完全不同，因此比較具有挑戰性。與數據密集型計算不一樣，和高性能計算也不一樣，即與以計算和數據為中心的都不一樣，我們現在要強調以圖為中心的計算。
并發圖計算主要面臨的瓶頸主要有以下三個。
（1）用戶圖計算請求主要有圖管理、圖分析。在圖管理方面，已有較多并發性優化工作，比如說數據倉庫、圖查詢等。但對圖分析方面，比如管理查詢不到結果以后怎么樣能夠對放到基層單元弄出決策來，這方面還缺乏研究，易成為性能瓶頸，所以說我們要做這方面的事情。
（2）并發圖分析任務之間的不規則干擾，多個圖算法并發執行時，會在時間與空間兩個維度對處理器和內存等資源進行搶占，且干擾方式不規則，優化空間很大。
（一）工業界項目概述
現在工業界對于圖的分析、圖的并發、圖的查詢非常重視，但是圖拓撲屬性分析現在還不多。Apache 上目前的開源圖計算系統主要以圖數據庫管理為主，面向圖拓撲屬性分析的并發圖管理系統還處于萌芽階段。這是我們調查下來整個Apache Graph Systems的列表，大概就是這幾十個：
（二）學術界研究總覽
早期基本上關注的是圖的請求，焦點主要是圖查詢。到2014年開始有并發圖分析，然后多用戶并發圖比如圖數據共享已經開始關注了；2017年提出多圖多用戶場景，但對圖請求內部缺乏分析；到2018年對請求內部特征優化以及圖并發的計算進行考慮。國內主要在做的高校是上海交通大學、華中科技大學、北京大學。
（三）上海交通大學做的一些工作
（1）圖化治理任務的并發計算框架
文章先后發表在IEEE ICCD和IEEE TPDS上
我們做的工作就是對圖化治理任務的并發計算做了一個框架，也就是對線下進行繪像線上調度相結合，將訪存特性傳遞給調度器，這樣并發的會比較快，消息傳遞就會比較快。然后提出架構感知的負載均衡和線程調度、優化多圖的并發運行的效果請求性能可以提升5.4倍了。實現了一套面向圖化治理任務的冗余操作削除機制，對整個圖存在的冪律分布、縮減操作等都做了分析，然后改進了圖化治理任務流程，使分析提升了很多倍。
文章先后發表在IPDPS和ACM TACO上
如果將圖放到編程框架里面進行描述是很方便的。如果變成框架以后，就像人工智能框架一樣對編程是非常方便的。圖計算原子操作復雜，然后GPU內存利用率是不高的。如果要對這些圖利用GPU來說，對于并發是絕對沒有問題的。所以改進數據結構，從圖冪律分布出發削減冗余的計算操作，我們提出統一內存利用高效的圖計算原子操作，優化多圖資源利用，搞出一個編程框架來對圖的算法進行精準的描述，就可以比較容易的對圖的性進行提升。
這是我們圖分析框架的編程接口，先把一個問題變成一個圖的結構一個任務，比如說多少頂點多少邊互相怎么連接，頂點預處理，然后對活躍邊進行更新，頂點生成等等迭代技術處理。經過這一套預備、更新、生成框架以后，整個圖的分析和高并發處理就非常簡單了。
這是效果，實現系統資源高效利用。
（一）公共衛生治理平臺
借助數據泛在發現和優化組合，建立起多源異構城市環境氣象數據的跨時空圖結構關聯性。
這是我們和中國城市治理研究院合作的，他們的需求是對霧霾進行監控，這個有點像對臭氧層的監控一樣的，我們也是布了很多傳感器，然后用圖進行分析，對霧霾進行分析和處理。
第一個是利用空間的關聯分析制定霧霾判斷分析。這是對中國的31個省、市、自治區的霧霾和工業產值的關系的分析，所有的關聯數據都可以給出一個框架和處理，整個過程都有圖的分析和決策在里面。
（二）交通客流監控平臺
借助城市大數據三元空間群智發現與群智建模，實現了多元多模數據下的多視圖細粒度人群分析。
這是我們和深圳地鐵集團對城市交通軌道進行了分析。這個數據很簡單，每個地鐵站實際上就是一張圖。
這張圖干什么用呢？就是實時監控，比如進站人數，出站人數，在網人數等。然后用不同的顏色標出來，幾號線、哪個站有多少人等。這樣會便利人們的交通出行。比如知道坐哪條線、哪邊換乘。客流預測精準度從87%提高到95%。
借助城市大數據的深度迭代計算，完成了實時感知與靜態預測的融合，實現城市人口的高效分布推演。
數據量：百萬級車輛千萬級用戶 需求方：深圳市交通運輸委
做什么事呢？人口密集時，有可能會出現危險。人口密度一般來說比較均勻，如果出現紅點了，那么就是人口密度超過正常均值，我們一般在800×800m的范圍內，比如說2萬人口是正常分布，如果超過兩萬就是熱點，黑洞表示人口密度超過正常均值的2倍，就要警示就是要派警力來疏散人群等等。這完全就是一個圖的分析，利用六維數據對圖進行分析對人口密度進行高度精準的預測。
這些方面，我們主要是和深圳、杭州，阿里城市大腦合作，進行大數據的分析，包括人、機、物三元空間分析以及圖分析工具都集成在一個平臺系統里面。前期相關技術應用于阿里城市大腦、網易數據地圖等關鍵資源密集型應用場景，整體性能提升顯著。去年也拿到了教育部科技進步一等獎。
首先是高并發圖化治理任務的硬件加速。這方面現在還沒有做，我們知道人工智能硬件加速非常快。我認為硬件加速非常重要，如果有了硬件，那么我們用傳統的GPU和CPU進行調度會省很多事。針對圖算法，比如說給它可重構計算加速硬件化，那么如何對動態參數調節，比如說基于GPU加速的自適應架構等等，也是研究的另外一個課題。
硬件加速，這是一個自適應的。比如說控制部件也可以硬件化。整個的軟硬件協同設計的一個框架必須要做出來。這對整個高并發圖計算的平臺會產生非常大的影響。
（二）圖化治理任務的運行時自主優化
第二個是運行時自主優化。現在用戶請求、請求預處理及特征表示、調度分配等等這一套，還不是在更精準的狀態下可以做到。必須我們事先預知一些算法，一些統計上的框架來做。今后可能實現自主管理，自主調度。
（三）智慧城市多元化圖計算服務平臺
建立統一的并發圖計算多元支撐平臺，制定設計規范和關鍵技術標準，完善接入機制，促進高質量多元化的圖計算服務。
做服務平臺，針對面向政務的、面向民生的、面向產業的能不能有一個統一化的平臺這個可能就比較大了。比如說現在在做城市特征的一些東西，面向政務的要求可能就會完全不一樣，要做這方面就會遇到很大的挑戰。
我認為這方面可以做很多事情，而且必須是要做的。目前對圖的多程序圖負載、圖并發機制的基準測試程序還很少。以及性能評估標準如何制定這一方面，弄出一個benchmark來大家都可以用，我們也正在做這件事。
圖計算應用正快速普及，涉及智慧城市的方方面面
發展具有大規模高并發特性的圖計算系統正當其時
前期探索表明相關技術具有較高學術價值和應用潛力
并發圖計算離不開底層硬件和系統軟件的密切配合
相關設計規范和評估體系尚不完備，機遇挑戰并存
雷峰網(公眾號：雷峰網)雷峰網
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
