0
計算機視覺技術在真實世界的應用場景十分廣泛。然而，過去主流的小模型方案，難以應對碎片化、多變的長尾需求，限制了技術落地規模。
源自自然語言研究的Transformer架構誕生后，視覺模型與之結合，走上一條“從小變大，從N變1”之路。自2022年起，IDEA團隊從目標檢測出發，打造精準度、通用性、泛化能力兼優的DINO系列視覺大模型。
11月22日，IDEA大會在深舉辦，在本次大會上，IDEA研究院發布了該系列最新的DINO-X通用視覺大模型，擁有真正的物體級別理解能力，實現開放世界（Open-world）目標檢測。無需用戶提示，直接檢測萬物。
與此同時，IDEA團隊還推出行業平臺架構，通過一個大模型基座，結合通用識別技術結合，讓模型不需重新訓練，就可邊用邊學，支撐多種多樣的B端應用需求。
萬物識別：無須指引，罕物盡覽
全面檢測：DINO-X在物體檢測領域樹立新標桿，無需任何提示，即可識別幾乎所有物體，并給出其類別，包括罕見的長尾物體（出現頻率低但種類繁多的物體）。
在零樣本評估設置中，DINO-X Pro在業界公認的LVIS-minival數據集上取得了59.7%的AP，遙遙領先于其它現有算法。在LVIS-val數據集上，DINO-X Pro也表現亮眼，取得了52.4%的AP。具體到LVIS-minival數據集上的各個長尾類別評估中，DINO-X Pro在稀有類別上取得了63.3%的AP（比Grounding DINO 1.5 Pro還要高出7.2%），在常見類別上取得了61.7%的AP，在頻繁類別上取得了57.5%的AP。DINO-X稱得上目前業界檢測最全的通用視覺模型。
泛化和通用性：得益于超過1億高質量樣本的大規模數據集多樣化訓練，DINO-X對未知場景和新物體具有更強的適應性。這意味著在面對未見過的物體或環境時，模型仍能保持高水平的檢測性能。這種超強的泛化能力，使其在實際應用中更加靈活。
多任務感知與理解：DINO-X整合了多個感知頭，支持包括分割、姿態估計、區域描述和基于區域的問答在內的多種區域級別任務，讓感知到理解逐步成為了現實。
長尾目標檢測優化：為了支持長尾目標的檢測任務，DINO-X不僅支持文本提示和視覺提示，還支持經過視覺提示優化的自定義提示。
開放世界：服務豐富場景，邁向具身智能
DINO-X的萬物識別能力，讓其擁有了對開放世界（Open World）的視覺感知，輕松應對真實世界中的眾多不確定性和開放環境，賦能具身智能、大規模多模態數據的自動標注、視障人士服務等高難度場景。
對具身智能而言，開發環境感知和理解是核心能力，這其中的視覺感知更是機器和物理世界交互的基礎。近期，聚焦人居環境具身智能核心技術攻關的福田實驗室正式掛牌，該實驗室正式由IDEA研究院與騰訊合作組建，致力于打造最前沿的具身智能創新平臺。
多模態模型通常需要處理大量的圖片并生成圖文對，而僅依靠人工標注的方式不僅耗時、成本高，而且在面對海量數據時難以保障標注的一致性和效率。DINO-X的萬物識別能力，可以幫助標注公司快速完成大批量的高質量圖像標注或者為標注員提供自動化的輔助結果，從而降低手工標注的工作量。
視障人士獨立性和生活質量的提升對信息獲取與感知等方面有著極高的要求，DINO-X的萬物識別能力恰逢其時地為助盲工具開發帶來福音，為視障人士的未來生活帶來美好希望。
在自動駕駛、智能安防、工業檢測等領域，DINO-X也將發揮關鍵作用。其卓越的通用檢測能力，使得系統能夠應對各種復雜場景，識別出傳統模型難以檢測的物體，為產業升級和社會發展注入新的活力。
Dino-X基座大模型零樣本檢測能力，為廣大中小企業客戶提供便捷高效的計數和標注工具
IDEA研究院一系列視覺大模型，包括DINO-X，為解決業務場景現存的小模型繁多、維護迭代成本高昂、準確率不足等問題，提供了可行的方案。IDEA研究院與多家企業聯合開展視覺大模型及應用場景的探索研究工作，在視覺大模型的落地方面取得了實質性進展。
一方面，有別于市場上的以語言為基礎的多模態大模型基于全圖理解的方法， 通過在物體級別的理解上加入語言模塊優化大模型幻覺問題。另一方面結合自研的“視覺提示優化”方法，無需更改模型結構，不用重新訓練模型，實現小樣本下的場景化定制。 
IDEA研究院通用視覺大模型行業平臺架構
從DINO到DINO-X，IDEA研究院始終站在視覺感知技術的前沿。通過對開放世界的探索和對具身智能的賦能，DINO-X的卓越性能和通用檢測能力更加凸顯。雷峰網(公眾號：雷峰網)雷峰網
值得一提的是，IDEA 研究院也開放了DINO-X API：
https://user.deepdataspace.com/login?redirect=https%3A%2F%2Fcloud.deepdataspace.com%2Fapply-token
有關DINO-X 的技術細節，請參考同期發布的論文。
? 論文鏈接：https://arxiv.org/abs/2411.14347
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
