0
| 本文作者： 王悅 | 2024-03-13 15:31 |
3月11日，AI數據技術公司星塵數據（Stardust AI）正式發布MorningStar——一款面向AI的數據閉環產品。MorningStar是目前首個專注數據價值發現的AI數據平臺，基于DataOps的理念打造，全面覆蓋AI算法從訓練到生產全鏈路中的數據發現、管理、協作、迭代等各個環節。
▲MorningStar正式發布
數據技術已經推動了人工智能的三次變革。在大模型時代，各行各業都需要基于自身數據打造超級員工，以提高企業的生產效率。模型和算力可以購買，但數據需要精細化、全流程的管理，才能釋放真正的價值。企業需要搭建一個可發現、可管理、可協作、可迭代的數據管道，才能具備獲取數據、生產數據、持續迭代數據的能力，促進內部以數據為中心的協作，從而在AI2.0時代中獲得核心競爭力。
MorningStar是市面上唯一一個專為AI2.0時代企業打造的數據閉環產品，全面覆蓋AI算法從訓練到生產全鏈路中的數據管理、迭代、優化、挖掘等閉環鏈路，致力于幫助企業建立高效的數據閉環系統，實現數據價值最大化和模型效果最優化，助力打造差異化競爭力壁壘。
一、精準狙擊AI“數據債”，MorningStar應運而生
近年來，AI算法經歷了多個發展階段，但都和數據的突破息息相關。2009年，ImageNet項目充分展示了深度神經網絡的潛力。該項目不僅證實了深度學習模型處理復雜視覺任務的能力，也凸顯了大規模標注數據在訓練高效模型中的重要性。2017年，Transformer架構的推出及其在BERT和GPT等模型中的應用，帶來了另一次飛躍。這一階段的關鍵創新在于能夠利用全網數據進行大規模并行訓練，顯著提升了模型的理解和生成能力。2022年，大語言模型進一步證明了數據策略和數據質量對于模型的重要性。
過去，MLOps一直是業界關注的焦點，即如何優化模型的性能。2021年吳恩達提出了Data-centric AI的主張，許多研究人員開始將目光轉向以數據為中心的AI研究。其主要目標是加強數據的質量和數量，而不過多關注模型結構的調整。在大模型領域，這種轉變尤為顯著。例如，相較于GPT2，GPT3在模型結構上的改變微乎其微，更多的精力放在了清洗高質量的大規模訓練數據上。同樣，ChatGPT與GPT3相比，也沒有改變模型結構，而是采用了全新的數據策略與人類意圖對齊。
AI的三次變革凸顯了數據技術在推動機器學習算法進步方面的關鍵作用。事實上，算法開發過程中有80%的工作與數據相關。一個算法的上線部署需要經歷需求定義、方案制定、數據采集、數據標注、模型設計、訓練、指標測試、推理優化等等。在各個環節中，各個角色跨組織協同會導致企業數據債的產生。簡單來說，數據債指的是企業當前狀態與最大化數據價值之間的差距。數據債包含算法和其他部門的認知差別、項目時間上的認知差別、文檔和數據語義的差距、不同數據集定義之間的差距等。數據債不僅會導致數據價值無法釋放，運營成本不斷增加，還會影響模型的上線和迭代效率。
▲機器學習全生命周期數據債
“為了解決機器學習中的數據債問題，MorningStar應運而生。”星塵數據創始人&CEO章磊表示：“MorningStar專注于發現數據價值，加速模型迭代，為AI2.0打造以數據為中心的協作環境，消除數據債。”
MorningStar全面覆蓋AI全生命周期的數據閉環，不僅能確保數據的統一管理和快速迭代，還集成了主流難例數據的發現策略，支持AI算法的高效迭代，為企業提供一個全面的數據維護工具，以滿足其對數據管理和價值挖掘的需求。
二、重構數據閉環，打通AI數據全生命周期管理
在機器學習中，模型在整個流程中所占比重很少，算法工程師絕大部分時間都是花在思考業務、數據標注和數據分析上，以提高模型的泛化性。算法工程師需要耗費大量的時間和精力仔細研究數據，找出異常之處，了解數據規律，反復編排流程，比較版本差異，以提高模型的泛化性，達到最佳效果。例如：難以直觀看到數據分布，效率低；數據語義缺乏記錄，難復現；數據指標不完善，難挖掘；數據量巨大，檢索困難......據OpenAI內部工程師透露，由于數據歷史語義丟失，ChatGPT之前曾一度面臨模型無法復現的問題。
針對這些痛點，星塵數據自主研發了AI數據全生命周期管理功能，強化數據版本控制、快捷數據切片、可追溯數據血緣和安全管控。MorningStar集成了八大功能，其自動化工作流能夠確保數據在每個階段都能得到妥善管理和最優化。
▲MorningStar數據閉環
● 數據可視化：支持多源、多格式、異構的結構化數據統一管理，實現全面而高效的數據收集與存儲。
● 數據生命周期管理：用戶可以通過平臺進行數據流程的編排和調度，實現數據的自動化處理和轉換，同時記錄全生命周期數據信息，確保數據的可追溯性和操作的可復現性。
● 數據探索：提供超大規模AI數據管理能力，用戶可以利用平臺的強大搜索功能，通過多語義、跨模態等方式快速找到所需的數據，并進行可視化分析。
● 難例發現：集成主流難例發現策略，如主動學習等，為算法工程師提供數據特征分布、可視化和模型指標計算等便捷功能。
● 人類反饋：創建高質量的人類反饋通道，一鍵送標至自動化標注系統Rosetta。
● 數據合成：支持可控數據生成，填補現實世界中的數據空白，提高模型的魯棒性和適應性。
● 算法指標跟蹤：支持SDK，打通算法和數據的反饋閉環，可進行算法管理和指標評測，提升模型迭代的效率和可靠性。
● 數據連接：推理管理與性能監控，實現模型部署和優化的高效循環。
▲ AI數據發現、管理、協作、迭代平臺MorningStar
章磊表示：“MorningStar的目標用戶主要分為三類：機器學習算法工程師、業務人員、研發負責人。對于不同的用戶，我們的平臺可以滿足各種需求，包括發現數據中的難例，跟蹤指標，記錄數據全生命周期等等，從而讓數據價值最大化，模型更好地迭代。”
三、集合主流難例發現策略，大幅提高算法效果
MorningStar具備豐富的數據挖掘工具，兼容各類難例數據發現策略，助力發現數據的全面價值，包括細顆粒度可視化、指標計算、數據分布探索、跨模態數據檢索等。通過人工監督、語義檢索、特征生成和數據增強等手段，提高算法效果，助力算法迭代降本增效。
▲通過數據分布發現難例
此外，MorningStar具備強大的指標追蹤與模型分析能力，能夠保障模型訓練過程的可追溯性與可迭代性。通過一系列數據追溯、模型調試和分析生成工具，助力實現和維護高質量、可再生產的AI模型。
▲MorningStar客戶案例
一位自動駕駛算法工程師曾反饋，原本需要花費1天時間才能發現的難例，通過MorningStar平臺只需要1-2小時即可，大大提高了迭代效率。
四、解鎖數據潛力，實現數據價值的最大化
現階段，算力和基座模型都可以直接購買，公域數據逐漸成為標品的情況下，私域數據成為了企業最核心的競爭力。然而，數據量并不等于數據質量，企業只有自身具備沉淀私域高質量數據的能力、即可直接用于生成超級員工的數據，才能獲得市場競爭的核心優勢。從這個角度上看，具有數據價值發現的數據管理平臺，成為了AI2.0時代的必然趨勢和全新挑戰。
MorningStar致力于幫助企業建立可發現、可管理、可協作、可迭代的數據管道，將助力企業在未來競爭激烈的市場中占據領先地位。
數據價值可發現
MorningStar能夠幫助企業將海量非結構化數據轉為數據洞察，幫助企業作出更明智的決策，優化業務流程，提高效率和競爭力。
數據要素可管理
MorningStar支持對數據集進行全面分析，助力企業和團隊負責人實現企業級數據要素管理分析，一覽呈現數據資產規模、內容分布、歸屬權等維度的信息。
數據應用可協作
MorningStar提供了協作和共享功能，支持數據權限管理，使團隊協作更安全。企業可以創建多個用戶賬號，控制數據訪問權限，并支持實時協作編輯數據。
數據資產可迭代
MorningStar支持數據版本控制和追溯，幫助企業跟蹤數據的使用過程。通過不斷地迭代和改進數據資產，保持數據的活力和價值，適應不斷變化的業務環境。
章磊介紹說：“在 AI2.0 時代，掌握自己的數據就是掌握自己的模型。”企業數據價值的核心在于定義、管理和迭代數據。通過可發現、可管理、可協作、可迭代的數據管道，企業的生產力可實現10倍以上的提升。雷峰網雷峰網(公眾號：雷峰網)雷峰網
隨著大模型的普及，AI已經迅速滲透到各行各業，企業擁有的數據是核心競爭優勢。MorningStar不僅能夠支持企業高效迭代AI數據的關鍵環節，避免數據債風險的積累，還能減少低價值數據成本的浪費，解決模型訓練和應用效果反饋鏈條過長等問題。作為AI數據服務的先行者，星塵數據不僅將用MorningStar助力AI2.0發展，還將持續以數據為中心，推出新的功能和服務，以滿足用戶不斷變化的需求，發現數據價值，加速AI創新。
雷峰網版權文章，未經授權禁止轉載。詳情見轉載須知。
