智能制造網APP
智能制造網手機站
智能制造網小程序
智能制造網官微
智能制造網服務號
智能控制
機器人
儀器儀表
物聯(lián)網
3D打印
工業(yè)軟件
回放
品牌
“到2025年底，建成世界級人工智能產業(yè)生態(tài)；力爭全市智能算力規(guī)模突破100EFLOPS；形成50個左右具有顯著成效的行業(yè)開放語料庫示范應用成果；建設3—5個大模型創(chuàng)新加速孵化器，建成一批上下游協(xié)同的賦能中心和垂直模型訓練場。”2024年12月，上海發(fā)布《關于人工智能“模塑申城”的實施方案》(以下簡稱《實施方案》)，在方案中提出了一系列有關人工智能產業(yè)發(fā)展的目標。
在先后經歷了信息化、數字化革新后，上海正在積極投入城市“數智化”建設，為以大模型為代表的新一代人工智能產業(yè)的發(fā)展添瓦加磚，為強化大模型基礎底座賦能。
在今年1月舉行的上海市“人工智能+”行動推進大會暨中國—金磚國家人工智能發(fā)展與合作中心基地啟用儀式上，“模塑申城”五大公共服務平臺正式亮相，包括由上海儀電集團運營上海智能算力公共服務平臺、庫帕思牽頭“模塑申城”語料普惠計劃、上海人工智能實驗室運營大模型評測與驗證中心、上海創(chuàng)智學院牽頭“百人百項”青年科學家計劃，以及上海國投—徐匯融資服務中心。
作為大模型最重要的燃料，算力和語料直接關系著大模型產業(yè)落地的進展。經過并不算長的時間的跨越式發(fā)展，這兩大關鍵平臺目前不僅為上海的基礎模型企業(yè)提供保障，同時也正在順應垂類應用蓬勃發(fā)展的趨勢，為企業(yè)創(chuàng)新提供高性價比、高質量的算力與語料支持。
國資扛起算力供給重任
曾經參與籌辦了以往七屆世界人工智能大會的孫躍在2024年7月有了新的身份——上海儀電智算科技公司總經理。
“2023年，隨著國產大模型的蓬勃發(fā)展，市里意識到建設完善支撐大模型發(fā)展的智能算力功能性公共服務設施的重要性。”與以往超算中心以CPU為主的算力不同，大模型的訓練和推理都需要由GPU支撐，且算力需求呈現(xiàn)指數級增長。“缺卡缺算力”成為大模型創(chuàng)新的一個關鍵掣肘，業(yè)內預計這種供需不平衡可能在未來三五年都會持續(xù)存在，人工智能日新月異的迭代速度決定了抓住產業(yè)發(fā)展窗口期的迫切性。
為此上海決定設立一個國資的算力平臺，為上海的大模型企業(yè)和科研單位提供基礎的人工智能算力保障，降低創(chuàng)新成本。這一意見很快得到落實，上海儀電(集團)有限公司作為大股東承擔起了上海儀電智算科技公司的牽頭建設工作，當年即投入運營。
“經過兩年時間，我們已經建成投產了多個萬卡集群。”孫躍介紹說，目前上海儀電智算科技公司正在為上海的重要大模型企業(yè)以及研究機構提供算力服務，支持他們的科研和大模型開發(fā)，包括上海算法創(chuàng)新研究院、大模型創(chuàng)業(yè)企業(yè)階躍星辰等。
相對于自建集群來說，租用算力可以免去承擔巨額硬件資產的投入成本。“我們的目標是通過相對低成本的規(guī)?；\營為上海的人工智能創(chuàng)新企業(yè)和戰(zhàn)略客戶提供靈活的公共算力服務。”
除了成為公共算力服務商，打造國產算力軟硬件生態(tài)也是上海儀電智算科技公司作為國資功能性平臺的另一個重要使命。
“作為上海市智能算力公共服務平臺，要發(fā)揮國產智算產業(yè)鏈生態(tài)鏈接和引領作用，通過國產芯片軟硬件和解決方案適配來降低國產芯片的使用門檻，讓國產算力能夠更好地服務大模型發(fā)展。”
孫躍介紹，上海儀電智算科技公司從2024年初開始建設國產化AI算力適配測試中心，目前已完成十余款國產芯片的適配測試，并開展國產軟硬件平臺的適配和新技術驗證，有力支撐了我國自主創(chuàng)新生態(tài)的構建。
伴隨著人工智能技術的深入發(fā)展和大規(guī)模應用，模型后訓練和推理需求可能很快會超過預訓練算力需求，而在此之前，作為上海儀電智算科技公司來說，需要為新一輪產業(yè)和技術革命的到來提前做好算力保障和穩(wěn)定供應的準備。目前，上海市智能算力公共服務平臺一方面進一步強化規(guī)?；闹撬慵汗こ探ㄔO運營能力。同時，著力推動基礎設施IaaS、軟件工具平臺PaaS、語料數據層DaaS及模型層MaaS能力整合，提供“訓推一體、混合部署”的智算云服務，加速向國內一流的智算云公共服務商轉型，支撐本市大模型行業(yè)垂類應用和千行百業(yè)數字化轉型。
語料供給有了正規(guī)軍
在AI應用中，語料質量直接決定了模型的性能。高質量的訓練數據能夠有效減少模型在推理過程中的錯誤率，提高模型在實際應用中的創(chuàng)作能力和生成質量。
近兩年，隨著AI技術的快速發(fā)展，產業(yè)界也越發(fā)意識到數據質量管理的重要性。不過，數據市場普遍存在授權難、成本高和版權風險大的問題。
授權難是指模型公司難以通過合規(guī)渠道獲取語料，有礙于基礎模型和垂類模型的商業(yè)化應用推廣和技術迭代創(chuàng)新。成本高則體現(xiàn)在當前購買語料的價格大部分是以版權計價的方式進行，授權周期通常為1年，到期還需銷毀，繼續(xù)使用需要再次收費。而在版權方面，近兩年，人工智能版權糾紛的問題讓大模型公司經常處于“風口浪尖”上。
“之前語料數據管理市場沒有方法論，俗稱‘亂燉’式，找來的數據對提升模型能力究竟有沒有幫助，效果未知。”上海庫帕思科技有限公司(以下簡稱“庫帕思”)董事長山棟明日前在接受澎湃科技采訪時坦言當前數據市場存在的“難言之隱”。
庫帕思成立于2024年3月下旬，是按照上海市委、市政府部署，由上海聯(lián)和(信投)牽頭，協(xié)同相關數據資源方和大模型相關企業(yè)組建的中國第一家人工智能語料公司，專注于大模型和垂類模型的發(fā)展，聚焦高質量人工智能語料供給。
庫帕思定位是帶有功能性的語料服務專業(yè)化運營平臺，提供一站式的高質量語料服務，推進多層次語料體系建設。“通俗理解，我們有三個角色，一是數據標注施工隊，二是語料處理總包商，三是語料專業(yè)開發(fā)商。”山棟明介紹說。
經過近一年的實踐，庫帕思圍繞服務萬億級參數模型訓練持續(xù)擴容基礎語料庫，去年9月完成第二批語料采購和交付任務，已經啟動第三批語料清單方案。目前已經實現(xiàn)成品語料輸出約200TB，鏈接生態(tài)主體超100家，直接服務器機構數量超30家。同時圍繞打造中國版Sora，推動高質量多模態(tài)語料供給，與眾多內容供給企業(yè)形成合作。
在語料服務模式上，庫帕思也改變硬盤拷貝、云端傳輸等傳統(tǒng)數據交付方式，根據基礎模型、垂類模型、端側模型不同需求，提供語料動態(tài)配比、知識修正、價值對齊、快速封裝等“一站式”交付服務。庫帕思提出的系統(tǒng)化清洗流程，涵蓋了從數據預處理到語法糾正的多個步驟。這種方法不僅提高了標注數據的準確性，還大大減少了人工干預的頻率，從而提升了數據處理的整體效率。山棟明介紹，傳統(tǒng)數據公司只提供原始數據，而庫帕思提供清洗標注后的語料，可直接用于模型訓練。
此外，針對業(yè)內缺乏統(tǒng)一的高質量數據集定義標準，導致不同公司、不同機構或平臺即便有了高質量數據，但仍要耗費人力和時間重新處理數據標注的情況，庫帕思自成立以來也在推動語料工作的標準創(chuàng)新。
在2024世界人工智能大會語料主題論壇上，庫帕思公司同覆蓋多模態(tài)數據資源供應、加工、應用和運營全鏈在內的近二十家企業(yè)共同發(fā)布了團體標準《語料庫建設導則》。在語料數據清洗方面，庫帕思在國家知識產權局申請了一項名為“語料數據的清洗和質檢方法、設備、存儲介質及程序產品”的專利。該專利公開號為CN119128385A，申請日期為2024年9月。專利的核心在于有效提升語料數據的質量，這對于AI領域尤其是自然語言處理(NLP)和知識圖譜等應用具有深遠影響。
“我們把自己定位為人工智能拼圖中的生態(tài)鏈接者，致力于制定行業(yè)標準，構建AI生態(tài)。”山棟明說。
為垂類模型企業(yè)降低創(chuàng)新成本
伴隨著大模型行業(yè)發(fā)展需求的變化，上海儀電智算科技公司從去年開始也在逐步轉型，“起初我們主要任務是保障基礎大模型用戶，現(xiàn)在隨著大模型行業(yè)應用的發(fā)展，我們的服務對象擴展至各類垂類大模型企業(yè)。”孫躍說。
和基礎大模型相對量大、穩(wěn)定的算力需求相比，垂類模型的算力需求更加靈活，“可能每次需要的量不多，頻率也不穩(wěn)定，這就需要我們有更加靈活的應對方案。”為此，從2024年起，上海儀電智算科技公司不僅提供自己的算力，還在打造一個算力的靈活調度平臺，通過平臺協(xié)調其他社會算力資源，來共同服務垂類大模型的算力需求。“資源集中化、規(guī)?；?，才能提高資源的有效利用率，從而降低成本。”孫躍介紹說。
山棟明也表示，自成立以來，庫帕思也在一路探索模型公司對語料需求的變化。和上海智算公司一樣，庫帕思在創(chuàng)立之初也主要服務于基礎大模型，隨著產業(yè)不斷演進，模型未來的核心不僅僅是基礎大模型能力本身，而與應用緊密掛鉤。在應用領域，過往選模型的邏輯并不適用現(xiàn)在，“某些模型整體表現(xiàn)不錯，但在特定應用場景中，表現(xiàn)未必最好”，其中差異的關鍵在于用于模型訓練語料的不同。
庫帕思的目標是大幅降低居高不下的AI應用成本，讓開發(fā)垂類模型的中小企業(yè)能夠零門檻使用數據，實現(xiàn)“開箱即用”。此外，在垂類領域上，已聚焦“5+6”垂類領域(金融領域、醫(yī)療領域、制造領域、教育領域、文旅領域、城市治理領域)按照“一業(yè)一方法”建設行業(yè)語料庫。
此外，庫帕思也在發(fā)力具身智能、機器人等前沿垂類領域的高維語料需求市場，目前該公司已經聯(lián)合上海國地中心、智元、傅利葉、開普勒、21所編制發(fā)布《具身智能語料庫建設導則》，下一步庫帕思將推動具身智能真機數據采集上規(guī)模和上質量，在世界人工智能大會前將發(fā)布更大規(guī)模、更多樣場景的具身智能語料庫。此外，進一步增強語料智能清洗與質量保障、智能合成和模型價值對齊、智能配比和知識修正等方面的技術能力。
浙公網安備 33010602000006號
智能制造網APP
智能制造網小程序
微信公眾號
