久久ER99热精品一区二区-久久精品99国产精品日本-久久精品免费一区二区三区-久久综合九色综合欧美狠狠

專欄中心

EEPW首頁 > 專欄 > 開源平臺MARO:資源調度優化的任意門

開源平臺MARO:資源調度優化的任意門

發布人:MSRAsia 時間:2020-12-03 來源:工程師 發布文章

過去三年,在與微軟亞洲研究院“創新匯”成員企業探討 AI 如何在各行業落地的過程中,微軟亞洲研究院的研究員們發現,資源調度優化是很多領域都存在的通用問題,這也是為什么經久不衰的“運籌學”廣泛應用于各行各業的原因。因此,基于三年來與成員企業的合作研究,微軟亞洲研究院發布了多智能體資源優化平臺“群策 MARO”,并將其開源。

MARO 適用于由資源供需不平衡導致的資源利用率低的問題,而這樣的問題廣泛存在于多個行業的不同場景。如何更好地在不同參與者間以合理的成本提高資源利用率,為行業創造更大的利潤空間,且為社會節省不必要的資源浪費,是 MARO 的使命。這其中,利用創新技術助力企業和組織在關鍵場景中高效配置資源、節能減排,也是微軟可持續發展戰略中的重要一環。

資源分配如何優化?MARO來幫忙

剛剛過去的雙11其實就是一個典型的倉儲物流行業資源匹配的場景,由于大家的“爆發式”采購,三五年前我們經常聽到出現“爆倉”的問題,但近兩年這個問題相對得到了緩解,其主要原因就是倉儲物流調度水平的大幅提升。其他常見的、需要資源調度優化的場景還有共享單車中自行車與站點、人的匹配,物流運輸中集裝箱與港口、船只、貨物的匹配,電信領域無線****帶寬與用戶流量的匹配,數據中心計算資源與運行任務之間的匹配,制造企業的生產與排程等等。

微軟亞洲研究院的研究員們將資源調度優化這個場景高度抽象,搭建出了一個可以讓 AI 技術更好賦能這一場景的、通用的技術平臺 MARO。MARO是一個面向多行業橫截面上的全鏈條資源優化 AI 解決方案,對于 MARO 已經涵蓋的場景,用戶只需提供合規的數據,MARO 就可以構建仿真環境并支持分布式并行訓練,進而給出最終的解決方案;而對于尚未支持的場景(如不同的資源實體,不同的資源產生和消耗邏輯等),MARO 則可以在限定的成本下幫助構建可行的方案。

1.png

從技術角度來看,智能資源調度優化可以分為三個層面:最底層,可以理解為信息感知層,在這里需要通過一些智能感知技術把整個過程真正數字化,比如共享單車場景里的每個停車點、每輛單車,或是航運物流里的每個集裝箱、船只、港口等;第二層是信息的推理層,它建立在信息感知層之上,通過預測模型刻畫未來的資源供需情況,然后基于這些情況來設計算法去優化資源調度;最高層則是智能決策層,該層無需額外的算法模型,因為智能模型可以直接利用第一層和第二層的信息給出最終的優化方案,實現完全的、端到端的決策。目前,業界的優化應用大多處于第二層,而 MARO 在兼顧第二層需求的前提下,可助力資源優化實現第三層中的智能決策。

打開MARO的正確姿勢

考慮到不同行業用戶對 AI 技術的掌握程度會有所不同,MARO 平臺提供了三種面向不同用戶的構建方式,以幫助相關人員由淺入深地應用 AI 技術,創建自己的資源調度優化模型,同時,也降低了科研成果在真實場景中應用的門檻,讓 AI 可以助力解決業界更多的實際問題。

2.png

MARO 平臺的三層架構

MARO Service:服務層,開箱即用

對于擁有行業領域知識,但沒有機器學習開發經驗的人員來說,MARO Service 提供了一些現成的資源調度場景的優化模型,如已經上線的空集裝箱調配和共享單車場景等。如果用戶面臨與這三個模型高度匹配的業務場景,那么導入自己的業務數據,即可使用相應的模型直接連接上下游業務系統。MARO 團隊還在不斷改進該層服務,未來將會選取更多領域的典型資源優化場景加入到平臺中,讓更多行業用戶受益。

MARO Platform:構建和訓練自己的資源調度模型,并可直接用于生產

對于需要構建自有模型的用戶來說,如今無需太高的 AI 技術要求,就可以在 MARO Platform 靈活創建新場景、訓練新模型,不斷測試新算法的優劣,通過反饋持續調整優化模型。例如,有一定規模的物流企業,本身已具有相應的技術積累,也有自己的傳統解決方案,如果希望利用 AI 尋找創新的優化方案,那么此時就可以通過 MARO 提供的工具快速構建模擬場景,并基于實際的數據和業務邏輯進行優化,從而迭代出自己的模型,且可以將該模型集成到自有的生成環境中使用。

在技術實現方面,MARO Platform 中所提供的高性能仿真器是其精髓所在。首先,用戶需要在仿真器環境中構建一張初始的靜態圖,根據實際場景可以包含異構的點和邊。比如在共享單車場景中,單車站點對應靜態圖中的“點”,而站點的位置遠近對應“邊”,再加上站點容量等其他信息,就可以構建出一張靜態圖,也是機器認知的初始環境。

3.jpg

搭建包含業務邏輯的動態環境

然后,導入用戶的騎行數據(資源需求流),這對系統而言相當于一個個事件(Event)流,它們不斷觸發、更改圖上節點以及邊的各種屬性,從而形成了一個包含業務邏輯的動態環境。通過環境與事件的不停交互,MARO 可提供基于 AI 算法的幾近實時的優化策略,傳統方法需要幾小時才能生成的策略,MARO 幾秒鐘就可以提供。而且環境增強的方法使得 MARO 的仿真環境可以在一定程度上模仿現實的異常環境,進而提高模型的魯棒性,比如資源網絡中任意一個節點出現問題,只需把該節點停掉即可,并不會影響整體算法。

這其中,資源需求的時序信息、資源持有者的空間信息等,都可以通過圖神經網絡有機地整合在一起,以輔助做出更好的決策。同時,MARO 還會考慮資源持有者相互之間的競爭,包容每個資源持有者可能會著眼于局部優化,而給出相對“自私”一點的策略,來完成競合策略學習,但其最終目的還是希望全局網絡能夠實現更好的優化。

如果將共享單車的場景延伸到數據中心虛擬機的分配中,那么關鍵資源則由自行車變成了計算機集群上的計算資源,如 CPU、存儲,而事件流變成了客戶對資源的實時需求,如需要10 個 CPU、100GB 內存這樣的事件。盡管使用場景變了,但調度優化的本質并沒有改變。因此,MARO 可以最大程度地適用于多個行業需要資源優化的各種場景,同時它還可以與基于運籌學和組合優化的傳統方法相互融合。

MARO Framework:基礎設施快速搭建,SDK調用所需資源

對于有著較深開發積累的用戶來說,MARO Framework 提供了一個可擴展的工具包,可以基于現有的高性能模塊以及通用接口實現“更加原創的”仿真環境構建和問題建模。開發人員可以通過 SDK 調用任何所需的計算、存儲、網絡等資源,也可以根據自己已有的計算機集群搭建 MARO 的平臺,進而獲得在分布式環境下進行并行訓練的支持。此外,對于現有問題 MARO 還提供了一批基準算法實現,包括基于經典規則的方法、基于運籌學的組合優化方法、以及基于經典的強化學習的方法,方便用戶進行算法比較并快速上手。

由于資源優化是個獨有卻普遍存在于各個行業的應用場景,所以 MARO 為不同行業、不同需求的用戶分層提供了相應的框架和工具,用戶可以更好地專注于自己業務邏輯場景的開發和目標模型的優化,其他諸如訓練和管理模型、基礎設施提供甚至可視化分析等“雜事”都可以放心地交給 MARO 來處理。

*博客內容為網友個人發布,僅代表博主個人觀點,如有侵權請聯系工作人員刪除。

關鍵詞:

相關推薦

美國撤銷三大半導體企業在華的設備豁免

2025-09-02

FB-PLC溫度量測及溫度PID控制

如何使用Microchip MAPS選擇適合你的PIC? MCU

最新全球生成式AI消費應用榜單Top 100

2025-09-02

PIC10F32X和PIC16F150X系列集成的數控振蕩器

互補波形發生器的基本操作

FB-PLC之NC定位控制

資源下載 2007-02-09

內存巨頭,脆弱的鏈接:韓國對日本 HBM 供應鏈的依賴

網絡與存儲 2025-09-02

阿里云采購寒武紀15萬片GPU傳聞不實,國產芯片技術突破與商業化落地之間仍存在較大差距

2025-09-02

納米片,讓芯片再小一點

EDA/PCB 2025-09-02

dToF 傳感器提升 3D 空間檢測分辨率

國產AI算力大規模進駐頂尖高校

FB-PLC內部之記憶體配置及其單點(數位)與暫存器明細

實現120層堆疊,下一代3D DRAM將問世

網絡與存儲 2025-09-02

FB-PLC LINK功能之應用

資源下載 2007-02-09

面向超精準應用的匹配電阻器網絡

視頻 2012-06-27

FBe系列PLC使用者手冊(硬體篇)

京東方將打入iPhone 17 Pro面板供應鏈

2025-09-02

日廠擴產緩解CoWoS材料缺貨 臺玻纖布業者仍有挑戰

EDA/PCB 2025-09-02

PIC10F32X和PIC16F150X系列的可配置邏輯單元

更多 培訓課堂
更多 焦點
更多 視頻

技術專區