11月18日消息，日前，全球首創的開源數據編排軟件開發商Alluxio宣布正式發布數據編排平臺2.7版本，新版本立即可用。2.7版本通過并行數據加載、數據預處理和訓練工作流，可將機器學習(ML)訓練的I/O效率提高8-12倍，從而顯著降低成本。新版本還提供了更強的性能分析，并能更好地支持Apache Hudi和Iceberg等開放表格格式，使得對數據湖的訪問更易于擴展，從而實現了Presto和Spark的分析提速。

“Alluxio 2.7版本進一步鞏固了Alluxio在云上人工智能(AI)、機器學習和深度學習方面的重要地位，”Alluxio創始人兼首席執行官李浩源表示。“隨著數據集的增長以及CPU和GPU計算能力的增強，機器學習和深度學習已成為AI主流技術。這些技術的興起推動了AI的發展，但也凸顯了數據和存儲系統訪問中存在的一些挑戰。”

“我們在1000個節點的集群中部署了Alluxio，用來加速我們游戲AI平臺上模型訓練的數據預處理。事實證明Alluxio穩定、可擴展且易于管理。”騰訊大數據平臺研發負責人陳鵬表示。“隨著越來越多的大數據和AI應用容器化，Alluxio正在成為大型企業和機構的首選，作為加速數據分析和模型訓練的中間層。” 為了達到這一目標，騰訊Alluxio OTeam的毛寶龍團隊與社區緊密合作，貢獻了一系列重要的功能，包括運行期動態更新配置、CephFS存儲支持，修復了超過二十個bug并增加了二十余個系統指標。

“擁有大規模分析和AI/ML計算框架的數據團隊面臨著越來越大的壓力，需要讓日益增長的數據源更易于訪問，同時確保性能的穩定，這需要同時考慮數據本地性、網絡I/O和成本問題，”ESG分析師 Mike Leone表示。“企業和機構希望選用更實惠和可擴展的存儲，如云對象存儲，同時避免昂貴的應用程序修改或處理新的性能問題。Alluxio通過抽象存儲細節并使數據更接近計算側來應對這些挑戰，尤其是在混合云和多云環境中。”

Alluxio 2.7版本新增以下功能：

使用Alluxio和NVIDIA的DALI進行機器學習訓練

NVIDIA的數據加載庫(DALI)是一個常用的Python庫，支持通過CPU和GPU進行數據加載和預處理從而加速深度學習。在2.7版本中，Alluxio平臺進行了優化，可以與DALI一起部署用于加速基于Python的ML應用，其中包括模型訓練和推理之前的數據加載和預處理步驟。通過加速I/O密集型工作并允許并行處理后續的計算密集型訓練，Alluxio數據平臺上的端到端訓練與傳統解決方案相比實現了顯著的性能提升。對于海量小文件的訓練，與其他解決方案相比，該解決方案可以實現橫向擴展(scale-out)。

大規模數據加載

Alluxio的核心定位是數據管理能力，這些能力包括對分散的數據源進行統一和實現緩存。隨著Alluxio越來越多地用于計算和存儲跨多個地理位置的場景，Alluxio自身也在不斷擴展。本次更新采用新技術對數據進行批處理，從而增強其可擴展性。批處理通過使用內置執行引擎處理數據加載等任務，減少了管理控制器對資源的需求，從而減少了系統配置的工作量，降低了成本。

Kubernetes上的易用性

Alluxio現在支持用于Kubernetes的原生容器存儲接口(CSI)驅動，以及用于ML的Kubernetes operator，這使得在容器化環境中的 Alluxio平臺上操作 ML工作流比以往任何時候都更加容易。 Alluxio的卷類型現在可用于 Kubernetes 環境。敏捷性和易用性是本次新版本關注的重點。

在Presto上基于分析動態調整緩存

新版本還推出了智能緩存新功能，名為Shadow Cache，能夠動態分析緩存大小對響應速度的影響，從而輕松實現高性能和低成本之間的平衡。對于大規模的多租戶Presto環境，此新功能通過自助管理顯著降低了管理開銷。

“在存儲與ML計算分離的情況下，數據平臺團隊利用 Alluxio 來簡化數據預處理和加載階段，”Alluxio高級產品經理 Adit Madan表示，“這種簡化使得Spark ML、Tensorflow 和 PyTorch 等框架能最大限度地利用GPU。 Alluxio 解決方案可在 AWS、GCP 和 Azure Cloud 等多個云平臺上使用，現在也可在私有數據中心或公有云中的 Kubernetes上使用。”

日前，Alluxio宣布完成5000萬美元C輪融資，該輪融資由新投資方高瓴創投領投，戰略投資方和原股東a16z, Seven Seas Partners，火山石投資跟投。與此同時，Alluxio 宣布將大力拓展國內市場業務，將北京設立為中國區總部，并成立本地化的研發團隊，以快速響應并滿足眾多國內企業的個性化需求。