(資料圖片僅供參考)

隨著人工智能應(yīng)用的廣泛應(yīng)用，圖形處理器（GPU）作為AI計算的核心硬件之一，需求量持續(xù)增長。為滿足這一需求，京東云近日推出了一種名為vGPU的池化方案。這是一種一站式的GPU算力池化能力，能夠使GPU的利用率提高最高達(dá)70%，從而大幅度降低大模型推理的成本。 實踐效果顯示，通過GPU異構(gòu)資源池化，AI運行效率得到提升，成本降低，整體GPU利用率提升70%，具有顯著的優(yōu)勢和實際應(yīng)用價值。結(jié)合任意切分和按需分配，在同等GPU數(shù)量的前提下，實現(xiàn)了數(shù)倍業(yè)務(wù)量擴(kuò)展和資源共享，降低了硬件采購成本，使用更少的AI芯片支撐了更多的訓(xùn)練和推理任務(wù)。 京東云表示，這個方案是基于他們自主研發(fā)的混合多云操作系統(tǒng)云艦。在原有支持混合多云CPU算力池化能力的基礎(chǔ)上，京東云針對大模型訓(xùn)練所需的泛算力池化能力，進(jìn)一步增強(qiáng)了針對AI應(yīng)用所需的調(diào)度管理能力。這包括卡管理、節(jié)點管理、異構(gòu)資源調(diào)度管理等，為包括大模型訓(xùn)練在內(nèi)的多種AI應(yīng)用，提供一站式算力池化解決方案，從而全面提升資源利用率。 京東云的這個池化方案具有四大優(yōu)勢：算力切分靈活，支持精細(xì)化的配額管理，適配主流CUDA版本和不同GPU芯片適配，還支持節(jié)點虛擬分組和節(jié)點組指定應(yīng)用使用，這些優(yōu)勢將全面提升大模型訓(xùn)練效率。 在實際使用場景中，開發(fā)者可以根據(jù)卡型號申請資源，按算力和顯存切分，統(tǒng)一由控制器根據(jù)用戶指定的調(diào)度策略調(diào)整。僅在訓(xùn)練、微調(diào)和推理任務(wù)啟動時進(jìn)行動態(tài)分配，在任務(wù)結(jié)束即可以釋放，支持多任務(wù)算力隔離和任務(wù)冷啟動。 京東云的vGPU池化方案是一種高效、靈活、經(jīng)濟(jì)的解決方案，對于大模型訓(xùn)練和AI應(yīng)用具有重要的實用價值。未來，隨著人工智能技術(shù)的不斷發(fā)展和普及，vGPU池化方案將會發(fā)揮更加重要的作用，為企業(yè)的AI應(yīng)用提供更加靈活和高效的解決方案。

關(guān)鍵詞：