結(jié)合實際場景，當客戶配置24條64G本地內(nèi)存容量不足，需要擴展至少1TB的情況下，若采用傳統(tǒng)方案，需將所有本地64GB DRAM內(nèi)存模組更換為128GB內(nèi)存，硬件成本高昂且供應(yīng)緊張。而采用元腦服務(wù)器CXL內(nèi)存擴展方案，客戶可維持本地64GB DRAM內(nèi)存不變，通過配置4張CXL內(nèi)存擴展卡（共擴展16條64GB內(nèi)存），在實現(xiàn)同等1TB容量同時，整體采購成本降低超過20%，帶寬性能提升18%。
浪潮信息推出的元腦服務(wù)器CXL內(nèi)存擴展方案，為行業(yè)提供了一種突破性的內(nèi)存擴展與性能提升路徑。方案基于元腦服務(wù)器NF5280G7，創(chuàng)新性地內(nèi)置CXL內(nèi)存擴展卡，實現(xiàn)內(nèi)存容量的彈性擴展，并結(jié)合元腦KOS內(nèi)存優(yōu)化策略，通過智能的內(nèi)存池化與數(shù)據(jù)分層機制，使得擴展的CXL內(nèi)存在訪問熱點數(shù)據(jù)時能夠達到接近本地內(nèi)存的性能。這意味著，在96G、128G大容量內(nèi)存緊缺的條件下，可以更多的使用64G的DRAM，并通過CXL的內(nèi)存擴展來的達到大容量內(nèi)存的需求。方案在實時分析、EDA仿真、大模型推理等大內(nèi)存應(yīng)用場景中，均有良好性能表現(xiàn)。
// 場景一：內(nèi)存數(shù)據(jù)庫應(yīng)用場景，保障高性能與業(yè)務(wù)連續(xù)性
在高并發(fā)場景下（如雙十一等大促期間），Redis內(nèi)存數(shù)據(jù)庫面臨極 高的讀寫請求，峰值流量高，需要存儲多種數(shù)據(jù)，使用元腦服務(wù)器CXL內(nèi)存擴展方案可以擴展8通道，無縫擴展可用容量，內(nèi)存帶寬提升18%，提升Redis數(shù)據(jù)庫的讀寫性能。同時元腦KOS智能將高頻訪問的“熱數(shù)據(jù)”保留在性能更高的內(nèi)存區(qū)域（包括本地DRAM和CXL內(nèi)存的熱區(qū)），而將低頻“冷數(shù)據(jù)”移至成本更優(yōu)的存儲層級，減少CPU等待數(shù)據(jù)的時間，從而降低整體業(yè)務(wù)延遲。
實測表明，在冷熱分層功能支持下，本地DRAM+CXL DRAM的性能與純DRAM的方案基本持平，且達到純使用SSD擴展方案性能的3倍以上，保障了高并發(fā)下的業(yè)務(wù)響應(yīng)速度與連續(xù)性。
// 場景二：EDA仿真場景，平衡容量、帶寬與成本
EDA后端物理仿真仿真是典型的內(nèi)存密集型應(yīng)用，涉及海量電路數(shù)據(jù)的并行計算，單個任務(wù)常需1-4TB大內(nèi)存，且對內(nèi)存帶寬要求極 高。
本方案通過單機配置多張CXL擴展卡，實現(xiàn)對不同容量內(nèi)存條的彈性組合與池化管理。例如，在當前96G及以上內(nèi)存供應(yīng)緊張的情況下，方案采用“64G本地內(nèi)存+CXL擴展內(nèi)存”的配置，不僅有效緩解了對大容量內(nèi)存條的依賴，更使整體內(nèi)存成本降低20%。同時，該方案依托元腦KOS的統(tǒng)一池化與智能調(diào)度能力，可將本地DRAM與擴展的CXL內(nèi)存整合為連續(xù)、統(tǒng)一的高性能內(nèi)存地址空間。KOS通過實時監(jiān)測數(shù)據(jù)訪問模式，動態(tài)優(yōu)化內(nèi)存帶寬分配，確保仿真任務(wù)中高頻訪問的數(shù)據(jù)優(yōu)先駐留于低延遲通道，保障了EDA應(yīng)用所需的大容量內(nèi)存與高并發(fā)帶寬，加速芯片設(shè)計驗證全流程。
// 場景三：大模型推理場景，優(yōu)化KVCache存儲成本
在大模型推理中，海量KVCache存儲需求導致內(nèi)存成本急劇攀升，完全依賴高性能DRAM將極大推高集群部署成本。元腦服務(wù)器CXL內(nèi)存擴展方案通過CXL內(nèi)存擴展卡構(gòu)建大容量內(nèi)存資源池，能將KVCache動態(tài)分配至擴展內(nèi)存中，再結(jié)合元腦KOS智能監(jiān)控，可將KVCache熱點數(shù)據(jù)動態(tài)調(diào)度至*佳性能層，而將歷史或非活躍數(shù)據(jù)緩存置于成本更優(yōu)的層級。
測試結(jié)果顯示，方案在將每GB內(nèi)存成本降低約20%的前提下，通過CXL內(nèi)存復(fù)用KVCache，其推理性能與全部使用DRAM的方案差異不超過5%，實現(xiàn)了成本與性能的卓越平衡。
總體來看，浪潮信息元腦服務(wù)器CXL內(nèi)存擴展方案，通過CXL硬件擴展與KOS智能內(nèi)存管理的深度融合，擴展了本地內(nèi)存容量，實現(xiàn)了內(nèi)存資源的高 效調(diào)度與按需分配，打破了傳統(tǒng)內(nèi)存架構(gòu)的局限，有效提升了內(nèi)存資源的利用率與業(yè)務(wù)吞吐量，為解決行業(yè)“內(nèi)存荒”問題提供了切實可行的技術(shù)方案。
來源元腦服務(wù)器公眾號
