項(xiàng)目概況
項(xiàng)目背景
2023年10月，衛(wèi)寧健康發(fā)布了面向醫(yī)療垂直領(lǐng)域的大模型WiNGPT，能夠精確滿足各種業(yè)務(wù)需要，具有較高的準(zhǔn)確率和較低的誤診可能性，幫助醫(yī)院提升了診療效率。
當(dāng)下，面對(duì)精益化運(yùn)營(yíng)的需求，為縮短WiNGPT生成時(shí)間，保障用戶體驗(yàn)，同時(shí)降低大模型的部署成本，以更好地釋放大模型在智慧型醫(yī)療業(yè)務(wù)中的應(yīng)用潛力，衛(wèi)寧健康亟需進(jìn)行全新算力方案開發(fā)，以加快人工智能驅(qū)動(dòng)的醫(yī)療信息整合解決方案的更好實(shí)施。
解決方案
為滿足客戶低成本、高性能的算力建設(shè)訴求，超集信息基于第五代英特爾? 至強(qiáng)?可擴(kuò)展處理器平臺(tái)，幫助其完成了WiNGPT推理平臺(tái)構(gòu)建。
超集信息基于 CPU 的大模型推理方案，在滿足性能要求的同時(shí)更具成本優(yōu)勢(shì)，助力加速醫(yī)院的大模型部署。方案高效利用第五代英特爾? 至強(qiáng)? 可擴(kuò)展處理器，通過內(nèi)置的英特爾? 高級(jí)矩陣擴(kuò)展（英特爾? AMX）等加速器進(jìn)行模型推理，推理性能相較于基于英特爾? 至強(qiáng)? 可擴(kuò)展處理器的平臺(tái)提升超過 3 倍，性價(jià)比較GPU方案提升13%，可滿足醫(yī)技報(bào)告自動(dòng)生成等場(chǎng)景對(duì)于推理性能的要求，助力加速醫(yī)療機(jī)構(gòu)的大模型應(yīng)用拓展。
客戶價(jià)值
由超集信息調(diào)優(yōu)的算力方案充分釋放第五代英特爾? 至強(qiáng)? 可擴(kuò)展處理器的 AI 性能優(yōu)勢(shì)，能滿足報(bào)告自動(dòng)生成等場(chǎng)景對(duì)于模型推理性能的要求，縮短生成時(shí)間，保障用戶體驗(yàn)；控制算力平臺(tái)構(gòu)建成本，提升經(jīng)濟(jì)性：方案可利用醫(yī)療機(jī)構(gòu)部署的通用服務(wù)器進(jìn)行推理，無需額外部署專用的推理服務(wù)器，有助于降低相關(guān)采購、部署、運(yùn)維、能耗等成本；兼顧大模型與其他信息化應(yīng)用： 方案可采用 CPU 進(jìn)行推理，醫(yī)療機(jī)構(gòu)可根據(jù)任務(wù)需求靈活地在大模型推理與其他信息化應(yīng)用之間進(jìn)行 CPU 算力資源調(diào)配，提升算力分配的敏捷性與靈活性。
