失眠已經成為一項通病，它難以治愈，也很復雜，研究起來非常困難。美國疾病控制和預防中心的數據顯示，有超過三分之一的美國成年人睡眠不足。 

通常，醫生會通過在患者身上佩戴胸帶、鼻探針和腦部電極等傳統傳感器，對患者進行睡眠監測。這些令人不舒服的方式本身就會導致失眠，因此收集到的數據不具有代表性。

為了給患者提供更好的睡眠，麻省理工學院和麻省總醫院的研究人員聯合英偉達公司，使用AI和類似Wi-Fi的信號來監測病人，且無需佩戴任何傳感器。

研究人員在臥室安裝了特殊的無線設備，因此受監測人員可以在家中睡覺。該設備收集從監測對象反射回來的信號，并通過云將數據發回給研究人員。

通過了解臥室內人員對射頻的影響方式，并對脈搏、呼吸頻率和運動這些測量數據的分析，研究人員可以確定不同的睡眠階段：輕度睡眠、深度睡眠、快速眼動或清醒狀態。 

此外，研究人員還對25名人員在100個晚上的睡眠進行了研究。每隔30秒進行一次睡眠標記，并將用于訓練的數據與用于測試的數據互相分開。其基于云的服務可以遠程收集信號并運行算法模型。

麻省理工學院的研究人員使用NVIDIA GPU進行模型訓練以及后端云服務上的推理。此外，他們還使用了NVIDIA的cuDNN庫和TensorFlow深度學習框架。 

睡眠階段的研究具有廣泛的應用價值，這種睡眠階段檢測技術可用于監測諸如抑郁癥等疾病。這一應用案例，讓人們看到了“AI+醫療”的全新應用場景。

從研究到臨床的AI應用

如今，深度學習技術在醫療領域正逐漸從研究發展到臨床應用。其涉及的數據類型，也從放射學和病理學數據，逐步擴展至其它類型的臨床數據，如電子病歷、醫院運營和遺傳學數據等。

然而目前在醫院，AI算法的訓練和使用依然不夠成熟。原因在于，用深度學習方法打造臨床影響，需要的不僅僅是前沿的算法，還包括這樣一些關鍵的組成：

臨床醫生需要從項目開端即參與其中，以明確AI模型的使用情況；

可訪問帶注解的臨床數據集；

開發機器學習模型；

整合到臨床工作流中；

模型部署的基礎設施；

在真實世界臨床環境中進行驗證。

基于此，全球頂尖GPU公司NVIDIA（英偉達）聯合美國馬薩諸塞州波士頓 MGH & BWH 臨床數據科學中心（下簡稱：CCDS中心），總結出了一套科學的AI項目訓練周期。據悉，CCDS 的典型項目周期，是以放射科醫生的持續輸入以及對近期研究的頻繁評估等臨床反饋為基礎。

在CCDS 的典型項目周期中，專門的硬件基礎設施，對于AI模型的訓練可謂至關重要，因為它是整個模型開發和部署的基礎。 

醫院的臨床系統對計算能力的要求有限，于醫院而言，更傾向于使用可靠度高、正常運行時間長的系統，以滿足適度的計算和數據訪問要求。而高性能 GPU、高速網絡連接、高性能存儲和訓練神經網絡所需的寬帶接入模式，遠遠超出了醫院 IT 團隊的能力范圍。 

深度學習的臨床應用，硬件基礎設施必滿足其計算要求。大部分醫院在高性能計算基礎設施方面的缺陷，正嚴重阻礙著AI項目實施的進程。

本篇文章，摘錄自英偉達公司的《開發醫院深度學習模型：關于臨床數據科學中心的案例研究》白皮書。從中，你將了解到英偉達是如何與CCDS中心合作，利用自身高性能計算優勢，解決AI模型訓練過程中圖像加工和初始模型開發、大規模模型訓練、臨床驗證過程中的種種難題。

圖像加工和初始模型開發

一旦對研究進行標注后，CCDS 團隊便開始進行早期模型開發。

該過程的第一步，是將研究轉化成易于使用的文件格式。通過研究供應商中性存檔，從臨床 PACS 復制圖像，以將臨床系統的風險降至最低。然后，將圖像保存在網絡存儲解決方案的目錄中，權限僅限于已獲批的 IRB 申請上所列的人。

容量數據（例如，MR、CT 等）通常從 DICOM（PACS 使用的標準醫學成像格式）轉換成 NIFTI（一種文件格式）。

通過定制開發的網頁應用程序，CCDS 團隊對來自放射學報告的研究進行標記。通過基于短語的匹配首先分配軟標號（頂部），對短語重新設定優先次序并進行質量評估（中間）。最后，CCDS 團隊會逐個研究手動確認軟標號（底部）。

模型開發的初始階段也遵循交互式工作流。在這些交互式會話中，CCDS 團隊對模型進行開發并進行一定時間的訓練，以確保功能上的正確性。由于 PHI 顧慮問題，因此CCDS 團隊必須在合作伙伴的數據中心遠程啟動這些交互式會話，以確保 PHI 被本地保存在易于移動的硬件上。

該環境旨在用作縮小版的 CCDS 計算集群。因此，CCDS 團隊會為每位機器學習科學家分配兩個至四個高性能 GPU（NVIDIA Tesla P100 或 Tesla V100），支持適用于高效節點內通信的 GPUDirect P2P 和適用于節點間通信的 GPUDirect RDMA。

在容量數據上訓練模型時，這些特點非常有優勢，已經證明同時屬于高度計算型和內存密集型。16GB 的高速HBM2 內存, 支持半精度浮點操作，以及 TensorCore 混合精度矩陣相乘/相加（僅適用于Tesla V100）大幅度減少相對于消費者 GPU 所需要的硬件。

在整個CCDS 的基礎設施中都體現了這些益處。雖然在早期模型開發階段，高性能并非必要要求，但在集群工作期間，開發環境中必須具備這些特點，以確保模型的正確性。目前，CCDS 團隊正在探索兩種方法，以支持該工作流：

1.靜態硬件分配：每位機器學習科學家均配備有專用機器，實體機或虛擬機，在機器上可進行對圖像歸一化技術和初始模型開發的所有探索。

2. 動態硬件分配：通過集群的調度器從高優先次序隊列分配節點。相對于首個請求，個人對第二個節點的請求會非常不被優先考慮。

大規模模型訓練

一旦確定了一組候選架構后，CCDS 團隊便使用 CCDS 的計算集群大規模進行訓練。雖然使用的是相同的硬件，但這些操作大部分是分兩步進行：

1. 超參數搜索：用各種各樣的超參數配置測試候選架構，以確定最佳模型配置。這取決于科學家的偏好，或通過隨機搜索或貝葉斯優化 (Bayesian Optimization) 來決定。通過利用集群的過剩能力，大量配置可以平行進行測試，將之前測試各種架構和配置的系列任務轉化成一項平行的任務，這讓AI模型能夠快速迭代和優化。

2. 大規模訓練：一旦確定了有限的一組模型架構和超參數配置后，訓練每個模型達到匯聚融合，設法確定組群中的最佳模型。成功的大規模訓練依賴于：在具有高效節點間通信的GPU 中對模型進行并行化。

對此，CCDS團隊將集群設計為容納該工作流的需求。計算節點儲存于 IBM 的 LSF 調度器之后，將已經提交的工作委派至可用的資源并確保節點的合理分布。

通過 Docker 容器提交工作，以管理開發環境和確保一致性，簡化對集群和安裝在每個節點上的程序包數量管理。

CCDS 團隊最近收到了全世界首臺 Volta 型 DGX-1 系統

憑借便于使用的容器化環境，CCDS 已能夠非常容易的在多個節點和利用 TensorFlow 透明同步化操作的 GPU 以及定制的內部庫對工作進行并行化。CCDS團隊也深度依賴于NVIDIA 的 NCCL 庫，該庫被整合到框架中，用于高效的多 GPU 操作。該工具可以讓團隊減少訓練的時間并縮短模型的開發周期。 

臨床驗證

模型和工具的臨床驗證是CCDS團隊開發過程的關鍵步驟。在學術背景中，如果某個模型能夠在測試集上的表現超過三到四位放射科醫生，則該模型被視為成功的。

CCDS團隊專注于打造可供臨床醫生診斷患者的工具，對此制定了嚴格的驗證過程，用于確保模型在臨床上可行。

1、部署前驗證

在模型開發期間即開始模型驗證。CCDS團隊與臨床醫生合作，創建群組和訓練集。

CCDS團隊與醫生共同收集了海量的訓練集，該訓練集不僅僅是針對特定疾病陽性或陰性的清晰理想圖像，團隊還確保解釋說明質量較低的研究（例如，掃面器移動或圖像偽影）和被認為較“難以”讀取的研究（例如，模擬、非典型解剖和手術后隨訪）。

為了對模型進行進一步應力測試，CCDS團隊從醫院掃描器獲取的連貫研究上對其進行評估。由于每天均能獲取大量圖像，所以CCDS團隊能夠在整個開發周期內持續測試模型。

2、部署后驗證

與醫院的臨床系統整合完成后，CCDS團隊需要在臨床醫生的日常運作中評估該模型。該過程幫助評估：

模型性能：該模型在讀取室中是否表現良好，是否滿足放射科醫生的預期？

易用性： 該模型及其用戶界面是否提高了臨床工作流的有效性和效率？

對此，CCDS團隊與臨床合作伙伴一起，在高度協同和迭代的過程中測試了模型的性能和工具的易用性。

CCDS團隊的軟件和用戶界面開發人員持續觀察臨床醫生的情況，目的是為了了解工具在整個讀取室的采用情況。由于不同的臨床醫生有不同的細微工作流差異，因此CCDS團隊針對部門而非特定的放射科醫生作出改變，以優化易用性。

這不僅提高了模型改進臨床醫生的表現而非抑制其表現的可能性，還有助于推動采用情況。隨著更多放射科醫生使用該工具，獲取更多的反饋，團隊能進一步改進模型，打造良性循環。

掃描器、其序列、其影像解決方案及其重建算法均不斷發生變化，且團隊無法始終察覺到這些軟件或硬件的升級。

因此，需要連續監控，以確保模型性能不會下降。雖然可以應用手動反饋環路，但這樣的程序易于出錯且會增加放射科醫生的工作負擔和額外責任。

為了消除該依賴關系并將臨床醫生工作負擔減至最小，CCDS團隊將該過程自動化；所有模型輸出均連同放射科醫生的報告一起記錄。通過運行分析，以評估模型隨時間變化的性能并標記顯著的變化。

鑒于停機時間對患者治療的潛在重大影響，醫院打算在采用新技術方面保守一點。因此，非常關鍵的是，任何新解決方案在整合之前均需徹底驗證，且該解決方案符合現有工作流是非常有益的。雖然深度學習醫學的出現給前線工作帶來了許多新挑戰，但是CCDS團隊發現，適當結合創造性、警覺性和仔細挑選供應商解決方案，能克服這些困難。

英偉達提供了哪些技術支持？

在整個CCDS的項目中，英偉達提供的AI技術起到了至關重要的作用，包括以下幾項重要技術：

1、高性能 GPU（Nvidia Tesla P100 或 Tesla V100），支持適用于高效節點內通信的 GPUDirect P2P 和適用于節點間通信的 GPUDirect RDMA。

2、集群基礎設施：高性能 DGX-1 提供了強勁的計算平臺。當與高速 Infiniband 連接起來時，個人能夠高效地在容量醫學數據上訓練合理批量的大模型。

3、Nvidia-docker 可實現 GPU 無縫整合至容器最新的 2.0 發布版，進一步減少摩擦。CCDS 已實現的其它好處包括易于選擇 Tensorflow 發布版，這通常需要特別版的 Nvidia 高度優化 cuDNN 庫；選擇基部容器的靈活性，包括非 Nvidia 容器（如需）；以及GPU分離的簡單方法。 

如果您是醫療AI領域的創業者或投資人，我們強烈推薦您下載這份白皮書，詳細了解英偉達是如何基于高性能計算，解決AI模型在醫院訓練全周期中所遇到的種種難題。