人工智慧和高效能運算:科學明日的推手

作者:Aparna Chandramowlishwaran

 

深度學習 (DL) – 使用人工神經網路的人工智慧 (AI) 特定方法 被公認為21世紀最大的破壞性技術之一。自從1944年研究人員提出了第一個使用電路的神經網路後,神經網路的聲望直到近期為止持續了一波接一波的盛興與衰敗。現今,DL完整的引導著許多領域的革新在各種可以想像的科學和工程領域中被應用。

這個轉變源自於圖形處理器 (GPUs) 的發展和歷時數十年高效能運算 (HPC) 的進步,使DL在實際應用中變得切實可行。在我們即將進入的下一個十年裡,HPCAI會持續以指數的速率相互推進HPC持續的挑戰AI模型複雜度的極限 包括參數量和預測用數學神經網路層深度 以增加準確性並減少訓練時間。AI也同時在改變我們進行科學研究的方法。一直以來,對知識的追求都是從大理論開始,而以物理為基礎的模型至今仍是科學認知的核心。但是數據驅動的代理模型在某些任務中開始勝過第一原理模型,雖然還需要研究員的努力來解決幾個問題 像是模型可解讀性和泛用化 才有可能普及模型到大家的科學工具箱中。接下來我會總結科學家在利用AI促成科學突破時面臨到的近期趨勢和關鍵挑戰。

DL最大問題是他缺少了可解讀性AI代理模型用近似函數取代高非線性的第一原理函數,成功的把速度提升到比最先進的模擬碼還要快上幾個數量級的程度。但是,得到的代理模型 配上數百萬或數十億個參數 基本上就是一個“黑盒子”,無法得知模型資料的內在表徵(i.e., 特徵抽取)。科學家現在只能透過觀察外部介面理解神經網路,而無法瞭解內在表徵。隨著神經網路越變越深,得到的參數越來越多,專家會越來越難以解讀模型。因此有必要思考這個問題:在科學計算中,研究員真的需要十億個參數嗎,特別是因為很難用這些參數做推論,製作信賴模型?一個可以改善這個問題的方法是導入特定領域的知識 像是物理定律,守恆限制,不變性,和對稱性 到網路的設計和/或訓練中。有效利用數世紀科學知識的進步,使有涵蓋領域知識或物理特性的AI模型只需要更少的資料,就可處理更多的雜訊,並維持或增進預測的精確性。雖然單純的黑盒子DL模型現在還不能完全取代第一原理模型,做為預處理器,軟件加速器,和代理模型在複雜的科學流程中已有很好的表現(詳圖一)。

圖一一個傳統物理解算器模擬跟結合物理模擬與深度學習的框架的試樣性比較後者的目的是跟物理解算器有一樣的輸出 (i.e., 遵重收斂限制),並同時透過深度學習加速收斂程序圖來自參考資料[1]。

基於DL方法的AI其核心是數據在訓練神經網路上科學DL的獨特挑戰是可用數據 (i.e., 基準真相) 的過剩和不足在某些研究領域中儀器可以在一次實驗中產生拍(peta)位元的數據量。但在其他使用大量模擬的領域中產生數據以訓練深度模型的步驟卻相當昂貴不論數據是如何產生訓練程序都十分費時 即便使用上最新的GPU硬體雖然電腦架構的持續進步會加速數據的產生和訓練進步速度卻不太可能跟得上AI的發展因此研究員必須探討AI模型的有效數據學習因為不是所有的數據對給定的學習任務都同樣有效,數據的性質對模型的品質會有重要的影響一個解決方案是管理出以應用為導向的數據集,減少訓練一個精確模型所需要的數據量雖然帶入領域概念的AI模型和以應用為導向的訓練數據集可以提升模型的可解釋性和減輕其複雜度,卻可能阻礙泛用化因此未來的主要研究方向包含理解泛用化限制取捨與AI代理可解釋性的比較信賴區間與預測和決策制定的聯繫以評估模型的穩健性和量化不同規模不同來源輸入數據的不確定性

應用程序和工作流程在多樣且日益龐雜硬體平台上的可攜帶性是科學計算界近十年的大挑戰。至今,找尋性能和可攜帶性之間的最佳平衡仍然是一個熱門的研究課題受商業AI應用程式的推動,像TensorFlow,PyTorch,Keras這種建立在高度優化程式庫和軟體上的DL框架越來越受歡迎,成為神經網路編程裡的“標準”他們容易被採納可用來提取底層的演進中AI硬體平行演算法,和特定架構優化這些架構更提供了一個較高階的編程抽象化有助於數據驅動的科學計算

但是這抽象化過程卻引導出AI整合科學工作流程的新需求既有的基礎設施通常沒有辦法讓上述的DL程式庫與框架和多源頭數據物理模擬建模代碼與原位分析工具做無縫整合。此外傳統的工作流程是建立在人機迴圈的設計上,從建立假說重複實驗到設計空間探討日益成長的應用程式複雜度和硬體多樣性將給AI驅動科學流程帶來一個機會未來的AI更有可能會為特定的硬體制定特殊的端到端應用工作流程擁有隨數據和模型精進動態適應的能力。這使得AI能有效利用新的解決方案在工作流程更接近源頭的階段就處理數據減少獲得解答所需的時間

如果不能讀取數據,也會無法推動新世代科學相比起其他領域,應用在科學上的開放性知識庫和管理數據貯藏庫的缺乏是人工智慧持續發展的最大限制性因素之一目前也還沒有一個系統性的方法可以做到同一個科學問題不同解決模型的比對一個內含數據和模型的開放性知識庫可以加快科學應用模型的發展,也在推動新AI硬體設計時保持再現性自動駕駛汽車遊戲社交網路和電子商務等應用正是當前AI硬體主要的推動力為科學準備的知識庫,配上範例應用,有可能可以彌補數據缺乏的困擾,成功在最後推動新的AI技術並協同設計出新興的AI結構。

在這篇文章裡我簡單的描述了一些研究人員在參與DL革命時會碰到的核心問題和重要機會。科學界的DL仍然處在嬰兒期的階段。大量的問題將會在未來的十年中浮現時間會證明在解決實際且複雜的科學問題上,DL在多大程度上會輔助或者取代掉現有的科技

參考資料

[1] Obiols-Sales, O., Vishnu, A., Malaya, N., & Chandramowlishwaran, A. (2020). 計算流體力學網路 一個基於深度學習用於流體模擬的加速器. ICS ‘20: 第34屆 ACM國際超級計算大會記錄.

Aparna Chandramowlishwarang是加州大學爾灣分校的電子工程和計算機工程副教授