WRF（Weather Research and Forecasting Model）是由美國環(huán)境預測中心（NCEP）及美國國家大氣研究中心（NCAR）等一系列美國科研機構合作開(kāi)發(fā)的一款中尺度數值天氣預報模式，因具有可移植、可擴充、易維護及高效率等優(yōu)勢，使其在國內外都得到了廣泛的應用。但由于本地 WRF 模式的運行需要基于 Linux 系統，全流程上的編譯、安裝、前處理、運行及分析過(guò)程都具備相當程度的復雜性，因此給相關(guān)研究人員帶來(lái)了不少實(shí)操上的困難。
基于此，本文將介紹一種基于云端數據科學(xué)協(xié)同平臺——ModelWhale 的 WRF 模式，在一定程度上多角度多方面地解決上述問(wèn)題，以期為大氣科學(xué)領(lǐng)域的研究者們提供更為便捷、實(shí)操性更強的中尺度天氣預報模式，助力相關(guān)科學(xué)研究的可持續發(fā)展。
一、傳統基于小型計算機本地的 WRF 模式
天氣與氣候變化是生態(tài)環(huán)境領(lǐng)域重要的研究對象，對其具備合理的認知是進(jìn)行生態(tài)、環(huán)境及能源評估與規劃的先決條件，因此，有關(guān)天氣預報與氣候模擬的應用正不斷被擴展并深入，WRF 中尺度數值天氣預報模式應運而生。
該模式采用 Fortran90 語(yǔ)言編寫(xiě)，因此即使是在不同的平臺，只要擁有版本適用的 Fortran 編譯器，就可使該模式的源代碼得到編譯層面的移植，這使其具備了靈活、易維護、可擴展及能夠適用于廣泛的計算平臺等特征。除此之外，相較于其他氣候模式，WRF 模式具有先進(jìn)的數據同化技術(shù)、功能強大的嵌套能力及先進(jìn)的物理過(guò)程，使其在對流與中尺度降水處理能力等方面更具優(yōu)勢。
隨著(zhù) WRF 模式的高速發(fā)展，其基于分辨率的適用范圍與基于模式模塊的應用范圍都變得更為廣泛。作為大氣科學(xué)領(lǐng)域實(shí)際業(yè)務(wù)與科學(xué)研究場(chǎng)景中不可或缺的工具之一，WRF 模式在區域氣候模擬、空氣質(zhì)量模擬、海氣耦合及理想實(shí)驗模擬中都發(fā)揮了重要的作用。
WRF 模式運行所輸出的可視化結果（圖源：網(wǎng)絡(luò )）
傳統基于小型計算機本地 WRF 模式運行過(guò)程中現存的問(wèn)題
WRF 模式由四部分組成，即預處理系統（WPS，用于將數據進(jìn)行插值與模式標準初始化、定義模式區域及選擇地圖投影方式）、資料同化系統（WRFDA，包括三維變分同化）、動(dòng)力內核即主模塊（ARW/NMM）及后處理系統（圖形軟件包）——作為由多個(gè)極為復雜的組件構成的應用，WRF 模式的安裝過(guò)程極為復雜，運行過(guò)程也極為耗時(shí)。
首先，針對安裝過(guò)程，WRF 模式除了需要提前配置 Linux 操作系統，還需準備大量依賴(lài)庫，如在安裝 WPS 時(shí)還需安裝 zlib、libpng 及 Jasper 用以讀取 GRIB2 格式的氣象數據，安裝主模塊前也需安裝 Intel Fortran、netCDF4 及 HDF5 支持庫，若有并行運算的需求，還需安裝 OpenMPI 或 MPICH。在傳統小型服務(wù)器上，一般采用 sudo apt-get install 命令安裝軟件，并進(jìn)入 bashrc 設置對應軟件與庫路徑的環(huán)境變量，十分麻煩，且常因軟件版本、相互依賴(lài)關(guān)系及系統環(huán)境的兼容性問(wèn)題導致安裝報錯，耗費過(guò)多的時(shí)間。
一用戶(hù)在安裝 WRF 模式時(shí)出現編譯失敗的問(wèn)題（圖源：網(wǎng)絡(luò )）
而針對 WRF 模式的運行過(guò)程，若使用傳統單 CPU 單核的個(gè)人單機作為載體，即便是常規項目，往往也需要運行一天以上，同時(shí)，還極易出現運行報錯或電腦崩潰等其他問(wèn)題，極大程度上拖慢了數據生產(chǎn)效率，消耗科研人員過(guò)多的時(shí)間與精力。
為減小安裝困難、彌補算力不足，除了在已經(jīng)完成環(huán)境布置的實(shí)驗室電腦、大型機或超級計算機上直接運行 WRF 模式，可行性與實(shí)操性更強的方法是將個(gè)人單機接入超算中心遠程訪(fǎng)問(wèn)，又或是選取一已預裝相關(guān)鏡像的在線(xiàn)大數據平臺，在線(xiàn)完成全套 WRF 模式的運行與結果輸出。本文就將介紹一種基于云端數據科學(xué)協(xié)同平臺——ModelWhale 的 WRF 中尺度數值天氣預報模式。
二、基于云端數據科學(xué)協(xié)同平臺 ModelWhale 的 WRF 模式
ModelWhale 是和鯨科技旗下的一款數據科學(xué)協(xié)同平臺，集數據管理、建模分析、模型訓練管理、算力資源管理及任務(wù)管理等功能于一身，支持 Python 及 R 等編程語(yǔ)言，通過(guò)逐級開(kāi)放的數據基礎設施與 Jupyter Notebook 交互式、Canvas 拖拽式、CloudIDE 三種分析模式及即開(kāi)即用的云端分析環(huán)境，為各領(lǐng)域科研工作者及團隊解決數據安全應用、底層工程繁復及研究成果流轉復現困難等問(wèn)題，從而使數據驅動(dòng)的研究更為便捷高效。若是能夠在 ModelWhale 上運行 WRF 模式，那么該云端數據科學(xué)協(xié)同平臺能夠在以下幾個(gè)方面為大氣科學(xué)家們予以技術(shù)上的支持，大大提升他們的科研效率：
ModelWhale 為大氣科學(xué)家們提前預設“WRF 鏡像”
ModelWhale 在后臺為用戶(hù)們定制了“WRF 鏡像”，該鏡像中已預裝了與 WPS 及 WRF 系統相關(guān)的絕大部分依賴(lài)庫及程序模塊?；谠撈脚_的在線(xiàn) Jupyter Notebook 運行 WRF 模式時(shí)，研究人員只需選擇“WRF 鏡像”，即可在快速調用一系列依賴(lài)庫后，對程序模塊完成編譯，換句話(huà)說(shuō)，不需要任何復雜的操作，只需選擇鏡像 - 等待數分鐘依賴(lài)庫調用與程序模塊編譯的完成，即可結束 WRF 模式所有的“安裝”步驟，極大程度上減小了 WRF 模式開(kāi)始運行的技術(shù)門(mén)檻。
ModelWhale 為模式研究者們提供多規格的云端算力
ModelWhale 提供云算力的租賃服務(wù)，用戶(hù)們可按需選擇各種規格的 CPU 計算資源。
曾有研究將 WRF 模式構建于32核的 Linux 集群系統并進(jìn)行了并行計算實(shí)驗，結果表明：當處理器個(gè)數逐步增加至16時(shí)，WRF 模式運行的總時(shí)間隨個(gè)數的增加單調減少；而隨著(zhù)處理器個(gè)數從16繼續增加至26時(shí)，模式運行的總時(shí)間趨勢上雖在總體減小，但變化并不明顯，且存在一定的起伏?？梢哉f(shuō)，在成本可控的范圍內，16核64G的 CPU 計算資源在 WRF 模式的運行過(guò)程中具有極高的時(shí)間效率，能夠成倍節省大氣科學(xué)家們的研究時(shí)間。
ModelWhale 能夠提供高階云端算力的接口，完成付費后，研究人員即可在個(gè)人單機上應用各種規格的 CPU 計算資源運行 WRF 模式。
若需更高規格的算力，請按文末聯(lián)系 ModelWhale 的產(chǎn)品顧問(wèn) MoMo
以上，通過(guò)鏡像配置與算力配置，基本可以解決傳統基于小型計算機本地的 WRF 模式在運行過(guò)程中易出現的安裝困難及計算資源不足等問(wèn)題。
ModelWhale 支持多類(lèi)型本地數據的上傳接入與超大數據的云上調用
對比實(shí)驗室大型機或超算中心，ModelWhale 還具備云端數據掛載功能，幫助推進(jìn) WRF 模式運行前的數據準備工作。
一般而言，驅動(dòng) WRF 模式運行最為基礎的數據包含地形數據與初始氣象場(chǎng)數據（指 GFS 數據與 FNL 數據），兩者均須從相關(guān)網(wǎng)站有選擇地下載至個(gè)人單機本地，再通過(guò)硬盤(pán)或其他方式數次轉移至不同的實(shí)驗室大型機或超算中心，十分耗時(shí)。但若將兩種數據掛載到云端，那么僅需一次下載+上傳的操作，就能夠實(shí)現數據的多次復用與團隊共享，使用時(shí)，待數據掛載完成后直接調用即可，不再需要多余的數據轉移步驟。目前，若使用的數據量不大，即可以數據集的形式進(jìn)行掛載（ModelWhale 后臺也提供部分相關(guān)數據集）。
但事實(shí)上，地形數據是不隨時(shí)間變化的靜態(tài)數據集，一次接入后可用于后續所有的模擬過(guò)程，而初始氣象場(chǎng)數據每日更新的時(shí)間點(diǎn)與頻率是固定的，對其進(jìn)行定時(shí)爬取也是可操作的。未來(lái)，隨著(zhù)基于 ModelWhale 的 WRF 模式受眾逐漸變多變廣，ModelWhale 也將以 NAS 空間的形式掛載全部的地形與初始氣象場(chǎng)數據，由專(zhuān)人進(jìn)行云端數據的長(cháng)期維護。研究人員在運行 WRF 模式的過(guò)程中直接按需調取即可，進(jìn)一步省去了從 NCEP 等官網(wǎng)下載到上傳云端平臺的步驟，輕松實(shí)現對超大氣象數據的研究與分析。
ModelWhale 的不同功能模塊協(xié)助研究人員全方位優(yōu)化 WRF 模式運行的工作流程
ModelWhale 本身具備的其他功能還能夠實(shí)現 WRF 模式運行工作流的優(yōu)化，減少底層工作的繁復，全方位減輕研究人員的各種負擔。
對于個(gè)人研究者：
例如對于個(gè)人研究者而言，ModelWhale 除了能夠提供上述的環(huán)境、算力及數據，其 Jupyter Notebook 還具備優(yōu)秀的版本管理功能——面對 WRF 模式運行過(guò)程中需要多次修改與迭代的研究參數，如若打算保留每個(gè)版本，就需在每次修改前創(chuàng )建副本并重新命名，最終很可能導致研究者本人都無(wú)法區分有效的版本成果。
而 ModelWhale 支持為復雜研究項目的階段性工作進(jìn)行版本管理，提供了生成項目版本、版本比對、內容替換及合并版本的功能，針對每處修改，研究人員都可以實(shí)現文件級回退與 Cell 級回溯。
對于團隊研究者：
而對于團隊研究者而言，ModelWhale 除了助力項目級代碼編寫(xiě)上的共同協(xié)作，更重要的是能夠協(xié)助進(jìn)行生產(chǎn)資料的共享管理，促進(jìn)團隊內部的合作協(xié)同，助推研究成果的復現工作。在 ModelWhale 團隊版的團隊空間中，后臺提供了團隊的共享視圖，管理者們可以靈活地對各類(lèi)研究課題、算法項目、分析任務(wù)進(jìn)行分工拆解、任務(wù)分配、數據接入、資源分配、進(jìn)度監控、成果驗收及成果復用等項目管理工作。
簡(jiǎn)而言之，對于 WRF 模式所需的環(huán)境、算力及數據，管理者們既能夠使其在團隊內部實(shí)現流轉與共享，也能夠對其進(jìn)行管理與控制，保障數據安全的同時(shí)避免資源的浪費。而對于 WRF 模式跑通后的代碼文件與研究成果，同樣可在團隊中進(jìn)行成果復現——權限允許的情況下，可對他人已發(fā)布的科研成果進(jìn)行一鍵 Fork，甚至可查詢(xún)其歷史版本，實(shí)現組織內部的有效協(xié)作，大大提升工作效率。
在課題研究完成后，科研人員團隊可以選定運行時(shí)的分析環(huán)境、掛載的數據集及最后的代碼版本，將生產(chǎn)要素全部整合在一起，并補充一定的文字說(shuō)明，沉淀至組織的課題成果庫中。
此外，ModelWhale 團隊版還可升級為科研版與教研版?？蒲邪嬷饕獜娜蝿?wù)規劃及算法庫等功能模塊簡(jiǎn)化研究工作的復雜程度，低門(mén)檻上手數據分析工作的同時(shí)拓展數據研究的邊界，實(shí)現多人、多角色、隨時(shí)隨地協(xié)同進(jìn)行數據驅動(dòng)的相關(guān)研究；教研版則主要實(shí)現教科研一體化，兼備課題管理與課程管理的功能，實(shí)現靈活的群組管理機制，助力從學(xué)到研、從研到學(xué)的雙向角色轉換。
ModelWhale 同樣能夠對 WRF 模式的輸出進(jìn)行可視化后處理與機器學(xué)習后加工
在整個(gè) WRF 模式跑通結束后，針對所輸出的 NetCDF數據（nc 數據），ModelWhale 還能夠提供可視化后處理與機器學(xué)習模型訓練后加工功能，真正實(shí)現了 WRF 模式的一體化工作流。
可視化是連接 WRF 模式結果輸出與結果展示的橋梁，基于 ModelWhale 的 Jupyter Notebook 使用 Python 進(jìn)行 WRF 模式的可視化流程一般可以包括，通過(guò) netCDF4 庫對 nc 數據進(jìn)行簡(jiǎn)單讀寫(xiě)與處理、使用 NumPy 庫進(jìn)行經(jīng)緯度換算、通過(guò) Cartopy 與 Matplotlib 庫對數據進(jìn)行可視化、使用 Matplotlib 庫繪制圖片細節等。
除可視化之外，ModelWhale 還能夠提供模型訓練功能，支持運用機器學(xué)習對 WRF 模式預報結果做數據后加工處理。眾所周知，機器學(xué)習正在氣象領(lǐng)域發(fā)揮巨大的作用，結合傳統物理模式與機器學(xué)習模型訓練的智慧天氣預報因具備（時(shí)空）高分辨率、高準確率而逐步成為天氣預報的主流形式。若能結合機器學(xué)習的訂正技術(shù)對 WRF 模式的結果做校準優(yōu)化，無(wú)疑是極大程度地提升了預報成果的質(zhì)量，而基于 ModelWhale 的 Jupyter Notebook，大氣科學(xué)家們即可輕松在云端按需進(jìn)行模型訓練與模型調用。
當然，在傳統個(gè)人單機并非不能進(jìn)行 WRF 模式的后處理與后加工，而將 ModelWhale 作為上述操作的載體，除了其具備諸如版本管理及團隊協(xié)作等錦上添花的功能，最為主要的原因是能夠免去研究者們對于 nc 數據轉移與轉化的過(guò)程，只需將 WRF 模式跑通輸出的數據集直接掛載，即可隨時(shí)開(kāi)始后處理后加工，避免了基礎工作的繁復。
ModelWhale 已為多家高校與機構提供 WRF 模式的相關(guān)服務(wù)
目前，ModelWhale 已為不少高校與機構提供 WRF 模式的相關(guān)服務(wù)，助力其在大氣科學(xué)領(lǐng)域進(jìn)行教學(xué)、科研及應用實(shí)操。
鄭州大學(xué)的 Z 老師基于 WRF 模式的授課需求，采購了 ModelWhale 教研版產(chǎn)品，ModelWhale 為 Z 老師提供了為期數月的 WRF 模式云端教學(xué)實(shí)訓平臺服務(wù)。過(guò)程中，該產(chǎn)品不僅能夠協(xié)助 Z 老師帶領(lǐng)研究生們跑通基礎的 WRF 模式、進(jìn)行必要的 nc 數據后處理后加工、低門(mén)檻復現已有的研究成果并完成教學(xué)過(guò)程中的各項小組實(shí)訓與作業(yè)，更是能夠幫助 Z 老師進(jìn)行課程管理，使教學(xué)準備更為豐富完善、授課過(guò)程更為高效流暢、課后評估更為專(zhuān)業(yè)便捷。
而云南大學(xué)的 S 老師主要通過(guò) ModelWhale 產(chǎn)品支持其課題組的科研工作，于云端進(jìn)行包括但不限于 WRF 的模式分析。ModelWhale 為 S 老師提供了各模式所需鏡像，并配有技術(shù)顧問(wèn)全程協(xié)助、解答疑難，最終打造了一款能夠全線(xiàn)適用于該課題組的云端科研空間，提供數據存儲及算力資源等服務(wù)的同時(shí)，協(xié)助其跑通各氣象預報模式并進(jìn)行可視化后處理與機器學(xué)習后加工，滿(mǎn)足了碩博研究生們日常的科研任務(wù)。
事實(shí)上，ModelWhale 作為一款數據科學(xué)協(xié)同平臺，在大氣科學(xué)領(lǐng)域具備相當的經(jīng)驗——來(lái)自國家、地方氣象局的諸多氣象研究人員也正使用 ModelWhale 產(chǎn)品作為其進(jìn)行氣象大數據挖掘分析與機器學(xué)習的協(xié)同工具，ModelWhale 也因此收獲了各位大氣科學(xué)家們的正向反饋。
三、歡迎廣大研究人員使用 ModelWhale 在線(xiàn)運行 WRF 模式
本文介紹了一種基于云端數據科學(xué)協(xié)同平臺 ModelWhale 的 WRF 模式，極大程度上緩解了傳統基于小型計算機本地的 WRF 模式在安裝與運行等方面出現的問(wèn)題。除此之外，ModelWhale 所具備的資料管理及成果復現等功能更是能夠幫助提升工作效率，同時(shí)，平臺還能夠協(xié)助科研人員對 WRF 模式生產(chǎn)的數據進(jìn)行可視化后處理與機器學(xué)習后加工，真正實(shí)現工作流一體化的操作。
目前，ModelWhale 平臺為氣象及相關(guān)領(lǐng)域的研究者們免費提供跑通 WRF 模式的鏡像與算力，歡迎大家動(dòng)手實(shí)操，有意向的師生請【聯(lián)系 ModelWhale 的產(chǎn)品顧問(wèn) MoMo】，MoMo 將提供一應的配置支持服務(wù)與相關(guān)項目資源，協(xié)助用戶(hù)們快速上手實(shí)操。
