“有沒有什麼大型電腦採用了液冷散熱？”在前幾天的一次採訪中， 我身邊有媒體同行提出了這個問題。
“液冷的應用還是很多的， 近兩年， 在中科院大氣所的“地球數值類比裝置原型系統”、國家電網電力科學研究院模擬中心超級計算系統中分別部署了近千個節點的液冷伺服器， 包括前段時間刷屏的HPC亞洲第一大單的氣象局項目中也將部署液冷伺服器。 除此之外， 還有一些小規模的應用案例。 ”， 回答這個問題的是曙光公司負責液冷伺服器研發部門的總經理何繼盛， 而這場採訪正是針對曙光最新交付的液冷解決方案所進行的。
其實許多這個領域的從業者都清楚， 早在天河二號和太湖之光超級電腦中液冷就已經大規模的應用了， ， 這也對整體系統的功耗控制起到了至關重要的作用。
現在回頭想想， 液冷解決方案能夠走到今天， 一路上充滿了艱辛與挑戰。
一、液冷是什麼？
大概15年前， 我就知道有“液冷”這種東西。
不過那個時候， 液冷技術還非常不成熟， 而且許多人也對液冷的安全性有很大的擔心。 事實上， 在那個DIY還是主流的時代， 液冷的確只是許多高端玩家的“新寵”， 至於售價則與風險成反比。 不管怎麼說， 那個時代， 液冷更多還停留在概念階段。
至於伺服器什麼時候採用液冷散熱， 恐怕還是最近幾年的事情。 這在很大程度上得益于傳統計算能力的迅速提升。 一方面， 英特爾還在繼續推動摩爾定律的前行， 雖然行進的腳步已經越來越遲緩；更重要的是， 在另一方面伴隨著分散式運算、雲計算等架構和模式的創新， 計算的整體能力得到了顯著的提升，
能耗的提升意味著更大的發熱量與耗電量， 這無論從散熱還是從成本的角度， 都要求資料中心找到更穩妥的解決方案。 當傳統的風冷技術難以滿足， 甚至當空調全速運行也無法進行有效散熱的時候， 這就預示著液冷時代的到來。 當然走到這一步， 我們還是應該為產業的發展而欣喜。
不過到了這個階段， 液冷也分化出了2種形態——冷板式與浸沒式。
二、初見浸沒式液冷
2012年， 我受邀去美國德州TACC超算中心參觀當時位居全球TOP10的一台超級電腦。 在參觀的間隙， 我偷喵了隔壁房間一眼， 發現了一個神奇的存在——浸沒式液冷。
話說， 雖然早就知道有這麼一種散熱方式， 但第一次看到的時候我還是懵X的，
後來參加超算大會多了， 從德國的ISC到美國的SC大會， 每年都有許多廠商展示液冷設備。 當然這其中冷板式液冷佔據了90%以上的份額， 包括我們熟悉的許多大廠都有類似的解決方案。 但是對於浸沒式液冷，
究其原因， 浸沒式液冷受限於技術、應用環境、成本等諸多因素， 一直處於液冷散熱的“金字塔尖”位置， 很難有公司在這個領域獲得突破。 即便在液冷散熱已經逐步走下“神壇”， 開始進入大眾的視野的今天， 浸沒式依然保持著相對神秘。
直到前年， 在SC15上， 中科曙光展示了一款全浸沒式的液冷概念機， 我才真正覺得浸沒的時代已經可以看得到了。 不過兩年時間過去了， 如今絕大部分資料中心還在使用風冷散熱， 即便部分高端的設備採用了冷板式的液冷， 但距離浸沒的方式正式商用還有很長一段時間。
事實證明我想錯了，這個時間已經到來。就在上周的發佈會上，曙光將國內首套商用浸沒式液冷伺服器交付華中科技大學，何繼盛與華中科技大學電腦學院袁平鵬教授共同啟動交付儀式。
三、曙光的液冷解決方案
據悉，這套系統將用於華中科技大學自主研發的資訊存儲系統和並行分散式運算系統，搭建健康大資料平臺。本次交付的液冷解決方案包括了曙光冷板式液冷和浸沒式液冷兩部分，對應的產品型號分別是TC4600E-LP和I620-M20。
TC4600E-LP是曙光一款非常成熟的冷板式液冷產品，早在2015年這款產品就在中國科學院大氣應用物理研究所進行過大規模的部署，系統PUE數值低至1.17，穩定性表現非常搶眼。而I620-M20則是本次交付的亮點——浸沒式液冷伺服器。
乍看起來，I620-M20與普通的伺服器有很大的不同，造型更偏向於一款塔式產品。但是通過透明的側板，我們可以清楚的看到內部的液體，這也是I620-M20的獨特之處。作為浸沒式液冷，I620-M20採用了全封閉的設計，普通伺服器所提供的USB等介面，在I620-M20設計上都經過了改造。可以說，I620-M20是一款全新定制的產品，也具備了劃時代的意義。
正如前面提到的，我在美國超算中心見到的液冷是泡在一個大池子裡（術語叫做：池浸沒），這樣更多的是一種象徵性的概念，畢竟設計者只需要考慮良好的散熱，而不需要擔心冷卻液蒸發的問題。但是對於標準化或者說商業化的應用來說，浸沒式液冷面臨的最大問題就在於如何實現冷卻液的迴圈，其他包括倉內壓力變化與洩露問題的控制也在封閉環境中表現得更加困難。
於是乎，出現了兩種封閉環境下的浸沒式液冷散熱方式——有相變浸沒和無相變浸沒。這其中所說的“相變”是一個熱力學的概念，就是物質從一種“相”到另一種“相”的改變。對於大部分人來說，這個概念距離我們都太遙遠，我們只需要知道的，就是在運行過程中液體是否會產生氣泡。
我特別找了另一張圖來說明相變的重要性，這是我在往年的ISC超算大會上拍的。這裡我們可以清楚的看到，曙光I620-M20是無相變浸沒的一款設備，而在上圖展示的設備中，我們也發現它並不是密封的，因為很難解決氣壓與迴圈問題。
很難解決，並非不可解決。記得2016年，我曾經就浸沒式液冷的相關問題採訪過時任曙光資料中心產品事業部總工程師的沈衛東，當時他表現得欲言又止：“只有CPU負載恒定不變時，才能夠保證密封系統的壓力不變進而保證零壓而消除洩漏問題“，說到這裡，沈衛東苦笑了一下：“這當然是不可能的。伺服器的負載總是要隨任務的變化而不斷變化，從而導致密封倉內的壓力時而正壓、時而負壓，進而導致出現洩漏的可能性。我們必須找到新的解決方法”。
現在看來，曙光顯然找到了解決的辦法，但因為保密原因暫時還不能夠公佈。但是何繼盛透露了液冷在研發層面的重要地位——“最主要的研發方向，也是第一重要的戰略方向”。在未來高性能乃至整個伺服器領域中，說曙光“押寶”液冷散熱，並不為過。
高性能領域的確是液冷應用的“核心地帶”，因為這部分應用對於性能有著不竭的需求，而液冷的出現一方面可以説明系統實現更好的散熱、保持更低的溫度，另一方面也能夠促進性能的進一步提升。“在浸沒環境下，CPU可以超頻運行，這樣就能夠獲得更快的運行速度，同時在穩定性上也更有保障”，曙光王晨博士介紹說。
由此可見，“更高、更快、更強”不僅僅是奧運概念，也同樣適用於高性能計算領域。
四、液冷還是一片藍海，談競爭為時過早
華中科大的應用案例不僅僅豐富了曙光液冷伺服器的應用案例，更是浸沒式液冷商用的里程碑。在這一點上，曙光已經走在了行業的前列，·並且推動著行業向著良性發展。
當然，除了曙光之外，國內包括阿裡巴巴在內的許多公司和機構也在著手研發浸沒式液冷設備，並且努力將其付諸于商業應用。與伺服器行業的激烈廝殺不同，在液冷這個領域的“玩家”還不是很多，而且隨著未來的發展，液冷行業在相當長的一段時間內還是處於“做大蛋糕”的階段。
在談到對於液冷乃至於浸沒式液冷未來預期的時候，何繼盛倒是顯得非常大膽：“對於追求極致計算能力的高性能應用領域來說，液冷散熱未來3-5年將會有突飛猛進的發展，或許可以超過傳統的風冷散熱；相信在未來液冷伺服器終將廣泛的應用於更廣闊的資料中心領域”。
面對這樣廣闊的市場，僅僅依靠曙光一家自然是難以為繼的，在採訪中何繼盛也表達出了產業合作的想法：“我們希望這個技術能夠儘快成熟，儘快普及，同時曙光也希望聯合上下游的廠商、友商共同把這個產品成熟化，更廣泛的推廣開”。
我理解何繼盛說的上下游，不僅僅是液冷供應鏈的上下游，更是資料中心應用領域的上下游。如今，曙光已經將伺服器成功變成了浸沒式設備，但是資料中心還是有存儲、網路、安全等多種設備暴露在風冷散熱的環境中，機房空調還是需要一定的散熱才能夠維持正常運轉。因此曙光未來還需要與這些應用層面的夥伴合作，讓更多的設備變成浸沒式，從而打造全新的浸沒式資料中心，也為客戶提供一體式的解決方案。
為此，何繼盛也談到了資料中心行業標準的問題，並表示將促進行業融合，與相關部門溝通，共同推動全新液冷資料中心標準的早日實現。
從2012年的第一台原型機到如今的商業角度，曙光在液冷特別是浸沒式液冷上投入了太多的精力，付出了太多的艱辛，如今終於得到了回報。但這僅僅才是開始，浸沒式液冷作為全新的技術，隨著商用規模的擴大也一定會有更多沒有預見到的問題和困難，去迫使曙光不斷解決、不斷完善、不斷反覆運算，推出效能“更高”、速度“更快”、功能“更強”的解決方案。
我不願意說路漫漫，但這並非是“畢其功於一役”的事情，未來更是充滿艱辛與挑戰，可謂任重而道遠。
成功？我才剛上路哦！
事實證明我想錯了，這個時間已經到來。就在上周的發佈會上，曙光將國內首套商用浸沒式液冷伺服器交付華中科技大學，何繼盛與華中科技大學電腦學院袁平鵬教授共同啟動交付儀式。
三、曙光的液冷解決方案
據悉，這套系統將用於華中科技大學自主研發的資訊存儲系統和並行分散式運算系統，搭建健康大資料平臺。本次交付的液冷解決方案包括了曙光冷板式液冷和浸沒式液冷兩部分，對應的產品型號分別是TC4600E-LP和I620-M20。
TC4600E-LP是曙光一款非常成熟的冷板式液冷產品，早在2015年這款產品就在中國科學院大氣應用物理研究所進行過大規模的部署，系統PUE數值低至1.17，穩定性表現非常搶眼。而I620-M20則是本次交付的亮點——浸沒式液冷伺服器。
乍看起來，I620-M20與普通的伺服器有很大的不同，造型更偏向於一款塔式產品。但是通過透明的側板，我們可以清楚的看到內部的液體，這也是I620-M20的獨特之處。作為浸沒式液冷，I620-M20採用了全封閉的設計，普通伺服器所提供的USB等介面，在I620-M20設計上都經過了改造。可以說，I620-M20是一款全新定制的產品，也具備了劃時代的意義。
正如前面提到的，我在美國超算中心見到的液冷是泡在一個大池子裡（術語叫做：池浸沒），這樣更多的是一種象徵性的概念，畢竟設計者只需要考慮良好的散熱，而不需要擔心冷卻液蒸發的問題。但是對於標準化或者說商業化的應用來說，浸沒式液冷面臨的最大問題就在於如何實現冷卻液的迴圈，其他包括倉內壓力變化與洩露問題的控制也在封閉環境中表現得更加困難。
於是乎，出現了兩種封閉環境下的浸沒式液冷散熱方式——有相變浸沒和無相變浸沒。這其中所說的“相變”是一個熱力學的概念，就是物質從一種“相”到另一種“相”的改變。對於大部分人來說，這個概念距離我們都太遙遠，我們只需要知道的，就是在運行過程中液體是否會產生氣泡。
我特別找了另一張圖來說明相變的重要性，這是我在往年的ISC超算大會上拍的。這裡我們可以清楚的看到，曙光I620-M20是無相變浸沒的一款設備，而在上圖展示的設備中，我們也發現它並不是密封的，因為很難解決氣壓與迴圈問題。
很難解決，並非不可解決。記得2016年，我曾經就浸沒式液冷的相關問題採訪過時任曙光資料中心產品事業部總工程師的沈衛東，當時他表現得欲言又止：“只有CPU負載恒定不變時，才能夠保證密封系統的壓力不變進而保證零壓而消除洩漏問題“，說到這裡，沈衛東苦笑了一下：“這當然是不可能的。伺服器的負載總是要隨任務的變化而不斷變化，從而導致密封倉內的壓力時而正壓、時而負壓，進而導致出現洩漏的可能性。我們必須找到新的解決方法”。
現在看來，曙光顯然找到了解決的辦法，但因為保密原因暫時還不能夠公佈。但是何繼盛透露了液冷在研發層面的重要地位——“最主要的研發方向，也是第一重要的戰略方向”。在未來高性能乃至整個伺服器領域中，說曙光“押寶”液冷散熱，並不為過。
高性能領域的確是液冷應用的“核心地帶”，因為這部分應用對於性能有著不竭的需求，而液冷的出現一方面可以説明系統實現更好的散熱、保持更低的溫度，另一方面也能夠促進性能的進一步提升。“在浸沒環境下，CPU可以超頻運行，這樣就能夠獲得更快的運行速度，同時在穩定性上也更有保障”，曙光王晨博士介紹說。
由此可見，“更高、更快、更強”不僅僅是奧運概念，也同樣適用於高性能計算領域。
四、液冷還是一片藍海，談競爭為時過早
華中科大的應用案例不僅僅豐富了曙光液冷伺服器的應用案例，更是浸沒式液冷商用的里程碑。在這一點上，曙光已經走在了行業的前列，·並且推動著行業向著良性發展。
當然，除了曙光之外，國內包括阿裡巴巴在內的許多公司和機構也在著手研發浸沒式液冷設備，並且努力將其付諸于商業應用。與伺服器行業的激烈廝殺不同，在液冷這個領域的“玩家”還不是很多，而且隨著未來的發展，液冷行業在相當長的一段時間內還是處於“做大蛋糕”的階段。
在談到對於液冷乃至於浸沒式液冷未來預期的時候，何繼盛倒是顯得非常大膽：“對於追求極致計算能力的高性能應用領域來說，液冷散熱未來3-5年將會有突飛猛進的發展，或許可以超過傳統的風冷散熱；相信在未來液冷伺服器終將廣泛的應用於更廣闊的資料中心領域”。
面對這樣廣闊的市場，僅僅依靠曙光一家自然是難以為繼的，在採訪中何繼盛也表達出了產業合作的想法：“我們希望這個技術能夠儘快成熟，儘快普及，同時曙光也希望聯合上下游的廠商、友商共同把這個產品成熟化，更廣泛的推廣開”。
我理解何繼盛說的上下游，不僅僅是液冷供應鏈的上下游，更是資料中心應用領域的上下游。如今，曙光已經將伺服器成功變成了浸沒式設備，但是資料中心還是有存儲、網路、安全等多種設備暴露在風冷散熱的環境中，機房空調還是需要一定的散熱才能夠維持正常運轉。因此曙光未來還需要與這些應用層面的夥伴合作，讓更多的設備變成浸沒式，從而打造全新的浸沒式資料中心，也為客戶提供一體式的解決方案。
為此，何繼盛也談到了資料中心行業標準的問題，並表示將促進行業融合，與相關部門溝通，共同推動全新液冷資料中心標準的早日實現。
從2012年的第一台原型機到如今的商業角度，曙光在液冷特別是浸沒式液冷上投入了太多的精力，付出了太多的艱辛，如今終於得到了回報。但這僅僅才是開始，浸沒式液冷作為全新的技術，隨著商用規模的擴大也一定會有更多沒有預見到的問題和困難，去迫使曙光不斷解決、不斷完善、不斷反覆運算，推出效能“更高”、速度“更快”、功能“更強”的解決方案。
我不願意說路漫漫，但這並非是“畢其功於一役”的事情，未來更是充滿艱辛與挑戰，可謂任重而道遠。
成功？我才剛上路哦！