英偉達的“核武器”：實(shí)習生拯救GPU帝國，黃仁

對于人工智能的興奮情緒，讓已經(jīng)24歲的英偉達成為科技界最熱門(mén)的企業(yè)之一，股價(jià)直線(xiàn)飆升，過(guò)去兩年內漲幅超過(guò)七倍，市值達到1000億美元，最近一個(gè)季度的收入暴增了56%。 

勢如破竹的背后，你或許會(huì )好奇，曾經(jīng)一個(gè)只是負責在屏幕上繪制圖像的“圖形處理單元”，如今為何能夠肩負起解決復雜計算問(wèn)題的重任？GPU全面崛起，英偉達的答案很明確，一個(gè)有“強迫癥”的老板和十多年前的一次關(guān)鍵押注。 

皮衣霸道總裁的“強迫癥”

這家強勢增長(cháng)的公司背后的掌舵者是創(chuàng )始人兼CEO黃仁勛（Jen-Hsun Huang）。他擁有敏銳的戰略直覺(jué)，個(gè)性出了名的嚴苛，常常穿深色的衣服，因此有人拿他來(lái)跟蘋(píng)果已故CEO史蒂夫·喬布斯（Steve Jobs）比較。 

▲ 英偉達創(chuàng )始人兼CEO 黃仁勛

黃仁勛今年已經(jīng)54歲，總是一身全黑，還經(jīng)常披件皮外套，在辦公室里走路風(fēng)風(fēng)火火，員工一般很難跟上他的步伐。他出生在臺灣，從小和家人一起生活在美國。青少年時(shí)期他特別喜歡打乒乓球，后來(lái)還成了當地聞名的頂尖快攻球員。Paddle Palace乒乓球公司的CEO也說(shuō)：“他行動(dòng)敏捷，打球流暢且有力量，要不是從商了，本來(lái)或許可以成為全國頂尖的乒乓球運動(dòng)員?！?nbsp;

從斯坦福畢業(yè)后，第二年他就開(kāi)始學(xué)習電子工程專(zhuān)業(yè)知識，與前Sun Microsystems工程師Chris Malachowsky和Curtis Priem共同創(chuàng )建了顯卡制造公司英偉達。 

不久，英偉達迅速在市場(chǎng)上辟出了一席之地。經(jīng)過(guò)與47家顯卡生產(chǎn)商的激烈爭奪后于1999年上市，而其他公司要不就是被收購了，要不就是倒閉了，只留下AMD還在和英偉達兩強相爭。 

為了存活下來(lái)，黃仁勛告誡員工必須保持專(zhuān)注。他總是說(shuō)如果不努力，公司可能一個(gè)月內就會(huì )破產(chǎn)，這讓每個(gè)員工都感受到了壓迫和緊張感。 

黃仁勛的競爭“強迫癥”還反映在他總是向員工宣布好消息上。1997年的一次全體大會(huì )上，他向全體員工宣布英偉達銀行留存資金100萬(wàn)美元左右。同時(shí)，公司已經(jīng)將芯片RIVA 128投入量產(chǎn)。這種消息總是搞得員工的心情十分忐忑。接著(zhù)他從自己口袋里拿出一張紙，向大家解釋這是STB系統下的3000萬(wàn)美元顯卡訂單。那是英偉達第一次接到這么大筆單子，也標志著(zhù)英偉達顯卡芯片已經(jīng)成功打開(kāi)了HP和DELL這類(lèi)計算機制造商的市場(chǎng)，當時(shí)公司上下一片歡呼。 

1998年，英偉達首次補上了季度利潤不足，當時(shí)黃仁勛還在辦公室給70個(gè)員工每人都發(fā)了一張1美元鈔票慶祝。

黃仁勛的“強迫癥”還是非常有效的。上市前后，英偉達經(jīng)過(guò)了多次“瀕死”體驗。每次將芯片發(fā)給計算機制造商，員工總是面臨不立即行動(dòng)會(huì )死人的截止期限。有時(shí)在臺灣生產(chǎn)的芯片被檢測出來(lái)有問(wèn)題，寧愿損失一大筆錢(qián)也要全部回收殘次品。 

黃仁勛的危機管理能力為他贏(yíng)得了員工的敬重。1998年，英特爾推出了一款與英偉達競爭的顯卡，黃仁勛組織了一系列全體會(huì )議，指示員工寫(xiě)出能提高玩游戲時(shí)的顯卡性能的軟件。后來(lái)還是保住了競爭優(yōu)勢。英特爾制造的威脅在英偉達看來(lái)其實(shí)從未實(shí)現。 

同年，Silicon Graphics起訴英偉達專(zhuān)利侵權。黃仁勛再次迅速掌控了有利局勢，兩家公司最終同意授權對方專(zhuān)利。SGI后來(lái)還讓英偉達成為了自家計算機系統顯卡芯片的優(yōu)先選擇。黃仁勛的努力也幫助英偉達在首輪融資中吸引了眾多潛在投資者。 

黃仁勛已經(jīng)證明了他的“能屈能伸”。公司創(chuàng )建以來(lái)的24年時(shí)間里，英偉達數次面臨生存困境，包括新芯片出問(wèn)題，和競爭對手打官司等，黃仁勛都帶領(lǐng)員工渡過(guò)了危機。

▲ 在施工中的英偉達圣克拉拉新總部

多年來(lái)，為了讓英偉達拓展新的市場(chǎng)領(lǐng)域，黃仁勛一直都會(huì )事先做好風(fēng)險預估工作。就在10多年前，他下了一次關(guān)鍵性的賭注：押注一系列的改動(dòng)和軟件開(kāi)發(fā)，來(lái)使得GPU能夠處理在電腦屏幕上繪畫(huà)以外的、更為復雜的任務(wù)。 

然而，“此舉給公司帶來(lái)了極大的成本壓力?！秉S仁勛說(shuō)。他估計，該名為CUDA（統一計算設備架構）的項目每年需要花費5億美元，而當時(shí)公司的總營(yíng)收規模在30億美元左右。自從CUDA推出以來(lái)，英偉達所有的支出都圍繞著(zhù)將GPU轉化為更為通用計算工具，總額接近100億美元。

實(shí)習生杰作“CUDA”拯救GPU帝國

如此執拗的霸道總裁真懷疑他是“處女座”。不過(guò)，CUDA取得今天所有成績(jì)，除了黃仁勛的堅持，還有一個(gè)人功不可沒(méi)，他就是伊恩·布克（Ian Buck），現任英偉達 GPU 計算軟件總經(jīng)理。

▲ Ian Buck于2004年加盟英偉達并創(chuàng )造了CUDA

Ian Buck對于GPU計算的研究最早起始于2000年。當時(shí)，Buck及其在斯坦福大學(xué)的一個(gè)小團隊敏銳觀(guān)察到了圖形處理器在性能方面的優(yōu)勢和發(fā)展趨勢。他表示，將GPU用于通用計算的想法是從GPU支持可編程開(kāi)始的。 

在最初幾年，他們遇到了非常大的困難。盡管初步試驗可以證實(shí)GPU用于通用計算的巨大潛力，推廣這個(gè)想法卻十分不易。 終于在2003年，由Ian Buck領(lǐng)導的研究團隊發(fā)布了Brook，這是第一個(gè)廣泛采用的使用數據并行架構擴展C的編程模型。同時(shí)，Brook也是GPU 通用計算方面先驅項目。

▲ 英偉達 GPU 計算軟件總經(jīng)理 Ian Buck（最右）

2004年，斯坦福大學(xué)博士生Ian Buck進(jìn)入英偉達實(shí)習，開(kāi)始集合相關(guān)的硬件和軟件工程師創(chuàng )造GPGPU模型，這是CUDA研發(fā)的開(kāi)端。當時(shí)，Buck曾參與一項涉及簡(jiǎn)化利用GPU的眾多計算引擎過(guò)程的編程挑戰賽。 

不久后，英偉達便對它的芯片作出改動(dòng)，開(kāi)發(fā)出軟件輔助工具，其中包括支持標準的編程語(yǔ)言，而非用于向圖形芯片發(fā)出指令的神秘工具。在Ian Buck率領(lǐng)下，于2006年正式推出——CUDA，這是全球首款GPU上的通用計算解決方案。

CUDA是由英偉達開(kāi)發(fā)的用于圖形處理單元（GPU）上的通用計算的并行計算平臺和編程模型。利用CUDA，開(kāi)發(fā)人員可以通過(guò)利用GPU的功能大大加快計算應用。事實(shí)上，在英偉達內部，CUDA是作為所有GPU系列的通用平臺。

▲ 英偉達Tesla P100的性能表現

在GPU加速的應用程序中，工作負載的順序部分在CPU上運行，針對單線(xiàn)程性能進(jìn)行了優(yōu)化，而應用程序的計算密集型部分則并行運行在數千個(gè)GPU內核上。使用CUDA時(shí)，開(kāi)發(fā)人員使用C、C 、Fortran、Python和MATLAB等流行語(yǔ)言進(jìn)行程序設計，并以幾個(gè)基本關(guān)鍵字的形式通過(guò)擴展表達并行性。CUDA工具包包括GPU加速庫、編譯器、開(kāi)發(fā)工具和CUDA運行時(shí)。

CUDA的核心設計理念就是計算機中的線(xiàn)程。與傳統CPU中的4、8和16個(gè)線(xiàn)程不同，GPU中的線(xiàn)程可以多達幾萬(wàn)個(gè)。 

Buck表示，看起來(lái)這些線(xiàn)程的管理是一件十分復雜的事情。但實(shí)際上，編程人員主要的困難在于如何發(fā)揮這些線(xiàn)程的優(yōu)勢，而不是管理這些線(xiàn)程。早期，CUDA的性能主要依賴(lài)編程人員人工發(fā)現代碼中可并行計算的部分。 

目前，隨著(zhù)CUDA庫的發(fā)展，這方面的工作開(kāi)始越來(lái)越自動(dòng)化。CUDA團隊已經(jīng)開(kāi)發(fā)了很多石油、天然氣和國防等相關(guān)產(chǎn)業(yè)所使用的科學(xué)計算方面的庫。最終，2012年發(fā)布的Titan超級計算機使用了18688個(gè)英偉達Tesla K20 GPU作為協(xié)處理器，標志著(zhù)GPGPU在高性能計算方面的成功推廣和應用。從2011年開(kāi)始，Top 500的超級計算機中至少有50臺會(huì )使用GPU進(jìn)行加速。而這些機器基本上也都出現在Green 500（全球節能超級計算機榜單）的列表中。 

英偉達AI“殺傷性武器” CUDA平臺瓜熟蒂落

CUDA開(kāi)始受到越來(lái)越多的關(guān)注，CUDA的應用也“百花齊放”。但Buck表示，其中最讓其影響深刻的就是，乳腺癌檢測和診斷的系統。與傳統方法相比，采用支持CUDA編程的Tesla GPU后，醫生能夠更早、更精確地發(fā)現乳腺癌。而美國國家癌癥研究所數據顯示，基于CUDA的系統在運行蛋白質(zhì)配體運算（用于研發(fā)治療癌癥和老年癡呆癥的新藥）時(shí)只需要原來(lái)1/12的時(shí)間。 

▲ 英偉達的新圖形芯片Volta，據估計開(kāi)發(fā)成本高達30億美元

Buck還介紹說(shuō)，他之前和來(lái)自很多工業(yè)界的人士交流發(fā)現，他們寧愿犧牲性能，也不愿接受一門(mén)新的語(yǔ)言。為了能夠給相關(guān)編程人員提供很好的入門(mén)體驗，從而便于CUDA的推廣，CUDA采用了已經(jīng)流行的C語(yǔ)言作為基礎。 

這樣，編程人員就不需要去學(xué)習特定的顯示芯片的指令或是特殊的結構，即可編寫(xiě)GPU上運行的程序，這毫無(wú)疑問(wèn)促進(jìn)了CUDA在程序員之間的流行。 

▲ 英偉達加州圣克拉拉園區里的演示室 

此外，英偉達當年做出的一個(gè)決定也極為關(guān)鍵?，F在已是負責針對 GPU 計算的所有工程、第三方支持以及開(kāi)發(fā)者營(yíng)銷(xiāo)活動(dòng)的 lan Buck 回憶說(shuō)，英偉達讓自家消費級GPU和高端產(chǎn)品都支持CUDA。這就意味著(zhù)只要研究人員、學(xué)生有筆記本電腦或者臺式機，就能在學(xué)校實(shí)驗室和宿舍里開(kāi)發(fā)軟件。 

英偉達還說(shuō)服了許多大學(xué)開(kāi)設課程，教學(xué)生用他們公司的最新編程技術(shù)。程序員們逐漸把GPU應用于氣候建模、勘探石油和天然氣等很多領(lǐng)域。

Buck表示，CUDA在超級計算領(lǐng)域的成功應用也迎來(lái)了很好的使用反饋。目前，Buck在英偉達的團隊就根據用戶(hù)反饋開(kāi)始探索GPU內存的管理方式。CUDA6就推出了一個(gè)新的軟件內存管理特性，支持數據在CPU內存和GPU內存之間的自動(dòng)轉移。計劃于2016年面世的英偉達 Pascal GPU 架構則將配備 NVLink，使 GPU 和 CPU 之間的數據傳輸速度較現有的 PCI-Express 標準加快5至12倍。 

此外，為了進(jìn)一步減少編程工作，Cray、PGI以及英偉達等領(lǐng)先的HPC供應商在2011年推出了OpenACC編程標準。該標準定義了一組標準化的、高層次的代碼注釋?zhuān)笴/C 和Fortran編程人員可以利用GPU加速代碼運行。英偉達在2015年7月更是發(fā)布了全新OpenACC免費工具套件，讓相關(guān)研究人員能夠更多的關(guān)注科學(xué)本身。Buck也一再強調，OpenACC的初衷就是讓用戶(hù)“首先是個(gè)科學(xué)家，然后才是一個(gè)程序員”。 

英偉達花了好幾年才讓CUDA牽住了客戶(hù)，不過(guò)CUDA也幫英偉達在高性能運算市場(chǎng)索回了相應的回報。2012年，CUDA和GPU與深度學(xué)習的神經(jīng)網(wǎng)絡(luò )結合在一起，震驚了學(xué)術(shù)界。 當時(shí)，加拿大多倫多大學(xué)的Geoffrey Hinton帶著(zhù)兩個(gè)學(xué)生，用GPU訓練深度神經(jīng)網(wǎng)絡(luò )拿下了ImageNet圖像識別大賽的冠軍。 

Buck表示，在此之前，要通過(guò)程序員制定的規則訓練系統在數百萬(wàn)圖像中識別出一張面孔，需要耗費整整一個(gè)學(xué)期，而通過(guò)GPU，研究人員在短短幾周、幾天甚至幾個(gè)小時(shí)之內就能完成訓練過(guò)程。 

▲  GTC CHINA 2017現場(chǎng)

這一幕，在不久前的GTC CHINA 2017大會(huì )上，黃仁勛便用 TensorRT （一款適用于CUDA GPU的優(yōu)化神經(jīng)網(wǎng)絡(luò )編譯器 ）進(jìn)行了演示，搭配 Tesla V100 GPU 加速器的 TensorRT 每秒能夠識別多達 5700 張圖片，而如今所用的 CPU 則每秒僅能識別 140 張圖片。 

企業(yè)數據中心是黃仁勛慧眼預見(jiàn)到的另一CUDA應用領(lǐng)域。 目前，Tesla V100 AI 平臺目前已經(jīng)被諸多包括BAT、華為、浪潮、聯(lián)想在內的中國領(lǐng)軍IT企業(yè)采用，用以升級自身數據中心與云服務(wù)基礎設施。 

不過(guò)，黃仁勛下的賭注也不是次次都能獲得回報。Tegra芯片本來(lái)是為智能手機和平板電腦研發(fā)，但在這兩個(gè)市場(chǎng)并未奏效，后來(lái)只能轉移戰略目標。 

現在，這位霸道總裁又將目光轉向了汽車(chē)制造行業(yè)。