Category 電腦科學

從質數到二進位計算機——萊布尼茲的創見

1676年底，三十而立的萊布尼茲離開待了四年的巴黎，返回德國。在巴黎期間，他已構思出微積分此一全新的數學方法，卻沒有公開對外發表，回國後他仍將之暫擱一旁，反而研究起質數來了。 他先在1678年2月發表一篇論文，指出任何大於5的質數減去1或5，一定能被6整除（這也可以表述成「任何大於3的質數都可以寫成6k ± 1」的形式）。隨後他又試圖證明費馬小定理，這是費馬於1640年提出的猜想： 若p為質數，a是小於p的正整數，則 aᴾ⁻¹- 1一定能被p整除。 （例如 p=7, a=2，則2⁷⁻¹ – 1 = 63 是 7 的倍數。） 倘若這真的成立，便能用來判斷一個數有沒有可能是質數。當萊布尼茲從a=2開始，也就是2ⁿ– 1這種所謂的梅森數（Mersenne number）研究起時，他注意到若是用二進位表示，梅森數依序便是1、11、111、1111、……，完全不用像十進位制那樣計算，就能直接寫出來。 接著他發現二進位也很適合用於表示完美數（perfect number）。如果一個數的真因數加總起來恰好等於它本身，例如6 = 1 + 2 + 3 或 28 = 1 +2 + 4 + 7 + 14，便稱為完美數。而歐幾里得早就證明： 若2ⁿ–…

孕育出矽谷的人

舊金山南部，從帕羅奧圖（Palo Alto）往南延伸到聖荷西（San Jose）長約四十公里，人稱「矽谷」的狹長谷地，聚集了大家耳熟能詳的頂尖企業，包括Apple、AMD、Facebook、Google、Intel、Netflix、Tesla、……等，當然，還有目前最熱門的NVIDIA，以及其它數以千計的科技公司。幾十年來矽谷一直扮演著全球科技發展的火車頭，那麼這一切是怎麼開始的？若要溯及源頭，生日就在今天（6月7日）的特曼（Frederick E. Terman）可說是矽谷的催生者。 特曼於1900年出生在美國印第安那州，10歲時父親到史丹佛大學擔任教育心理學教授，舉家遷到加州。以修訂智商量表著稱的父親也致力於推廣智商測驗，並藉此發掘天才兒童。特曼本身雖然並未通過天才兒童的認定標準，但學業成績也相當優異，史丹佛化學系畢業後，改讀史丹佛的電機研究所。當時東岸的學術水準高於西岸，因此他唸完碩士隨即前往麻省理工學院攻讀電機博士，24歲就拿到博士學位。 當時東岸不僅學術水準領先西岸，科技公司與研究機構（例如貝爾實驗室）也大多在麻州到紐澤西州一帶，因此特曼原本打算留在東岸工作，然而他卻診斷出肺結核，不得不回到陽光普照的加州休養。 經過一年的休養後，他到史丹福大學任教，開設真空管、電路學等當時還相當新的課程。1929年開始，美國步入經濟大蕭條，大學畢業生也沒什麼就業機會。看到自己的學生找不到工作，特曼索性鼓勵他們自行創業，甚至自掏腰包予以資助；其中惠利特（William Hewlett）和普克德（David Packard）便是在他的鼓勵下，於1939年在車庫創辦了惠普公司（Hewlett-Packard，簡稱HP）。 第二次世界大戰爆發後，特曼被徵召到哈佛大學，帶領八百人的團隊研發干擾敵方雷達的無線電技術。戰爭期間美國產、學、研三方的通力合作，給予特曼不同的視野，他讀博士時的指導教授凡納爾·布希（Vannevar Bush）更是絕佳典範。戰前布希在教學之餘還創辦了製造無線電零件的雷神公司（Raytheon），幾年後發明世上第一台可以解微分方程式的類比式計算機「微分分析儀」，可快速計算彈道，對盟軍助益極大。二次大戰期間，布希受到總統重用，讓軍方將研究經費下放給大學或民間機構，促進軍方與企業、學術界的交流合作，不但提升了民間科技實力，也為科學人才的培育建立正向循環。 戰後特曼回到史丹佛擔任工學院院長，決定效法布希的遠見與策略，除了大力延攬學術人才，也積極爭取軍方的研究經費，用以提升實驗室的儀器設備，努力讓史丹佛大學迎頭趕上麻省理工學院。此外，他還向董事會提出一項史無前例的大膽計畫：將學校靠近帕羅奧圖那片閒置的廣闊土地闢為工業園區，分租給科技廠商。 租金收入倒是其次，更重要的是廠商進駐後，因地利之便，學生容易有實習的機會，之後便可能直接轉為正職，另外教授也可接受廠商委託進行研究，除了增加研究經費，也能接觸到最新的科技應用（因為當時都是軍方率先引進最新科技，因此所謂的科技廠商幾乎都是國防承包商），這樣不但更能吸引優秀人才來任教或就讀，也有助於教授或學生創立科技公司。 1951年，佔地209英畝的史丹佛工業園區（現已更名為「史丹佛研究園區」）開始動工，兩年後正式成立，除了通用電氣、洛克希德、……等大型企業，HP等史丹佛校友所創的公司也陸續進駐。 特曼於1955年升任教務長，當他聽說發明電晶體的蕭克利（William Shockley）宣布離開貝爾實驗室，要自行成立半導體實驗室，立刻寫信力邀蕭克利來設廠。雖然蕭克利最後將公司設在母親所住的山景城（Mountain View），但此處緊鄰史丹佛工業園區，後來蕭克利的八名員工集體離職，創立快捷半導體，之後快捷半導體的員工又開枝散葉，卻都還是將公司設在附近，其中最重要的因素無疑是特曼推動形成的產、學、研聚落。（這段歷史可參見我所寫的《蕭克利與八叛徒》） 矽谷的「矽」固然是源於蕭克利將電晶體帶來此處，但若不是特曼多年的苦心孤詣，經營出新創企業的溫床，蕭克利播下的種子也不會發芽茁壯成今日矽谷的繁榮樣貌。所以儘管特曼總是自謙地不願將矽谷的發展歸功於己，但許多人還是認為他值得「矽谷之父」的美譽。 事實上，已故的總統府資政李國鼎先生便是在1977年赴美訪問時，特地前往拜訪特曼，才產生在新竹靠近清華大學與交通大學處設立科學園區的構想。因此這位孕育出矽谷的人，其實也間接地影響了我國的科技發展呢！ 參考資料：

NVIDIA晶片架構的名稱由來

你知道嗎？Nvidia從1998年開始，一直都用科學家來命名新推出的處理器架構。例如現在最新的處理器GB200，名稱中的”G”和”B”分別就是指Grace CPU和Blackwell GPU。 以下便是我所整理的產品地圖，順便讓大家對這些科學家有個粗略認識。若想進一步了解，可參考我之前寫過的這幾篇：1. 為什麼Nvidia下一代的晶片架構命名為Blackwell？2. 誰是 Grace？3. 愛達・勒芙雷斯真正的厲害之處4. 人工智慧與圖靈測試

開啟數位時代的人

我的書房牆上掛著伽利略、牛頓、達爾文、愛因斯坦、……等重要科學家的肖像或照片，其中有一張照片到目前為止，來訪的朋友都沒有人認出他是誰。確實，不只一般大眾不知道他，就連對科學有興趣的人大多也不大清楚這號人物，但在我心目中，他的貢獻與創造力卻足以和牛頓、愛因斯坦並列。 今天（4月30日）是他108歲冥誕，趁此來向大家介紹這位為現代科技文明的兩個支柱——數位電腦與網路通訊——建立理論基礎的夏農（Claude Shannon）。 夏農於1916年出生於美國密西根州北邊一個不到三千人的小鎮。他小時的偶像是愛迪生（後來發現他們竟然都是一位17世紀從英國來美國之移民者的後代），因此特別喜歡動手組裝模型，還自己拉電線到幾百公尺外的朋友家，用來傳遞電報。 他於1936年以數學和電機雙學位自密西根大學畢業後，即進入麻省理工學院就讀電機研究所；指導教授凡納爾·布希（Vannevar Bush）也是發明家，他在1930年左右發明「微分分析儀」（Differential Analyzer），用馬達與轉軸、齒輪等機電零件組成，是史上第一台可以解微分方程式的類比式計算機。 夏農也負責操作實驗室的微分分析儀，為其他教授或外部單位計算二次微分方程式。他相當樂在其中，看著微分分析儀按照自己的設定自動運轉，在紙上畫出方程式對應的圖形，總讓他獲得愉悅的滿足感。久而久之，夏農已習慣從微分分析儀的機械動作聯想到微分方程式，而這個養成將助他萌生劃時代的創見。 第二年暑假，夏農到美國電話電報公司 (AT&T) 轄下的貝爾實驗室實習。當時美國的電話數量急速成長，為了降低接線生的人工成本並提高效率，貝爾實驗室著手開發縱橫式自動交換機。電話交換機用了很多繼電器，繼電器裡面是電磁鐵，會因通電與否而像閘門般開開關關，進而控制電話線路的搭接。 在一般工程師眼中，繼電器是在控制電流的進出，但夏農卻看出電流所傳遞的其實是開或關兩種狀態，而電話交換機的整體電路背後所代表就是某組方程式，就像微分分析儀一樣；只不過微分分析儀處理的是連續的數值，而電話交換機只有開、關兩種訊號。他想起大學時學過的布林代數，其中代表陳述句真假的1與0這兩個數字，恰可用來表示繼電器的開或關，而繼電器串聯就相當於邏輯運算的「且」(AND)，並聯則是相當於「或」(OR)。如此一來，電話交換機的實體迴路便可以用布林代數加以描述。 暑期實習結束，夏農回到學校獲得指導教授布希的肯定後，很快在1937年底前就完成碩士論文，題為〈繼電器與交換電路的符號分析〉(A Symbol Analysis of Relay and Switching Circuits)，開宗明義即宣告： 「任何電路都可以用一組方程式表示，……。事實證明，其計算方式完全等同於符號邏輯所用的命題運算。」 他最後還提出三個自己設計的電路圖，第一個是電路的簡化：原本使用20個元件的電路，經由邏輯演算找出等效的表達式後，可以將元件減少為14個。第二個與第三個都是他的創新發明，分別是有5個按鍵開關的電子密碼鎖，以及二進位的電子加法器。 這篇論文於第二年公開發表後，立即引起巨大的迴響。原本錯綜複雜的電路圖改用布林代數表示後，就可以更容易模擬執行的結果，甚至找出更精簡的電路方案，大幅減少傳統嘗試錯誤所耗費的時間與成本，並能更迅速地設計出更好、更便宜的新產品。 最重要的是，夏農所揭櫫的邏輯電路與二進位運算，勾勒出數位運算的普遍性抽象法則，即便硬體元件從繼電器換成真空管，再進展到電晶體，所有電子產品與數位電腦的背後都還是這套法則。也難怪夏農21歲所寫的這篇論文被譽為「應該是本世紀最重要、最值得注意的碩士論文」，後來《科學美國人》雜誌也稱它是「資訊時代的大憲章」。 在布希的鼓勵下，夏農轉而攻讀數學博士，並在1940年取得博士學位後，到普林斯頓高等研究院進行為期一年的博士後研究，和馮紐曼交換過看法。隨後夏農又回到貝爾實驗室工作，除了為軍方研發火炮控制系統，還負責研究盟軍高層之間通話的加密系統。 當時工程師無不想著如何抑制雜訊的干擾，以確保訊息的完整性，並盡可能減少冗餘的字元，以提高通訊效率，但夏農再次提出常人所未見的革命性觀點。他指出雜訊無法排除也沒關係，而冗餘正是克服雜訊之道。他並結合熱力學中熵的概念與統計學，將抽象的資訊量化——位元（bit）便是他所提出”binary digit”的簡稱，進而推導出在容許雜訊與糾錯的情況下，通訊頻道的最高速度限制。 夏農的〈通訊的數學理論〉( A Mathematical Theory of Communication)刊登於1948年的貝爾實驗室內部期刊，戰後人們才驚異地發現這位32歲的青年就這麼憑一己之力，開創出一門前所未有且影響深遠的的科學──資訊理論。在這個基礎上，資料數位化、壓縮、傳輸等各項理論與技術隨後逐一發展，也才有現在各種的數位內容並能隨時經由網路獲取。 二次大戰期間，圖靈曾來貝爾實驗室短暫停留，與夏農多次茶敘。由於他們手上的加密∕解密任務都屬機密，不得談論，因此兩人的交流聚焦於機器能否思考這個抽象問題。戰後兩人各自繼續探討人工智慧的可能性，圖靈於1950年的論文〈計算機器和智能〉(Computing Machinery and Intelligence)中，提出「模仿遊戲」（也就是後來所謂的「圖靈測試」），夏農則在1950年發表論文討論如何讓電腦下西洋棋，還發明了會自我學習走迷宮的機械老鼠，成為第一台人工智慧裝置的雛形。現在被視為ChatGPT強勁對手的Claude AI，其命名應該就是向夏農致敬。 夏農晚年罹患阿茲海默症，死前幾年在療養院度過，最後於2001年2月24日過世，享年84歲。他因為開創資訊理論而被尊稱為「資訊理論之父」，無論人類文明現在稱為資訊時代、網路時代或數位時代，背後都可追溯至夏農的開創性貢獻，難怪有人比喻夏農的貢獻「就像是形容發明字母的人對文學有多大的影響。」 參考資料：

為什麼Nvidia下一代的晶片架構命名為Blackwell？

Nvidia昨夜公布上季營收和獲利，雙雙超乎預期，執行長黃仁勳並表示「加速運算和生成式AI已經到達臨界點」，令人更加期待即將在3月18日發表的次世代GPU “B100”。 Nvidia目前這一代的晶片架構名稱取自「COBOL之母」Grace Hopper（我曾在2021年4月Nvidia發表時，撰文介紹過她），下一代的架構命名為Blackwell，所致敬的又是何方神聖？ 布萊克威爾（David Blackwell）是非裔美國人，1919年4月24日出生於伊利諾州南部。他八年級前就兩度跳級，16歲進入伊利諾大學香檳分校就讀數學系。他是在高中時因為幾何課程而燃起對數學的熱愛，不過他不敢夢想當數學家，只打算大學畢業後能當個小學老師。 大三那年，布萊克威爾確定自己適合研究數學後，下定決心念研究所。結果他三年念完大學，一年取得碩士學位，兩年完成博士論文，22歲就成為學校有史以來第一位非裔的數學博士，全美則是第七位。 布萊克威爾隨即在1941年獲邀至普林斯頓高等研究院進行為期一年的博士後研究，由於他是第一位進駐的黑人，引起了不小的騷動。原來高等研究院的研究員自動成為普林斯頓大學的訪問學者（高等研究院是獨立機構，與普林斯頓大學並無隸屬關係），但當時的種族偏見仍相當普遍，普林斯頓大學的校長也不例外，他不但不讓布萊克威爾參與校內的交流活動，還組織抗議行動，反對高等研究院同仁連署讓布萊克威爾多待一年的提議。 結束博士後研究後，布萊克威爾明白一般大學不可能聘用他，只能向全美104家黑人大學都投遞履歷，結果只有三家提供他教職。他在其中兩家各擔任一年的講師後，於1944年至黑人大學中最富盛名的霍華德大學（Howard University）任教，三年後就成為教授及數學系系主任。 1954年，布萊克威爾獲邀至加州大學柏克萊分校擔任客座教授，隔年成為該校第一位非裔終身教授，並於1957至1961年期間擔任統計系主任。他在柏克萊一直待到1988年，屆滿70歲才退休。2010年，布萊克威爾因中風引起的併發症病逝，享年91歲。 布萊克威爾生前發表84篇論文，主題涵蓋機率、貝式統計、統計推理、序列分析、馬可夫鏈、動態規劃、博弈理論、決策理論、資訊理論、邏輯、集合論。他的多篇論文至今被當代的研究所引用，而且有許多定理與概念是用他的姓氏命名，包括Blackwell確定性、Blackwell賽局、Blackwell更新定理、Blackwell空間、Blackwell最佳策略、Blackwell接近性定理、Blackwell實驗組合理論、Blackwell通道以及Rao-Blackwell定理等，他的影響與貢獻由此可見一斑。 現今人工智慧的發展和布萊克威爾的研究主題都有關係，而他身處種族偏見的時代，卻能在不友善的社會環境中做出巨大貢獻，尤其難能可貴，這或許就是Nvidia將下一代的晶片架構命名為Blackwell，以向他致敬的原因吧。 參考資料：