重學計算機組成原理(十)- "燙燙燙"亂碼的由來

2019年08月27日00:52:14 科技 1671

重學計算機組成原理(十)- "燙燙燙"亂碼的由來 - 天天要聞

程序 = 演算法 + 數據結構

對應到計算機的組成原理(硬體層面)

  • 演算法 --- 各種計算機指令
  • 數據結構 --- 二進位數據

計算機用0/1組成的二進位,來表示所有信息

  • 程序指令用到的機器碼,是使用二進位表示的
  • 存儲在內存裡面的字元串、整數、浮點數也都是用二進位表示的

萬物在計算機里都是0和1,搞清楚各種數據在二進位層面是怎麼表示的,是我們的必修課。

在實際應用中最常遇到的問題,也就是文本字元串是怎麼表示成二進位的,特別是我們會遇到的亂碼究竟是怎麼回事兒

在開發的時候,所說的Unicode和UTF-8之間有什麼關係。

理解了這些,相信以後遇到任何亂碼問題,你都能手到擒來了。

1 理解二進位的「逢二進一」

二進位和我們平時用的十進位,並沒有本質區別,只是平時是「逢十進一」,這裡變成了「逢二進一」

每一位,相比於十進位下的0~9這十個數字,我們只能用0和1這兩個數字。

任何一個十進位的整數,都能通過二進位表示出來

把一個二進位數,對應到十進位,非常簡單,就是把從右到左的第N位,乘上一個2的N次方,然後加起來,就變成了一個十進位數

當然,既然二進位是一個面向程序員的「語言」,這個從右到左的位置,自然是從0開始的。

比如0011這個二進位數,對應的十進位表示,就是

$0×2^3+0×2^2+1×2^1+1×2^0$

$=3$

代表十進位的3

對應地,如果我們想要把一個十進位的數,轉化成二進位,使用短除法就可以了

也就是,把十進位數除以2的餘數,作為最右邊的一位。然後用商繼續除以2,把對應的餘數緊靠著剛才餘數的右側,這樣遞歸迭代,直到商為0就可以了。

  • 比如,我們想把13這個十進位數,用短除法轉化成二進位,需要經歷以下幾個步驟:

重學計算機組成原理(十)- "燙燙燙"亂碼的由來 - 天天要聞


  • 因此,對應的二進位數,就是1101

剛才我們舉的例子都是正數,對於負數來說,情況也是一樣的嗎?

我們可以把一個數最左側的一位,當成是對應的正負號,比如0為正數,1為負數,這樣來進行標記。

這樣,一個4位的二進位數, 0011就表示為+3。而1011最左側的第一位是1,所以它就表示-3。這個其實就是整數的原碼錶示法

原碼錶示法有一個很直觀的缺點就是,0可以用兩個不同的編碼來表示,1000代表0, 0000也代表0。習慣萬事一一對應的程序員看到這種情況,必然會被「逼死」。

於是,我們就有了另一種表示方法。我們仍然通過最左側第一位的0和1,來判斷這個數的正負。但是,我們不再把這一位當成單獨的符號位,在剩下幾位計算出的十進位前加上正負號,而是在計算整個二進位值的時候,在左側最高位前面加個負號。

比如,一個4位的二進位補碼數值1011,轉換成十進位,就是

$-1×2^3+0×2^2+1×2^1+1×2^0$

$=-5$

如果最高位是1,這個數必然是負數;最高位是0,必然是正數。並且,只有0000表示0,1000在這樣的情況下表示-8。一個4位的二進位數,可以表示從-8到7這16個整數,不會白白浪費一位。

當然更重要的一點是,用補碼來表示負數,使得我們的整數相加變得很容易,不需要做任何特殊處理,只是把它當成普通的二進位相加,就能得到正確的結果。

我們簡單一點,拿一個4位的整數來算一下,比如 -5 + 4 = -1,-5 + 6 = 1

我們各自把它們轉換成二進位來看一看。如果它們和無符號的二進位整數的加法用的是同樣的計算方式,這也就意味著它們是同樣的電路。

重學計算機組成原理(十)- "燙燙燙"亂碼的由來 - 天天要聞

2 字元串的表示,從編碼到數字

不僅數值可以用二進位表示,字元乃至更多的信息都能用二進位表示

最典型的例子就是字元串(Character String)

最早計算機只需要使用英文字元,加上數字和一些特殊符號,然後用8位的二進位,就能表示我們日常需要的所有字元了,這個就是我們常常說的ASCII碼(American Standard Code for Information Interchange,美國信息交換標準代碼)

重學計算機組成原理(十)- "燙燙燙"亂碼的由來 - 天天要聞

ASCII碼就好比一個字典,用8位二進位中的128個不同的數,映射到128個不同的字元里

比如,小寫字母a在ASCII裡面,就是第97個,也就是二進位的0110 0001,對應的十六進位表示就是 61。而大寫字母 A,就是第65個,也就是二進位的0100 0001,對應的十六進位表示就是41。

在ASCII碼裡面,數字9不再像整數表示法里一樣,用0000 1001來表示,而是用0011 1001 來表示。字元串15也不是用0000 1111 這8位來表示,而是變成兩個字元1和5連續放在一起,也就是 0011 0001 和 0011 0101,需要用兩個8位來表示。

我們可以看到,最大的32位整數,就是2147483647。如果用整數表示法,只需要32位就能表示了。但是如果用字元串來表示,一共有10個字元,每個字元用8位的話,需要整整80位。比起整數表示法,要多佔很多空間。

這也是為什麼,很多時候我們在存儲數據的時候,要採用二進位序列化這樣的方式,而不是簡單地把數據通過CSV或者JSON,這樣的文本格式存儲來進行序列化。不管是整數也好,浮點數也好,採用二進位序列化會比存儲文本省下不少空間。

ASCII碼只表示了128個字元,一開始倒也堪用,畢竟計算機是在美國發明的

然而隨著越來越多的不同國家的人都用上了計算機,想要表示譬如中文這樣的文字,128個字元顯然是不太夠用的。於是,計算機工程師們開始各顯神通,給自己國家的語言創建了對應的字符集(Charset)和字元編碼(Character Encoding)

字符集

表示的可以是字元的一個集合

比如「中文」就是一個字符集,不過這樣描述一個字符集並不準確

想要更精確一點,我們可以說,「第一版《新華字典》裡面出現的所有漢字」,這是一個字符集。這樣,我們才能明確知道,一個字元在不在這個集合裡面

比如,我們日常說的Unicode,其實就是一個字符集,包含了150種語言的14萬個不同的字元。

字元編碼

則是對於字符集里的這些字元,怎麼一一用二進位表示出來的一個字典

我們上面說的Unicode,就可以用UTF-8、UTF-16,乃至UTF-32來進行編碼,存儲成二進位。所以,有了Unicode,其實我們可以用不止UTF-8一種編碼形式,我們也可以自己發明一套 GT-32 編碼,比如就叫作Geek Time 32好了。只要別人知道這套編碼規則,就可以正常傳輸、顯示這段代碼。

重學計算機組成原理(十)- "燙燙燙"亂碼的由來 - 天天要聞

同樣的文本,採用不同的編碼存儲下來。如果另外一個程序,用一種不同的編碼方式來進行解碼和展示,就會出現亂碼。這就好像兩個軍隊用密語通信,如果用錯了密碼本,那看到的消息就會不知所云。在中文世界裡,最典型的就是「手持兩把錕斤拷,口中疾呼燙燙燙」的典故。

沒有經驗的同學,在看到程序輸出「燙燙燙」的時候,以為是程序讓CPU過熱發出報警,於是嘗試給CPU降頻來解決問題。

既然今天要徹底搞清楚編碼知識,我們就來弄清楚「錕斤拷」和「燙燙燙」的來龍去脈。

「錕斤拷」的來源

如果我們想要用Unicode編碼記錄一些文本,特別是一些遺留的老字符集內的文本,但是這些字元在Unicode中可能並不存在。於是,Unicode會統一把這些字元記錄為U+FFFD這個編碼

如果用UTF-8的格式存儲下來,就是\\xef\\xbf\\xbd。如果連續兩個這樣的字元放在一起,\\xef\\xbf\\xbd\\xef\\xbf\\xbd,這個時候,如果程序把這個字元,用GB2312的方式進行decode,就會變成「錕斤拷」。這就好比我們用GB2312這本密碼本,去解密別人用UTF-8加密的信息,自然沒辦法讀出有用的信息。

而「燙燙燙」,則是因為如果你用了Visual Studio的調試器,默認使用MBCS字符集

「燙」在裡面是由0xCCCC來表示的,而0xCC又恰好是未初始化的內存的賦值。於是,在讀到沒有賦值的內存地址或者變數的時候,電腦就開始大叫「燙燙燙」了。

3 總結延伸

到這裡,相信你發現,我們可以用二進位編碼的方式,表示任意的信息。只要建立起字符集和字元編碼,並且得到大家的認同,我們就可以在計算機裡面表示這樣的信息了。所以說,如果你有心,要發明一門自己的克林貢語並不是什麼難事。

不過,光是明白怎麼把數值和字元在邏輯層面用二進位表示是不夠的。我們在計算機組成裡面,關心的不只是數值和字元的邏輯表示,更要弄明白,在硬體層面,這些數值和我們一直提的晶體管和電路有什麼關係。下一講,我就會為你揭開神秘的面紗。我會從時鐘和D觸發器講起,最終讓你明白,計算機里的加法,是如何通過電路來實現的。

4 推薦閱讀

  • 《編碼:隱匿在計算機軟硬體背後的語言》

重學計算機組成原理(十)- "燙燙燙"亂碼的由來 - 天天要聞


  • 從電報機到計算機,這本書講述了很多計算設備的歷史故事,當然,也包含了二進位及其背後對應的電路原理。

參考

  • 深入淺出計算機組成原理

科技分類資訊推薦

全市前列!蘇州高新區5家企業入選 - 天天要聞

全市前列!蘇州高新區5家企業入選

近日蘇州市工信局公示了2023年蘇州市智能製造優秀服務商名單蘇州高新區共有5家企業入選數量居全市前列蘇州高新區入選企業名單1蘇州天准科技股份有限公司2蘇州英威騰電力電子有限公司3中移(蘇州)軟體技術有限公司4蘇州蓋雅信息技術有限公司5蘇州穗
代碼大模型安全規範正式定稿,中國信通院啟動首輪評估 - 天天要聞

代碼大模型安全規範正式定稿,中國信通院啟動首輪評估

IT之家 6 月 20 日消息,近年來,代碼大模型已成為企業研發人員輔助編程必備助手,能夠生成、翻譯、補全代碼,幫助定位和修復錯誤。然而,代碼大模型背後隱藏的風險挑戰還有待討論。中國信息通信研究院(以下簡稱「中國信通院」)依託中國人工智慧產業發展聯盟(AIIA),聯合業內近 30 家單位共同編製了《代碼大模型安全風...
榮耀16英寸大屏筆記本不到3000元,真便宜! - 天天要聞

榮耀16英寸大屏筆記本不到3000元,真便宜!

目前在榮耀官方商城上面,榮耀MagicBook X 16 戰鬥版筆記本低至2799元即可擁有。這價格,真便宜!  這款筆記本於2023年11月上市,搭配第12代酷睿i5-12450H移動處理器,4+4核12線程設計,睿頻高達4.4GHz,具備40W高性能輸出,此外還有16GB LPDDR4x-4266MHz高頻內存以及512GB固態硬碟,性能放在2024年6
打造「Living smart Way」在地營銷IP  smart - 天天要聞

打造「Living smart Way」在地營銷IP smart

2024年6月18日,成都誕生於都市,更為都市注入無數靈感。作為全球知名的新奢智能純電汽車品牌,smart傾情打造「Living smart Way」在地營銷IP,攜手廣大用戶與品牌粉絲雙向奔赴,創造smart的生活方式,積聚smart的生活靈感。
微信有一種功能,工作中我們都離不開它 - 天天要聞

微信有一種功能,工作中我們都離不開它

在如今移動通訊的時代,微信已經成為我們生活和工作中不可缺少的一部分,從最初期的只能文本輸入,到後面可以文檔傳送,視頻通話,以及現在的群功能等,幾乎能覆蓋工作中能接觸的一切需要,自此幫助打工人完成了辦公的網路自動化。
鴻蒙微信談妥,華為讓步,一場雙贏,但應用分成的步子邁早了 - 天天要聞

鴻蒙微信談妥,華為讓步,一場雙贏,但應用分成的步子邁早了

文/王新喜據澎湃新聞、藍鯨TMT等媒體報道,華為、騰訊即將達成協議,將微信排除在收入分成之外,允許微信在其鴻蒙操作系統上運行而不收取應用內收入分成。據透露,這是這兩家總部位於深圳的科技巨頭經過數月談判達成的。作為回報,騰訊將在鴻蒙持續維護和
未來十年最炙手可熱的就業方向是什麼? - 天天要聞

未來十年最炙手可熱的就業方向是什麼?

隨著科技的飛速發展和社會的不斷變革,未來的就業市場將呈現出全新的格局。在未來十年,有哪些行業將成為最炙手可熱的就業方向?本文將為你揭曉。1. 人工智慧行業:AI將成為未來的主角。隨著人工智慧技術的日益成熟和應用的普及,在語音識別、自動駕駛、
新民隨筆|還女孩一張安靜的書桌 - 天天要聞

新民隨筆|還女孩一張安靜的書桌

這段時間,江蘇中專女生薑萍爆冷獲得世界數學比賽第12名的新聞網路熱度居高不下,人們為這位數學天才橫空出世而鼓掌叫好,但許多雜音也「如期而至」,例如作弊、造假、陰謀論等,著實令人為女孩捏一把汗。圖說:姜萍在黑板上解答數學題 圖源:阿里巴巴微信
移動充電機器人來幫忙,巧解老舊小區電動汽車充電難題 - 天天要聞

移動充電機器人來幫忙,巧解老舊小區電動汽車充電難題

據「浦東發布」微信公號消息,老舊小區難以安裝充電樁,導致充電補能不方便,是困擾許多電動汽車車主的問題。近日,周家渡街道引入移動充電機器人,探索充電設施與車位解綁的電動汽車用車模式,進一步方便居民生活。  雪野二村是一個老舊小區,建成於上世紀