中文編碼是幾個位元?

在回答這個問題前，請你先瞭解萬國碼 Unicode 的意義，及他的編碼方式。

The Joel on Software Translation Project:萬國碼

節錄：

Unicode

Unicode是個勇敢的嘗試，想用單一個字元集去涵括地球上所有合理的書寫系統，另外也要包括克林貢語等杜撰的語文。有些人誤認為Unicode只是個16位元碼，裡頭每個字都要佔16位元，所以總共有65,536個字元。事實上這並不正確。這是關於Unicode常見的誤解，所以如果你也這麼認為的話，不用難過。

事實上Unicode對字元有不一樣的想法，你必須瞭解Unicode的想法，否則是搞不懂的。

到目前為止，我們都假設一個字母會對映到某些位元，這些可以存在磁碟或記憶體中：

A -> 0100 0001

在Unicode裡一個字母是對映到一個叫code point的東西(還只是一個理論上的概念)。要如何在記憶體或是磁碟上表示code point就完全是另一回事。

在Unicode中，字母A是個精神上的觀念。它只會漂浮在天堂裡：
A

這個觀念上的A和B或者a都不一樣，不過A和A以及A都一樣。Times New Roman字型的A和Helvetica字型的A是相同的字元，但和小寫的"a"不一樣，這種想法似乎沒什麼好爭論的。不過在某些語言中，光是要決定一個字母是什麼就有得吵了。舉例來說，德文字母β究竟真正的字母還是ss(譯註：拉丁文的gei)的另一種特別寫法呢？如果字母的形狀在單字結束時會改變，改變之後要當作不同的字母嗎？希伯來文說是，阿拉伯文卻認為不是。不管如何，Unicode協會的聰明人已經在過去十年左右搞定了，雖然有一大堆政治爭論伴隨而來，不過你不用擔心。他們已經完全搞定了。 Unicode協會把所有字母系統中每一個觀念上的字母都分配一個魔術數字，這個數字的寫起來就像是：U+0645。這個魔術數字就叫一個code point。U+的意思是Unicode，數字則是用十六進位表示。U+FEC9就是阿拉拍文的字母Ain。英文字母A則是U+0041。你可以用Windows 2000/XP的charmap工具把這些數字全找出來，到Unicode網站也可以找到。

Unicode可以定義的字母數量並沒有實質限制，事實上可以超過65,536個，所以並不是所有的Unicode字母都能擠進兩個位元組裡，不過反正那本來就是個迷思。


.....
....
...

關於字元編碼最重要的一個事實

如果你完全不記得我剛說的東西，請至少記住一件超級重要的事實。光有字串卻不知道編碼方式是不行的。你不能再把頭埋在沙裡假裝「純」文字就是ASCII。
根本就沒有純文字這種東西。

假設你有一個字串，不管是在記憶體或在檔案還是在電郵訊息裡，你都必須知道字串用的編碼方式，才能正確解譯出來並呈現給使用者。

「我的網站都是亂碼」或「她看不到我用重音符號寫的電郵」之類的笨問題，幾乎全部都是因為某位天真的程式師不瞭解一個單純的事實：如果不知道某個字串的編碼方式是UTF-8還是ASCII還是ISO 8859-1 (Latin 1)還是Windows 1252 (西歐)，根本不可能正確顯示出來，甚至連在哪結束可能都找不到。大於127的code point有上百種編碼方式，連猜都猜不到。

我們要如何保存某個字串的編碼資訊呢？好吧，是有一些標準方法可以用。以電子郵件來說，郵件表頭應該會有一個字串：

Content-Type: text/plain; charset="UTF-8"

如果是網頁的話，最原始的想法是在網頁之外，再讓web伺服器傳回一個類似的Content-Type http header。不是放在HTML裡面，而是在傳HTML網頁之前先送的header。

這樣做會有問題。假設你有一個很大的web伺服器，很多使用各種語言的人在裡面放了很多網站和網頁，所有網頁的編碼方式都是由微軟FrontPage自動產生。Web伺服器本身其實並不知道各個檔案的編碼方式，所以也沒法子傳出正確的Content-Type header。

利用某些特別的tag把HTML檔案的Content-Type放在HTML檔案裡比較方便。當然這會讓純粹主義者抓狂...你怎麼能在不知道編碼方式之前讀HTML檔案呢！？幸運的是，幾乎所有編碼方式由32到127的字元都是一樣的，所以不需用到怪字母就能在HTML網頁取到這些資訊：





不過這個meta tag一定得放在段落非常前面的地方。因為網頁瀏覽器一看到這個tag就會停止分析，然後改用你指定的編碼方式重新解譯整個網頁。

如果瀏覽器在http header或meta tag都找不到Content-Type時會怎麼做呢？Internet Explorer會做一件很有趣的事：它會依據各位元組在各種常見語言編碼中出現的頻率，猜測網頁所用的語言及編碼方式。由於各種舊的8位元頁碼通常把該國的字母放在128到255範圍內不同的位置，而各種人類語言的字母使用頻率都有不同的分佈特性，所以這種做法的確有機會成功。這種做法真的很奇怪，不過似乎的確很有效。效果好到那些天真到不知道要用Content-Type header的網頁製作者根本不知道自己錯了，因為他們的網頁用瀏覽器來看時一切正常。等到某一天，當他們寫的內容不符合所用語言的字母頻率分佈時，Internet Explorer就會把它認成韓文來顯示。我認為這也證明Postel's Law中關於「發送時嚴謹，接收時寬鬆」的論點實在不是一個良好的工程原則。不管如何，當遇到這個用保加利亞文寫卻顯示成韓文(還不是有意義的韓文)的網頁時，可憐的讀者要怎麼辦呢？他會用由選單選檢視|編碼，然後嘗試各種不同的編碼(裡面有十幾種東歐語言)直到看起來對為止。不過當然是要他會這招才行，不過大多數人都不會。