すべての開発者がテキストを操作するためのエンコーディングと文字セットについて知っておくべきこと

これは、すべてのプログラマがテキストを処理するためにエンコーディングと文字セットについて絶対に肯定的に知る必要があるものの翻訳の最初の部分です



コンピューターでテキストを操作する場合、エンコードについて必ず知っておく必要があります。 メールを送信しても。 たとえそれらを取得するだけでも。 すべての詳細を理解する必要はありませんが、少なくともエンコーディングが何であるかを知っている必要があります。 そして、ここに最初の良いニュースがあります。この記事は少しわかりにくいかもしれませんが、基本的な考え方は非常にシンプルです。



この記事では、エンコードと文字セットについて説明します。





「Unicodeの絶対最小値と各開発者の文字セット（例外なし！）」というタイトルのJoel Spolskyによる記事は良い入門記事であり、随時それを読み直すことは大きな喜びです。 エンコードの問題を理解するのに苦労している人たちに彼女を送るのは恥ずかしいですが、技術的な詳細に関してはかなり軽いです。 この記事が、エンコードとは何か、そして最も不要な瞬間にすべてのテキストが破損する理由を正確に知ることを願っています。 この記事は開発者（主にPHP）を対象としていますが、すべてのコンピューターユーザーがその恩恵を受けることができます。

基本

誰もが多かれ少なかれそれについて聞いたことがありますが、議論に関してはどういうわけか知識が消えてしまうので、ここに行きます。コンピューターは文字、数字、写真などを保存できません。 彼はほんの少ししか覚えていない。 ビットには2つの意味しかありません：YESまたはNO、TRUEまたはFALSE、1または0、または想像できる他のペア。 コンピューターは電気で動作するため、ビットは電荷で表されます。電荷があるかどうかはわかりません。 これを1と0として表す方が簡単なので、これらの表記法に固執します。



ビットを使用して有用なものを表すには、ルールが必要です。 エンコードスキーム、つまりエンコードを使用して、ビットシーケンスを文字、数字、画像に似たものに変換する必要があります。 このように、例えば：

01100010 01101001 01110100 01110011

ビット

このエンコードでは、01100010は「b」、01101001は「i」、01110100は「t」、011110011は「s」です。 特定のビットシーケンスは文字に対応し、文字は特定のビットシーケンスに対応します。 26文字のシーケンスを記憶できる場合、または適切な一致をすぐに見つけることができる場合は、本のようなビットを読むことができます。

上記の回路はASCIIと呼ばれます。 ゼロと1の行は、8ビット（バイト）の部分に分割されます。 ASCIIエンコードは、バイトを人間の文字に変換するためのテーブルを定義します。 この表の一部を次に示します。

ビット文字



01000001 A

01000010 B

01000011 C

0100100 D

01000101 E

0 100 0110 F

A〜Zの文字、大文字と小文字、0〜9の数字、10個の句読点、アンパサンド、ドル記号などを含む95文字です。 また、スペース、タブ、改行、文字リターンなどの33個の値も含まれます。 これらは印刷不可能な文字ですが、それらは人に見え、彼によって使用されます。 テキストの開始コードや終了コードなど、一部の値はコンピューターにのみ有用です。 ASCIIエンコードには合計で128文字が含まれます。これは、7ビット（0000000から1111111まで）のすべての組み合わせを使用するため、コンピューターを理解する人にとっては完全な偶数です。



1と0のみを使用して人間の文字列を表す方法は次のとおりです。

01001000 01100101 01101100 01101100 01101111 00100000

01010111 01101111 01110010 01101100 01100100



「ハローワールド」

重要な用語

何かをASCIIでエンコードするには、右から左に移動して、文字をビットに置き換えます。 ビットを文字にデコードするには、表を左から右に向かって、ビットを文字に置き換えます。

エンコード | enˈkōd |

verb [with obj。 ]

コード化された形式に変換する

コード |kōd|

名詞

単語、文字、数字、または他の単語、文字などに代わる他の記号のシステム

コーディングは他の何かの表現です。 エンコードとは、あるビューを別のビューに変換する方法を記述するルールのセットです。



明確化に値する他の用語：



文字セット、文字セット、文字セット -エンコード可能な文字セット。 「ASCIIエンコードには128文字のセットが含まれます。」 エンコードの同義語。



コードページは、ビットセットをシンボルに割り当てるコードページです。 テーブル。 エンコードの同義語。



文字列は、一緒に結合された何かの束です。 ビット文字列は、00011011などのビットの集まりです。文字列は、「This one」などの文字の集まりです。 シーケンスの同義語。

2進数、8進数、10進数、16進数

数字を書く方法はたくさんあります。 10011111は、8進数で237、10進数で159、16進数で9Fのバイナリ表記です。 これらすべての数値の値は同じですが、16進法は2進法よりも短く理解しやすいです。 この記事のバイナリシステムに固執して、理解を深め、余分なレベルの抽象化を削除します。 他の表記法で文字コードを満たしても心配しないでください。すべての値は同等です。

言い訳モイ？

私たちは今話していることを知っているので、注意してください：言語に関しては95文字がかなり重要です。 このセットは基本的な英語をカバーしていますが、フランス語の文字はどうですか？ しかし、これはドイツ語のStraßen¬übergangs¬änderungs¬gesetzですか？ そしてスウェーデン語でsmörgåsbordへの招待は？ 一般に、機能しません。 ASCIIではありません。 é、ß、ü、ä、öのプレゼンテーションの仕様は、単に利用できません。



「ちょっと待って」とヨーロッパ人は言う。「バイトあたり8ビットの普通のコンピューターでは、ASCIIは常に0のビットを使用しない！ これを使用して、テーブルをさらに128個の値で拡張できます。 そして、それはそのようなものでした。 しかし、まだ母音の音を示すにはあまりにも多くの方法があります。 ヨーロッパ言語で使用される文字と意味のすべての組み合わせが256エントリのテーブルに収まるわけではありません。 そのため、世界は、文字のすべてのサブセットをカバーする豊富なエンコーディング、標準、事実上の標準、および標準以下になりました。 誰かがスウェーデン語またはチェコ語で文書を書く必要があり、希望するエンコーディングを見つけられずに、別のエンコーディングを発明しました。 または、すべてが起こったと思います。



ロシア語、ヒンディー語、アラビア語、韓国語、および地球上の他の多くの生きている言語を忘れないでください。 死者については黙っています。 複数の言語を使用してドキュメントを作成する方法を見つけたら、中国語を追加してみてください。 または日本語。 両方とも数千の文字が含まれています。 また、値は256のみです。 どうぞ！

マルチバイトエンコーディング

256文字を超えるテーブルを作成するには、1バイトでは不十分です。 65536個の異なる値をエンコードするには、2バイト（16ビット）で十分です。 Big-5、たとえば2バイトエンコーディング。 ビットシーケンスを8のブロックに分割する代わりに、16ビットのブロックを使用し、大きな（つまり、大）マッチングテーブルを含みます。 メインフォームのBig-5は、繁体字中国語のほとんどの文字をカバーしています。 GB18030も同様のエンコードですが、繁体字中国語と簡体字中国語の両方が含まれています。 そして、あなたが尋ねる前に、はい、簡体字中国語専用のエンコーディングがあります。 足りない？



以下はテーブルGB18030です。

ビット文字

10000001 01000000丂

10000001 01000001丄

10000001 01000010丅

10000001 01000011丆

10000001 01000100丏

GB18030は、ほとんどのラテン文字を含むかなり広い範囲の文字をカバーしますが、最終的には、これは他の多くの文字の単なる別のエンコーディングです。

Unicodeの混乱

その結果、この混乱に最もうんざりしている人は、すべてのエンコーディングを組み合わせた単一の標準を開発するというアイデアを得ました。 Unicodeはその標準になりました。 文字と記号のすべてのバリエーションに使用される1,114,112ポイントの信じられないほどのテーブルを定義します。 これは、人類が認識しているすべてのヨーロッパ、中央アジア、極東、南、北、西、先史時代および将来のシンボルをすべてエンコードするのに十分です。 Unicodeを使用すると、コンピューターに入力できる任意の文字を使用して、任意の言語でドキュメントを作成できます。 これは、Unicode時代以前は不可能でしたが、非常に困難でした。 標準には、非公式のクリンゴンセクションもあります。 ユニコードは非常に大きく、非公式のセクションを許可します。



それでは、Unicodeはエンコードに何バイトを使用しますか？ まったくありません 。 Unicodeはエンコードではないためです。

混乱した？ あなただけではありません。 Unicodeは何よりもまず、文字の項目のテーブルを定義します。 これは、「65-A、66-B、9731-」という言い方です（冗談ではありません）。 これらのアイテムがどのようにバイトにエンコードされるかは、別の会話の主題です。 1,114,112を表すには2バイトでは不十分です。 3つで十分ですが、3は奇妙な数なので、4は快適な最小値です。 ただし、中国語、またはエンコードに多数のビットを必要とする多くの文字を含む別の言語を使用するまで、4バイトの太いソーセージを使用することはありません。 「A」が000000000000000000000000 01000001で常にエンコードされ、「B」が000000000000000000000000 01000010でエンコードされる場合、このエンコードを使用するドキュメントは4倍に膨れ上がります。



この問題を解決するにはいくつかの方法があります。 UTF-32は、すべての文字を32ビットセットに変換するエンコードです。 これは単純なアルゴリズムですが、多くのスペースを無駄にします。 UTF-16およびUTF-8は可変長エンコーディングです。 文字が1バイトでエンコードできる場合（文字のアイテム番号が非常に小さいため）、UTF-8は1バイトでエンコードします。 2バイトが必要な場合は、2バイトが使用されます。 エンコードは、現在の文字がエンコードされているビット数を上位ビットに伝えます。 この方法はスペースを節約しますが、これらの信号ビットが頻繁に使用される場合にも使用します。 UTF-16は妥協です。すべての文字は少なくとも2バイトですが、必要に応じてサイズを4バイトに増やすことができます。

文字エンコードビット

UTF-8 01000001

UTF-16 00000000 01000001

UTF-32 000000000000000000000000 01000001

あUTF-8 11100011 10000001 10000010

あUTF-16 00110000 01000010

あUTF-32 0000000000000000 00110000 01000010

そしてそれだけです。 Unicodeは文字と数字の巨大なテーブルであり、さまざまなUTFエンコーディングがこれらの数字をビットに変換する方法を決定します。 一般に、Unicodeは単なる別のスキームです。 特別なことは何もありません。彼女は、できる限りすべてをカバーしようとしているだけです。 そしてそれは良いことです。

アイテム

シンボルは、Unicodeポイントによって識別されます。 これらのアイテムは16進数で記述され、先頭に「U +」が付いています（便宜上、「これはUnicodeアイテムです」以外の意味はありません）。 記号には段落U + 1E00があります。 他の（10進数）言葉で言えば、これはUnicodeテーブルの7680番目の文字です。 正式には「ラテン大文字Aリング底付き」と呼ばれます。

ナイアシリル

上記の本質：任意の文字は多くの異なるビットシーケンスでエンコードでき、ビットシーケンスは使用するエンコードに応じて異なる文字を表すことができます。 その理由は、異なるエンコーディングでは、文字ごとに異なるビット数と異なる値を使用して、異なる文字をエンコードするためです。

文字をエンコードするビット



11000100 01000010 Windows Latin 1ÄB

11000100 01000010 Mac RomanƒB

110100100 01000010 GB18030腂



ビットをエンコードする文字



FøöWindows Latin 1 01000110 11111000 11110110

FøöMac Roman 01000110 10111111 10011010

FøöUTF-8 01000110 11000011 10111000 11000011 10110110

誤解、恥ずかしさ、問題

上記のすべてを持っているので、私たちは多くのユーザーと開発者が毎日経験する差し迫った問題、それらが上記にどのように関係するか、そして解決策は何であるかについて説明します。 最大の問題は

なぜ地獄は私のテキストが読めないのですか？

ÉGÉìÉRÅ[ÉfÉBÉìÉOÇÕìÔǵÇ≠ǻǢ



文書を開き、上記のテキストのように見える場合、理由は同じです。プログラムがエンコードと間違われています。 そしてそれだけです。 ドキュメントは破損していないため（少なくともまだ）、魔法は必要ありません。 代わりに、正しいエンコードを選択してテキストを表示するだけです。 上記の想定文書にはビットが含まれています：

10000011 01000111 10000011 10010011 10000011 01010010 10000001 01011011

10000011 01100110 10000011 01000010 10000011 10010011 10000011 01001111

10000010 11001101 10010011 11101111 10000010 10110101 10000010 10101101

10000010 11001000 10000010 10100010

だから、すぐにエンコーディングを推測しましたか？ 肩をすくめれば、あなたは正しい。 誰が知ってる？

ASCIIで試してみましょう。 これらのバイトのほとんどは1で始まります。正しく覚えていれば、ASCIIは実際にはこのビットを使用していません。 したがって、ASCIIはオプションではありません。 UTF-8はどうですか？ ほとんどのバイトは、このエンコードでは有効な値ではありません。 Mac Roman（別のヨーロッパのエンコーディング）はどうですか？ うーん、彼女にとって、これらのバイトは正しい値です。 10000011は「É」、「G」などにデコードします。 Mac Romanでは、テキストは次のようになります。ÉGÉGÉRÅ[ÉfÉBÉBÉOÇÕìÇÕµÇÕìÇÕ≠ǻǢ。 そうだね いや？ たぶん？ コンピューターはどのように知っていますか？ 誰かがそれを書きたかったのかもしれません。 私の知る限り、これはDNAシーケンスかもしれません！ それを解決します。これはMac Romanであり、これはDNAです。



もちろん、これは完全なナンセンスです。 正解は次のとおりです。テキストは日本のShift-JISでエンコードされており、エンコーディングは難しくないのように見えるはずです。 誰が考えたでしょうか？

テキストが読めない最初の理由は、誰かが間違ったエンコーディングで一連のバイトを読み取ろうとしていることです。 コンピューターは常にプロンプ​​トを表示する必要があります。 彼自身は推測しません。 一部の種類のドキュメントはコンテンツのエンコーディングを決定しますが、バイトシーケンスは常にブラックボックスのままです。

ほとんどのブラウザは、特別なメニュー項目を使用してページエンコーディングを指定する機能を提供します。 他のプログラムにも同様のアイテムがあります。



著者は、部分に分けられていませんが、記事はすでに長いです。 数日で継続する。