エンコードとコードページについて

今ではこれが非常に適切であるとは考えにくいが、誰かにとっては面白そうに思えるかもしれない（または過去のことを覚えているだけかもしれない）。



まず、コンピューターの歴史について簡単に説明します。 コンピューターは情報の処理に使用されたため、単にこの情報を「人間」の形で提示することが義務付けられています。 コンピューターは情報を数字（バイト）の形式で保存し、人は記号（文字、数字、さまざまな記号）を認識します。 したがって、数字の<->文字を比較する必要があり、問題は解決されます。 まず、必要な文字数を計算します（「私たち」はラテンアルファベットを使用しているアメリカ人であることを忘れないでください）。 10桁+英字アルファベットの大文字26文字+小文字26文字+数学文字（少なくとも+-/ * => <％）+句読点（。、！？：; '”）+さまざまな括弧+サービス文字（_ ^％$ @ |）+デバイスを操作するための32の印刷できない制御文字（最初に、テレタイプを使用）。 一般に、128文字で十分な「背中合わせ」であり、この標準文字セット「私たち」はASCIIと呼ばれていました。 情報交換のためのアメリカ標準コード



素晴らしい、128文字の場合、7ビットで十分です。 一方、バイトには8ビットがあり、通信チャネルは8ビットです（バイトとチャネルのビットが少なかった「先史時代」のことは忘れてください）。 8ビットチャネルでは、7ビットのシンボルコードと1ビットの制御を送信します（信頼性とエラーの認識を高めるため）。 そして、他の国でコンピューターが使用されるまではすべてが素晴らしかったです（ラテン系のアルファベットに26文字以上が含まれているか、非ラテン系のアルファベットが一般的に使用されている）。 誰もが例外なく英語を学ぶのではなく、ソ連、フランス、ドイツ、ジョージア、および他の国の数十の住民は、コンピューターが母国語で通信することを望んでいました。 パスは異なっていました（問題の深刻度によって異なります）：26のラテン文字に2〜3の国別文字を追加する必要がある場合（特別な文字を寄付できます）と、キリル文字を「くさびで留める」必要がある場合は別です。 今、「私たち」は技術を「ロシア化」しようとするロシア人です。 1つ目は、小文字の英字を大文字のロシア語に置き換えることに基づく決定でした。 ただし、問題はロシア文字（33）があり、26の場所に収まらないことです。 「凝縮」する必要があり、この凝縮の最初の犠牲者は文字Eを落としました（単にどこでもEに置き換えられました）。 別のトリックは、「ロシア人」A、E、K、M、H、O、P、C、Tの代わりに、同様の英語が使用され始めたことです（必要以上にそのような文字がありますが、いくつかのペアでは大文字が類似しており、小文字はあまりありません：Hh Tt Bb Kk Mm）。 しかし、それでも彼らは「くさび」をし、結果として全体の結論は大文字で出されました。これは不便でandいですが、時間の経過とともに慣れました。 2番目のトリックは「言語の切り替え」です。 ロシア語の文字のコードは英語の文字のコードと一致しましたが、デバイスは今ではロシア語モードであり、キリル文字（および英語モード-ラテン文字）を表示していることを思い出しました。 モードは2つのサービスキャラクターによって切り替えられました：Shift Out（SO、コード14）からロシア語へ、Shift IN（SI、コード15）から英語へ（タイプライターで2色のテープが使用され、SOがテープを物理的に持ち上げ、その結果として印刷が赤くなり、SIがリボンを所定の位置に配置すると、印刷が再び黒くなりました）。 大文字と小文字のテキストはかなりまともに見え始めました。 これらのオプションはすべて大規模なコンピューターで多かれ少なかれ機能しましたが、IBM PCのリリース後、世界中でパーソナルコンピューターの大量配布が始まり、何かを集中的に解決する必要がありました。



ソリューションは、IBMが開発したコードページテクノロジーでした。 この時点で、送信中の「制御文字」はその関連性を失い、すべての8ビットを文字コードに使用できました。 0〜127の範囲のコードではなく、0〜255の範囲が使用可能になりました。 コードページ（またはエンコード）は、0〜255の範囲のコードを特定のグラフィックイメージにマッピングしたものです（たとえば、キリル文字の文字「I」またはギリシャ語の文字「オメガ」）。 「コード211の文字はこのように見えます」とは言えませんが、「コードページCP1251のコード211の文字は次のようになります。Y、CP1253（ギリシャ語）ではΣのようになります」。 すべての（またはほぼすべての）コードテーブルで、最初の128コードはASCIIテーブルに対応します。IBMがその画像（モニター画面に表示されるときに表示される）に割り当てられた最初の32の非印刷コードについてのみです。 上部に、IBMは（さまざまなフレームを描画するための）疑似グラフィック文字、西ヨーロッパで使用される追加のラテン文字、いくつかの数学文字、およびギリシャ文字の個々の文字を配置しました。 このコードページはCP437（IBMは他の多くのコードページを開発しています）と呼ばれ、ビデオアダプターでデフォルトで使用されていました。 さらに、さまざまな標準化センター（グローバルおよびナショナル）が、ナショナルシンボルを表示するためのコードページを作成しています。 私たちのコンピューターは、メインDOSエンコードと代替DOSエンコードの2つのオプションを提案しました。 主なものはどこでも動作するように意図されていましたが、代替手段-特別な場合には、主なものの使用が不便です。 そのような特殊なケースでは、大部分とメイン（名前ではなく使用による）が正確に「代替」エンコーディングであることが判明しました。 この結果は、ほとんどの専門家にとって最初から明らかだったと思います（人生から離婚した「専門家」を除く）。 実際には、ほとんどの場合、英語のプログラムが使用されていました。「美しさのために」は、さまざまなフレームなどを描くために擬似グラフィックを積極的に使用していました。 典型的な例は、人気のあるノートンコマンダーです。 擬似グラフィックの場所の主なエンコードはロシア語の文字を配置し、ノートンのパネルはひどく見えました（その他の擬似グラフィック出力も同様です）。 また、代替エンコーディングでは、擬似グラフィックの文字が慎重に保存されているため、ロシア語の文字には他の場所を使用します。 その結果、ノートンコマンダーと他のプログラムの両方で作業することができました。 Andrey Chernov（当時有名な人格）は、UNIXが支配的な「大型」コンピューターから来たエンコーディングKOI8-R（KOI8）を開発しました。 その特徴は、ロシアのシンボルから8ビット目が消えた場合、「割礼」に起因する英語のシンボルが元のロシア語と一致することです。 そして、「Hi」の代わりに「pRIVET」が判明しました。これはまったく正しくありませんが、少なくとも読みやすいです。 その結果、ソ連では、コンピューターで3つの異なるコードページが使用されました（メイン、代替、およびKOI8）。 また、これは、代替エンコーディングで、たとえば個々の文字（または文字列）が変更されたときに、さまざまな「バリエーション」をカウントしません。 KOI8は、オプションをウクライナ語、ベラルーシ語、タジク語、コーカサス語などに「追加」しました。機器（プリンター、ビデオアダプター）も、独自のエンコーディングで動作するように構成（または「フラッシュ」）する必要がありました。 商人は安価なプリンターのバッチを（例えば物々交換によって首長国から）持ち込むことができましたが、ロシアのエンコーディングでは動作しませんでした。



それにもかかわらず、全体的に、コードページは国別文字の出力の問題を解決することを許可しました（デバイスは対応するコードページで動作する必要があります）が、メールプログラムが1つのエンコーディングでデータを送信し、受信プログラムがそれらを別のエンコーディングで表示するときに複数のエンコーディングの問題を引き起こしました。 その結果、ユーザーにはいわゆる「krakozyabry」（「hello」の代わりに「ўҐўҐ」または「」と表示されます）が表示されます。 あるエンコードから別のエンコードにデータを転送するトランスコーダープログラムが必要でした。 悲しいかな、メールサーバーを通過するときの文字が繰り返し自動的にトランスコードされ（または8ビット目が「切り捨てられ」）、逆変換のチェーン全体を見つけて完了する必要がありました。



Windowsへの大規模な移行後、4番目（Windows-1251、別名CP1251、別名ANSI）と5番目（CP866、別名OEMまたはDOS）が3つのコードページに追加されました。 驚かないでください-Windowsは、コンソールでキリル文字を処理するためにデフォルトでCP866エンコードを使用します（ロシア語の文字は「代替エンコード」と同じです。一部の特殊文字のみが異なります）、CP1251エンコード。 Windowsに2つのエンコーディングが必要なのはなぜですか。1つを管理することは本当に不可能でしたか？ 残念ながら、それは機能しません：DOSエンコーディングはファイル名（DOSの大きな遺産）とdirなどのコンソールコマンドで使用され、コピーはdosファイル名を正しく表示し、正しく処理する必要があります。 一方、このエンコーディングでは、多くのコードが擬似グラフィック文字（さまざまなフレームなど）のために予約されていますが、Windowsはグラフィカルモードで動作し、それ（またはWindowsベースのアプリケーション）は擬似グラフィック文字を必要としません（ただし、使用するコードが必要です）他の有用なキャラクターに使用されるCP1251で）。 最初は5つのキリル文字エンコードが状況を悪化させましたが、時間がたつにつれて、最も人気があったのはWindows-1251とKOI8で、dosovskieは使用を減らしました。 Windowsを使用している場合でも、ビデオアダプターのエンコードが重要ではなくなりました（Windowsを起動する前に、診断メッセージに "クラッカー"が表示されることがあります）。



エンコードの問題の解決策は、ユニコードシステムがどこにでも導入され始めたときです（個人用OSとサーバーの両方）。 Unicodeは各国のシンボルを20ビットの数値に一度関連付けて永続的に割り当てます（まれな文字や象形文字には20ビットコードが使用されるため、Unicodeコードスペースの「ドット」、多くの場合16ビットで十分です）。再コーディング（Unicodeの詳細については、次のログエントリを参照）。 これで、任意のペア<バイトコード> + <コードページ>で、対応するUnicodeコードを特定でき（16ビットUnicodeコードは各8ビットコードのコードページに表示されます）、必要に応じて、任意のコードページにこの文字を表示します。彼はどこにいますか。 現在、ユーザーのエンコーディングとトランスコーディングの問題は事実上なくなりましたが、それでも文字の件名またはコンテンツが「間違った」エンコーディングである文字がときどき現れます。



興味深いことに、約1年前、FASがモバイルオペレーターに「打撃」を加えている間、エンコードの問題が一時的に表面化しました。彼らは、キリル文字の転送に対してより多くの費用を請求するため、ロシア語を話すユーザーを差別すると言います。 これは、SMS通信プロトコルの開発者が選択した技術ソリューションによるものです。 もしロシア人がそれを開発したなら、彼らはおそらくキリル文字を優先したでしょう。 前述の記事で、「輸送および通信制御部門の責任者であるDmitry Rutenbergは、オペレーターが使用できるキリル文字の8ビットエンコーディングがあることに注意しました。」 90年代の初め、「エンコーディングの戦争」があり、トランスコーディングの問題が完全な高さにありました。 カザフスタンからSMSを送信する韓国の電話を持つ妻から、トルコで休暇中のフィンランドの電話をVasya Pupkinがどのエンコードで使用する必要があるのでしょうか。 そして、スペインにいる彼のフランス人の仲間（日本の電話を持っている）から？ 上司はこの質問に答えることができないと思います。 幸いなことに、この「経済的な」提案は実現しませんでした。



若い読者が尋ねるかもしれません-ユニコードの即時使用を妨げるものは何ですか、なぜコードページに関するこれらのトラブルが発明されたのですか？ 問題は財政的な側面にあると思います。 Unicodeには2倍のメモリが必要であり、メモリには費用がかかります（ディスクとRAMの両方）。 「今では新しいOSはより多くのメモリを必要としますが、ロシア語、ヨーロッパ語、アラビア語の言語で問題なく作業できる」という事実により、アメリカ人はコンピューターを1〜2千台購入するでしょうか。 簡単な英語を話すバイヤーがこの議論を「不適切に」（そして他のメーカーに頼る）恐れています。