Mail.Ruメール（中国語であっても）

私たちは喜びを分かち合いたいと思っています。メールをUTF-8に正常に転送しました。 アラブ人、中国人、日本人、ギリシャ人、グルジア人と簡単に連絡を取り、ヘブライ語やイディッシュ語で手紙を書いたり、フェニキア人の書く知識を見せたり、メモでメッセージを暗号化することができます。 同時に、受取人が正方形や「詐欺師」ではなく、送ったものを正確に受け取るようにしてください。



多くの主要な変更と同様に、移行プロセスには真剣な準備が必要で、大きな「水中」部分がありました-開発者は、1億以上のメールボックスで6ペタバイトの手紙を処理するタスクに直面しました。 最初の実験は2010年の秋に始まり、2011年の春にすべてのボックスが新しいシステムに正常に転送されました。 同時に、「mail」プロジェクトのドメインが象徴的に変更されました。メインドメインwin.mail.ruと、適切なエンコーディングでサイトを発行した歴史的なkoi.mail.ruおよびmac.mail.ruの代わりに、e.mail.ruが使用され、すべてが発行されます。 UTF-8のページ。 すべてのメールもUTF-8で保存、処理、表示されます。 これは、文字では、プレーンテキストの形式と書式設定の両方で、生きた言語と死んだ言語、数学記号と音楽記号を使用できることを意味します。



最近の国際コミュニケーションの状況を思い出させるために、エンコーディングの歴史についての短い説明を用意しました。

初めに図がありました

驚くべきことに、80年代に最初のネットワークユーザーを苦しめ、90年代に初期のRunetの惨劇であったメッセージエンコーディングの問題は、コンピューターが登場するずっと前に発生しました。 情報化時代の最初の原因の1つは電信でしたが、電話が元々デジタルである前から生まれた通信方法であることを覚えておくと、今では多少の努力が必要です。



純粋なモールスバイナリコードとは別に、標準になる最初のコードはBodoコードでした。 この5ビットの同期コードにより、電信は1分あたり約190文字（その後最大760文字）または1秒あたり16ビットを送信できました。 ちなみに、最初のモデムを買った人は、速度がボーでリストされていたことを覚えています-コードと高速電信装置の発明者エミール・ボードーにちなんで名付けられた測定単位。



速度の単位の名前に加えて、Bodoコード、またはそれに基づいて作成されたITA2標準は、最初のキリル文字エンコーディングであるMTK-2電信コードのソースになったことで注目に値します。 ロシア語の文字を転送するために、コードに3番目のレジスタ（LATおよびDigital Significance Digitに加えてRUS）が追加され、各レジスタの6桁があるため、31ビット（当時）のアルファベットを5ビット標準のProcrusteanボックスに入れる必要があるため、すぐにトリックが開始されましたサービスシンボルで忙しかった。 たとえば、文字をラテン文字でSMSのアマチュアに広く知られている数字4に置き換える手法は、20世紀半ばにAll-Union規格にenられました。 インターネット時代にすでに出現する別の興味深い点は、異なるレジスターのコードの音順であり、文字順ではないことです（つまり、キリル文字列ABVGDはABCDEではなくラテン語ABVGDに対応していました）。

すべてのコンピューターが同等に役立つわけではありません

コンピュータ時代が始まるとすぐに、文字エンコードは開発の新しいブランチであるバイナリ10進コード（BCD-バイナリコード10進）を受け取りました。 遠い1928年、同社の開発者は、19世紀初頭に登場したパンチカードに情報を記録する技術を論理的なフィナーレに持ち込みました。 12行80列のグレーベージュの長方形は、古い世代の研究者全員に記憶されています。 30年後、50年代の終わりに、6ビットBCDコードが最初に導入され、すぐに8ビットEBCDICが導入されました。



この瞬間から、2つの興味深い傾向が生じます。さまざまなエンコード方式の爆発的な成長（少なくとも6つのバージョンのEBCDICがあり、相互に互換性がありません）および「テレグラフィック」と「コンピューター」エンコード標準間の競合です。 その後、60年代前半、より正確には1963年にベル研究所で、Bodoコードに代わる新しい7ビットASCIIエンコーディングが開発されました。 このイベントの重要性は、過大評価されることはほとんどありません。アメリカ（および他の英語圏の国）にとって、これはデータ伝送の標準化の問題（当時はテレタイプによる）をすべて解決したためです。



しかし、エンコードの問題を自分たちで解決したため、アメリカは意図的にかどうかにかかわらず、英語を話さない他のすべての国、特にラテン文字を書かない人のためにそれを作成しました。 英語の発音区別符号（文字に対する余分なストローク）のみが異なる言語の場合、抜け穴がBSシンボルの形で開けられました-ステップに戻ります。 ある文字を別の文字の上に印刷し、タイプ「a BS '」のシーケンスから文字áを取得することができました。 「ナショナル」シンボルについては、「オープンポジション」が予約されていました-最大10個。



「ビットの節約」につながる基本的な「通信」エンコード（完全な8ビットエンコードのアイデアは議論されたと考えられていますが、余分なデータストリームを生成し、送信をより高価にするため拒否されたと考えられます） 。 実際、テレタイプでは1つの位置で8ビットをパンチングすることができ、この同じ8ビットがパリティに使用されました。 ナショナルキャラクターを保存するためのナショナルエンコーディングの開発に関与したのは彼であり、グローバルバージョンではASCIIは8ビットエンコーディングになりました。 そして、厳密な標準化が終了したのはこの8ビット目で、ASCIIが非常に便利になりました。

バベルバベル

パーソナルコンピューター、ローカライズされたオペレーティングシステム、そしてグローバルネットワークの急増に伴い、エンコーディングでラテン語を1つもできないことが明らかになり、さまざまなメーカーが多くの国内エンコーディングを作成し始めました。 実際には、それほど前のことではありませんが、これは、手紙を受け取ったり、失敗したWebページを開いたときに、ブラウザーが目的のエンコードをサポートしていない場合、テキストではなく「クラッカー」が表示されるリスクがあることを意味しました。 そして、よくあることですが、各大手メーカーは競合他社を無視して、独自のオプションを正確に宣伝しました。



さらに、各エンコーディングには独自の利点がありました。 たとえば、サーバーシステム、および重要なことに、電子メールを操作するための最初のプログラムでは、KOI-8エンコードが最も一般的でした。 UNIXに密接に関連するものの場合によくあるように、いくつかの非常に成功した構造特性がありました。 特に、ロシア語の文字のシーケンスは、アルファベット順ではなく、音声対応が保存されている電信標準MTK-2から取得されました。 したがって、8ビット目が失われると、キリル語のテキストは音訳に変わり、名目上の読みやすさ、つまり「Hello world！」が維持されますが、上位ビットがなければ「pRIWET、MIR！」のように見えます。 そして、レジスタの反転に特別な注意を払ってください。それはランダムではありませんが、ビットの損失がすぐに目立つように特別に使用されます。 KOI-8の主なライバルであるWIN1251エンコーディングで記​​録された有名なフレーズで同じ操作を行うと、読みにくい「Ophber、lhp！」が得られます。



そして、電信の遺産について話しているので、おそらく電子メールを仮想電信装置にする最も重要な機能がすべてのデータを7ビット形式で送信することであることは言うまでもありません。 はい、何らかの方法で電子メールを送信するためのすべての標準は、純粋なASCIIテキストの形式でデータ（ラテン文字、画像、ビデオで書かれていないテキスト）を再コーディングして送信します。 最も有名なトランスポートコーディング方法は、Quoted-printableとBase64です。 最初のバージョンでは、ラテンASCII文字は再コーディングされません。これにより、ラテン文字が優勢なメッセージが条件付きで読み取り可能になります。 ただし、Base64は、現在のトランスポートコーディングの主な方法として使用されているデータ転送により適しています。

空の星の数と世界のすべての言語の文字

しかし、国のアルファベットの問題に戻ります。 90年代初頭、グローバリゼーションプロセスは、エンティティを生成する傾向に勝ち、Apple、IBM、Microsoftなどの複数の多国籍企業が一緒になってユニバーサルエンコーディングを作成しました。 この組織は「Unicodeコンソーシアム」と呼ばれ、その成果はUnicodeでした。これは、ほぼすべての世界の言語（数学言語-数式、演算などの記号-および楽譜）を単一のシステムで表現する方法です。



通信チャネルの容量は、電信および最初の大西洋横断ケーブル以来大幅に増加したため、ビットを節約しないことはすでに可能であり、エンコードの普遍性と拡張性が優先事項になりました。 つまり、既存のすべての各国語と記号（象形文字を含む）を含めるだけでなく、将来のための準備金も用意する必要がありました。 したがって、Unicodeの最初のバージョンでは、16ビットの固定サイズの文字が使用されていました。



この形式では、標準では最大65,536文字のエンコードが許可されており、これは最も頻繁に使用される文字を含めるのに十分であり、まれに「カスタム文字領域」が提供されました。 また、最初の段階では、最も有名なエンコーディングがすべて標準に含まれているため、変換の手段として使用できます。 1991年10月にリリースされたUnicodeバージョン1.0.0には、通常のラテン文字とその修正に加えて、キリル文字、アラビア文字、ギリシャ文字、ヘブライ語、中国語、日本語の文字、コプト語およびチベット文字が含まれています。 その後、文字セットが成長しましたが、言語が削除されることもありましたが、その後になって初めて新しい場所に戻りました（チベット語や韓国語の文字など）。



しかし、開発者は非常に迅速に、さらに深刻な拡張の可能性を「築く」ことを決定し、同時にシンボルの固定サイズを放棄しました。 その結果、可変長文字とコード値を表すさまざまな方法が使用されるようになりました。 2001年、バージョン3.1では、標準は実際に16ビットのしきい値を超え、94,205コードをカウントし始めました。 このバージョンでは、ヨーロッパおよびビザンチン音楽の録音に加えて、40,000人以上の統一された中日韓のキャラクターが追加されました。 2006年からは楔形のWebページを発行でき、2009年からはVedic Sanskritに対応し、2010年からは写真形式の錬金術シンボルを挿入せずにホロスコープを入力できます。 その結果、現在この規格には93の「言語」があり、109,449コードを使用しています。



現在、Unicode標準にはいくつかの形式の表示があり、構造と範囲の両方が異なりますが、後者の違いは徐々に滑らかになっています。 グローバルネットワークおよびデータ転送で最も一般的な表現形式は、UTF-8エンコーディングになりました。 これは、可変長文字（理論上は1〜6バイト、実際には最大4）を使用したエンコードです。 最初の128桁は1バイトでエンコードされ、下位互換性を維持するためにASCII文字と一致します。標準サポートのないプログラムでも、ラテンアルファベットとアラビア数字が正しく表示されます。 次の1920文字のエンコードには2バイトが使用されます。この領域には、発音区別符号付きのラテン文字、ギリシャ語、キリル文字、ヘブライ語アラビア語、およびシリア文字などがあります。 残りのほとんどすべてのスクリプトと数学記号は3バイトでエンコードされ、メモ、絶滅した言語、および珍しい漢字の4バイトのレコードが残ります。

世界の支配へのとげを通して

15年以上もの間、Unicodeのような普遍的な標準でさえ、ネットワーク支配への直接の道を歩むまでにかかった。 これまでのところ、すべてのサイトがユニコードをサポートしているわけではありません-Googleによると、2010年にのみ、グローバルネットワークにおけるユニコードページのシェアは50％に近づきました。 ただし、サービスをさまざまな国の多数のユーザーが使用している大規模プロバイダーは、この標準の利便性を認識していました。 現在、同じテクノロジーがMail.Ru Mailに適用されています。

あとがきの代わりに

エンコーディングの開発の歴史は、仮想空間が驚くほど現実世界の境界と障壁を継承できることを明確に示しています。 そして、ユニコードの導入と成功は、これらの障害をいかにうまく克服できるかということです。 同時に、情報技術の未来を決定する活動を行っている企業による新技術の開発とその成功した適用は非常に密接に関連しているため、原因と場所を特定することは困難です。 しかし、開発段階で標準に定められた機能が徐々に使用されていることは簡単にわかります。 これにより、情報の世界では、一時的な利益や地域の問題の最も簡単な解決策を引き出すのではなく、最初から未来を目指したプロジェクトが最大の成功を収めることを期待できます。



よろしく

セルゲイ・マルティノフ

Mail.Ru Mailのヘッド