GoウォークスルーシリーズのBen Johnsonの記事の1つを翻訳して、実世界のタスクのコンテキストでのGo標準ライブラリのより詳細な研究を行います。

これまで、ストリームとバイトスライスの操作について見てきましたが、バイトを往復させるプログラムはほとんどありません。 バイト自体はあまり意味がありませんが、これらのバイトを使用してデータ構造をエンコードすると、本当に便利なアプリケーションを作成できます。

この投稿は、標準ライブラリのより詳細な分析に関する一連の記事の1つです。 標準ドキュメントは多くの有用な情報を提供するという事実にもかかわらず、実際のタスクのコンテキストでは、何をいつ使用するかを把握するのが難しい場合があります。 この一連の記事は、実際のアプリケーションのコンテキストでの標準ライブラリパッケージの使用を示すことを目的としています。 質問やコメントがあれば、いつでもTwitter-@benbjohnsonで私を書くことができます。

エンコードとは何ですか？

プログラミングでは、トリッキーな単語が単純な概念によく使用されます。 それ以上-1つの概念には多くの場合、洗練された言葉がいくつかあります。 エンコーディングはそのような言葉です。 シリアル化またはマーシャリングと呼ばれることもありますが、これは同じことを意味します。つまり、生のバイトに論理構造を追加します。

標準のGoライブラリでは、2つの異なるが関連するアイデアのためにエンコーディングとマーシャリングという用語を使用します。 Goのエンコーダーは、バイトストリームに論理構造を追加するオブジェクトであり、 マーシャリングはメモリ内の限られたバイトセットで機能します。

たとえば、 encoding / jsonパッケージには、それぞれio.Writerおよびio.Readerストリームを操作するためのjson.Encoderおよびjson.Decoderがあります。 また、このパッケージには、スライスからのバイトの書き込みおよび読み取り用のjson.Marshalerおよびjson.Unmarshalerが含まれています。

2種類のコーディング

コーディングには別の重要な違いがあります。 エンコード用の一部のパッケージは、プリミティブで動作します-文字列、整数など。 文字列は、ASCII、 Unicode、またはその他のエンコーディングのようなエンコーディングでエンコードされます。 エンディアンに応じて、または任意の長さの整数エンコードを使用して、整数を異なる方法でエンコードできます。 バイト自体も、 Base64などのパターンを使用してエンコードして、印刷可能な文字にすることができます。

しかし、さらに頻繁に、コーディングについて話すとき、オブジェクトのコーディングについて考えます。 これは、 構造、マップ、スライスなどのメモリ内の複雑な構造を一連のバイトに変換することを意味します。 この変換では、多くの妥協に対処する必要があり、長年にわたって人々は多くの異なるコーディング方法を考え出しました。

妥協

論理構造をバイトに変換することは、最初は単純なタスクのように見えるかもしれません-結局、これらの構造は既にバイトの形でメモリに存在しています。 なぜそれを使用しないのですか？

メモリ内のバイト形式がディスクへの保存やネットワークへの送信に適していない理由はたくさんあります。 まず、互換性。 Goオブジェクトのメモリにバイトを配置する形式は、Javaのオブジェクトの形式と一致しないため、異なる言語で記述された2つのシステムでお互いを理解することは不可能です。 また、他のプログラミング言語だけでなく、人との互換性も必要になる場合があります。 CSV 、 JSON、およびXMLはすべて、手動で簡単に表示および編集できる人間が読み取れる形式の例です。

ただし、人間が読みやすい形式を追加することは困難です。 人間が読みやすい形式は、コンピューターで読むのが難しく、長くなります。 整数が良い例です。 コンピューターは2進数形式の数字で動作しますが、人々は10進数形式の数字を読みます。 コンピューターは32ビットまたは64ビットの固定サイズの数値で動作しますが、人々は1や1000などのさまざまな長さの数値も読み取ります。 パフォーマンスの違いは取るに足らないように思えるかもしれませんが、数百万または数十億の数値を解析するとすぐに顕著になります。

また、最初は通常考えない妥協点も1つあります。 データ構造は時間とともに変化する可能性がありますが、何年も前にエンコードされたデータを処理できる必要があります。 プロトコルバッファーなどの一部のエンコーディングでは、データのスキーマを記述し、フィールドにバージョンを追加できます。古いフィールドは廃止され、新しいフィールドが追加される場合があります。 ここでの欠点は、データをエンコードまたはデコードできるようにするために、データとともにスキームの定義を知る必要があることです。 ネイティブGogob形式は別のアプローチを使用し、エンコード中にデータスキームを直接保存します。 しかし、マイナスは、エンコードされたデータのサイズが非常に大きくなることです。

いくつかのフォーマットは一般にこの点を迂回し、スキームなしで行きます。 JSONおよびMessagePackを使用すると、構造をその場でエンコードできますが、古いバージョンからの安全なデコードの保証はありません。

また、コーディングを行うシステムを使用しますが、エンコーダーとは考えていません。 たとえば、データベースは、論理構造を取得し、ディスク上のバイトセットとして保存する方法の1つでもあります。 ネットワークコール、SQL解析、クエリスケジューリングなど、多くのことが行われる可能性がありますが、本質的にはバイトエンコーディングです。

最終的に、速度が重要な場合は、内部Goメモリ形式を使用して、データをそのまま保存できます。 このためにrawと呼ばれるライブラリを作成しました。 エンコードおよびデコード時間は、文字通り0秒です。 しかし、実稼働環境では使用しない方が良いです。

エンコーディングの4つのインターフェース

あなたがエンコーディングパッケージを調べた数少ない人の一人なら、あなたは少し失望するかもしれません。 これはエラーに続いて2番目に小さいパッケージで、4つのインターフェイスのみが含まれています。

最初の2つはBinaryMarshalerおよびBinaryUnmarshalerインターフェイスです。

type BinaryMarshaler interface { MarshalBinary() (data []byte, err error) } type BinaryUnmarshaler interface { UnmarshalBinary(data []byte) error }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

これらは、バイナリ形式との間で変換する方法を提供するオブジェクトを対象としています。 これらのインターフェースは、標準ライブラリのいくつかの場所、たとえばtime.Time.MarshalBinary（）で使用されます。 通常、データをバイナリ形式に変換する単一の方法はないため、それらをどこでも見つけることはできません。 すでに見たように、膨大な数の異なるシリアル化形式があります。

ただし、アプリケーションレベルでは、エンコードに1つの形式を選択する可能性があります。 たとえば、すべてのデータに対してプロトコルバッファを選択できます。 通常、アプリケーションで複数のバイナリ形式を一度にサポートすることは意味がないため、 BinaryMarshalerの実装が意味をなす場合があります。

次の2つのインターフェイスはTextMarshalerとTextUnmarshalerです。

 type TextMarshaler interface { MarshalText() (text []byte, err error) } type TextUnmarshaler interface { UnmarshalText(text []byte) error }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

これらの2つのインターフェイスは前のものと非常に似ていますが、UTF-8形式のデータで動作します。

json.Marshalerなど 、一部の形式は独自のマーシャリングインターフェイスを定義し、同じ名前のロジックに従います。

エンコーディングパッケージの概要

標準ライブラリには、データをエンコードするための多くの便利なパッケージがあります。 次の記事でそれらをより詳細に検討しますが、ここで簡単なレビューをしたいと思います。 一部のパッケージはエンコーディング/にあり、一部は他の場所にあります。

基本タイプのエンコーディング

ほとんどの場合、Goに初めて会ったときに最初に使用したパッケージはfmtパッケージ（「fumpt」と発音）でした。 Cスタイルのprintf（）形式を使用して、数値、文字列、バイトをエンコードおよびデコードし、オブジェクトをエンコードするための基本的な機能も備えています。 fmtパッケージは、テンプレートに基づいて人間が読める文字列を作成するための優れた簡単な方法ですが、テンプレートの解析は非常に高速ではない場合があります。

より良いパフォーマンスが必要な場合は、printfテンプレートから離れてstrconvパッケージを使用できます。 これは、文字列、整数および小数、論理値の基本的な書式設定とスキャンのための低レベルパッケージであり、一般に非常に高速です。

Go自体のようなこれらのパッケージは、UTF-8で文字列を操作することを意味します。 標準ライブラリでの非Unicodeエンコーディングのサポートがほぼ完全に欠如しているのは、近年、すべてがUTF-8である必要があるインターネットが非常に急速に収束したという事実と、おそらくRob PikeがGoそして、知っているutf-8。 おそらく幸運だったので、Goで非UTF-8エンコーディングを処理する必要はありませんでしたが、 ところで 、 unicode / utf16 、 encoding / ascii85およびブランチ全体のgolang.org/x/textなどのパッケージがあります。 このスレッドには、Goプロジェクトの一部である多数の優れたパッケージが含まれていますが、 Go 1の下位互換性の保証ではカバーされていません 。

エンコード番号の場合、encoding / binaryパッケージは、ビッグエンディアンとリトルエンディアンのエンコード、および可変長エンコードを提供します。 エンディアンネス-バイトが次々に進む順序を意味します。 たとえば、数値1000（16進数で0x03e8）を表すuint16は、03とe8の2バイトで構成されます。 ビッグエンディアン形式では、これらのバイトはこの順序で書き込まれます-"03 e8"。 リトルエンディアンでは、逆順は「e8 03」です。 一般的なCPUアーキテクチャの多くは、リトルエンディアンです。 ただし、ビッグエンディアンは通常、ネットワーク経由でデータを送信するために使用されます。 ネットワークバイトオーダーとも呼ばれます。

結論として、バイト自体を直接エンコードするためのパッケージがいくつかあります。 通常、バイトエンコードは、印刷可能な形式に変換するために使用されます。 たとえば、encoding / hexパッケージは、16進数でデータを表すために使用されます。 私は個人的にデバッグ目的でのみ使用しました。 一方、データをプロトコルで送信したいため、印刷可能な文字が必要になる場合があります。これは、歴史的な理由からバイナリデータ（電子メールなど）のサポートが制限されているためです。 encoding / base32およびencoding / base64パッケージは良い例です。 別の例は、TLS証明書をエンコードするために使用されるencoding / pemパッケージです。

オブジェクトエンコーディング

標準ライブラリのオブジェクトをエンコードするためのパッケージはわずかに少ないです。 しかし、実際には、これらのパッケージで十分です。

過去10年間、タンクで過ごしたことがなければ、おそらく、 JSONがオブジェクトをエンコードするためのデフォルト形式になっていることに気づいたでしょう。 前述のとおり、JSONには欠点がありますが、JSONは非常に使いやすく、その実装はほぼすべての言語で行われているため、非常に人気があります。 encoding / jsonパッケージはこの形式の優れたサポートを提供し、Goはffjsonなどのサードパーティ製のより高速なパーサー実装も備えています。

JSONは主要なマシン間通信プロトコルになりましたが、データを人にエクスポートするためのCSV形式は今でも一般的です。 encoding / csvパッケージは、この形式の表形式データを操作するための優れたインターフェイスを提供します。

2000年代前後に書かれたシステムを使用する場合、おそらくXMLを使用する必要があります 。 encoding / xmlパッケージは、 jsonの同様のパッケージと同様に、追加のタグベースのエンコード/デコード用のSAXスタイルのインターフェースを提供します。 より複雑な操作やDOM、XPath、XSD、XSLTなどが必要な場合は、おそらくcgo経由でlibxml2を使用する必要があります。

Goには独自のストリーミングエンコード形式gobもあります。 このパッケージは、Goサービス間のリモートプロシージャコールを実装するためにnet / rpcで使用されます。 Gobは使いやすいですが、他の言語ではサポートされていません。 クロス言語ツールが必要な場合、 gRPCはより一般的な選択肢のように見えます。

そして最後に 、 encoding / asn1パッケージがあります 。 それに関する文書は控えめで、唯一のリンクは25ページのテキストウォールに通じています-ASN.1の初心者向けの紹介です 。 ASN.1は、主にX.509 SSL / TLS証明書で使用される複雑なエンコード方式です。

おわりに

コーディングは、生のバイトに論理構造を与えるための基盤を提供します。 それなしでは、行、データ構造、データベース、または有用なアプリケーションさえありません。 単純な概念のように見えるものには、実際には実装の豊富な歴史と大きなトレードオフのセットがあります。

この記事では、標準ライブラリに実装されたエンコーディングのさまざまな実装と、それらのトレードオフのいくつかを調べました。 基本型とオブジェクトを操作するためのこれらのパッケージが、Goでのバイトとバイトストリームの操作の理解に基づいてどのように構築されるかを見ました。 次の記事では、これらのパッケージをさらに詳しく調べ、実際のアプリケーションのコンテキストでそれらを使用する方法を確認します。