Google、GMailでの私の位置はどこですか？ GMailでショートカットがどのように機能するかを正確に知っていますか？

Googleが提供する15ギガバイトの空き領域のうち、私のメールはすでにほぼ12ギガバイトを占めていることに気付き始めました。 そして、この傾向は私を喜ばせません。

一方、私は完全に同期されたThunderbirdをメールクライアントとして使用しています。 つまり すべての手紙をアップロードする必要があります。 したがって、すべての文字とインデックスを含むThunderbirdフォルダーは、わずか3ギガバイトしか使用しません。 物事の論理によると、サイズは多かれ少なかれGMailの占有場所と一致するだけでなく、大きくなるはずです。 Thunderbirdはレターをアーカイブしませんが、そのまま保存し、インデックスを作成して検索を高速化します。

問題は顔にあります！ 私たちは問題の底に到達し始めます。



最初にショートカットに移動しました（はい、GMailの場合、フォルダーではなくショートカットを言うのが正しいです。詳細はこちら ）「すべてのメール」で、50万件を少し超えるメッセージがあることがわかりました。 状況は、私が約100個のショートカットを持っているという事実によって複雑になりました！ また、GMailのショートカットは、Thunderbirdの典型的なフォルダーです。 Thunderbirdで文字の総数をすばやく計算する方法が見つかりませんでした。 しかし、先を見据えて、私はその中に約20万人いると言います。 ここから、ディスク上のスペースが少ない理由が明らかになります。

ただし、同じ質問が残っています。Gmailには、Thunderbirdには表示されないがGMailのある場所を占有する30万のメッセージがありますか？



好奇心mind盛な心+夜寝ないという欲求+実際のタスクでGoに触れたいという欲求から、Goコンパイラを使用し、 GMail APIを研究し、 GMailの裏側を確認する必要があるという決断に至りました。



上で述べたように、約100のショートカットがあります。 通常、メールには1つのラベルがあります。 そして、各ラベルでマークした文字の数と、それらが合計でスペースを占める量を調べたいと思いました。

GMail Webインターフェース（1つまたは別のラベルでマークされた文字のボリューム）でラベルのサイズを見つける方法が見つかりませんでした。

袖をまくり、Goコンパイラをインストールし、DockerでMongoDBコンテナーを選択しました（はい、私はそのような変態です！しかし、これは私のペットプロジェクトであり、私が欲しいものです、特にトレーニング目的で使用します）。

さらに、私はこのプロジェクトを参照します。

すべてのタグをGMailで取得し、 Users.labels：リストデータベースに配置します。

GMailMessagesSize -importLabels -mongoConnectionString 10.211.55.5 Imported labels: 112
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

Users.messages：リストボックスにあるすべてのメッセージのIDを削除します。

 GMailMessagesSize -mongoConnectionString 10.211.55.5 -importMessages Processed 100 messages Processed 200 messages Processed 300 messages ....... Processed 523100 messages Processed 523115 messages
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

もちろん、すぐには得られませんが、並列化する方法を見つけることができませんでした（APIでは許可されていません）。

これまでのところ、メッセージIDのリストのみがあり、各メッセージのラベルとサイズを知る必要があります。 Users.messages：これのためのgetメソッドがあります。 しかし、リクエストで興味のあるフィールド（internalDate、labelIds、sizeEstimate）を正確に示しているにもかかわらず、すぐにはうまくいきません。

Batching Requestsの実装が見つかりませんでした。

しかし、私はGoに書き込みます。ゴルーチンを使用しないのは罪です。 すぐに言ってやった。 情報をスレッドの数に引き込みます（必要なだけですが、50の制限を設定します）。 インターネットが高速でコンピューターが愚かでない場合、Googleからのリクエストのレート制限にすぐに依存し始めます。 スクリプトを停止して続行することもできますが、単に待つことができます。 制限がトリガーされると、ゴルチンは5秒間スリープし、Googleを苦しめ続けます。 はい、毎回、たとえば2回スリープ時間を増やして、上記の制限を忘れないようにすることができます。 ただし、この場合は、簡単な5秒で十分です。

合計で50万通の手紙を処理しましたが、約3時間で完了したようです。 一般的に、健全な時間。

 GMailMessagesSize -mongoConnectionString 10.211.55.5 -processMessages -procNum 20 ............................Procecced 100 messages ............................Procecced 200 messages ............................Procecced 300 messages .... ............................Processed 523100 messages ............................Processed 523115 messages
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

ポイントがポップアップするだけではありません。 制限に達した場合、ポイントS（スリープ）の代わりに、またはメッセージが既に削除されている場合は、NF（NotFound）になります。

上記のすべての苦しみの結果、MongoDBにはショートカットのコレクションとメッセージのコレクションがあります。

 { "SizeEstimate" : NumberLong(63422), "_id" : ObjectId("5677188d2afd90a80e5e06f2"), "id" : "136b83b1ff739dec", "internaldate" : ISODate("2012-04-15T22:47:51.000+0000"), "labelids" : [ "CATEGORY_PROMOTIONS" ], "processed" : true }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

これで、分析を開始するためのすべてのデータが手に入りました。

最初に、ラベル、メッセージ数、およびそれらの合計サイズに関する情報をCSVにエクスポートすることにしました。

 GMailMessagesSize -mongoConnectionString 10.211.55.5 -showSizes LabelId;Label name;Messages size;Messages count Label_11;Archives;21279;4 Label_12;Archives/2012;18684;3 CATEGORY_FORUMS;CATEGORY_FORUMS;519396295;30038 CATEGORY_PERSONAL;CATEGORY_PERSONAL;5040188875;268116 CATEGORY_PROMOTIONS;CATEGORY_PROMOTIONS;2990655727;36508 CATEGORY_SOCIAL;CATEGORY_SOCIAL;205976374;6553 CATEGORY_UPDATES;CATEGORY_UPDATES;2769764066;180729 CHAT;CHAT;0;0 DRAFT;DRAFT;82817;6 IMPORTANT;IMPORTANT;6600492209;159268 INBOX;INBOX;40306538;334 UNREAD;UNREAD;479586429;11678 ..... Label_97;INBOX/Coursera;6021524;151 Label_77;INBOX/;1077571;28 Label_63;INBOX/!!!;6195999;12 Label_67;INBOX/  ;1693366;11
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

これはCSVで、Excelで開いて学習（並べ替えとフィルター）するのに便利でした。



そして、この段階で私は真剣に考えていました。 重要な（重要なラベル付き）メッセージの6つのギグとは何ですか？ 11678の未読メッセージ（未読ラベル）とは何ですか？ 私は（思ったように）すべてのメッセージを読みました！ GMail検索バーにlabel：unreadと入力しても、合計1​​06件の未読メッセージが表示されます！ 何が起こっているの？



この状況をグーグルで検索すると、他の人が疑問に思うフォーラムに至りました-Thunderbirdで削除したメッセージがGMailで削除されないのはなぜですか？ さて、多くの異なるケースがあります。 私の意見では、最も悲しいことについてお話しします。



この時点で、ブラウザでGMailのみを使用している人は、この記事を読んで後悔する可能性があります。 しかし!!! 携帯電話からも含めてメールを読むことができます。 そして、あなたはそこに非Gmailクライアントを持っているかもしれません。 この場合、多分あなたは私のと同じ問題を抱えています！



私は苦しみ続け、何が起こっているかをあなたに話すつもりはありません。

手を見てください。 イベントのシーケンスは次のとおりです。

1. GMailに手紙が届きます
2. レターにはラベルINBOX、UNREAD、および（ これはここでは重要です ）おそらく追加のラベル、たとえばCATEGORY_PROMOTIONSが割り当てられます
3. メールクライアントで、レターを開きました。 ラベルUNREADは削除されました。
4. メールクライアントで手紙を削除しました
5. ドラムロール：INBOXラベルは削除されました。 そして...すべて、これ以上
6. 投稿のラベルはCATEGORY_PROMOTIONSです

検索に入力すると、CATEGORY_PROMOTIONSというラベルの付いたメッセージが表示されます：カテゴリー：プロモーションこれを頻繁に行いますか？

非常に短い場合、文字は単に削除されません！ それらを削除すると、GMailに残ります。

アーカイブレターについて思い出す時間です。 そして、これはそうであるように見えます！

Thunderbirdの削除が「削除のマーク」、「圧縮」の順に構成されている場合：



そして、ジャックドーはバスケットに何を入れるべきですか：



それはすべてがアーカイブに等しいことです！

合計：文字はアーカイブに移動します。 また、GMailの観点からのアーカイブは、目に見えるラベルがなく、バスケットに入っていない手紙です。

一方で、それは大丈夫です。 ただし、文字は常に検索で見つけることができます。

したくない場合はどうしますか？ 今何をすればいいですか？

アーカイブからすべてのメッセージを見つけて削除する方法は？ 良い答えがあります。 しかし、私は一度にすべてを削除することを敢えてしませんでした。

ところで、検索バーに、特定のラベルが1つしかないメッセージを表示する方法が見つかりませんでした。 つまり たとえば、CATEGORY_PROMOTIONSというラベルがあり、その他のラベルがないメッセージをすべて削除することにしました。 アーカイブにこれらの広告レターは絶対に必要ありません。 ところで、いくつありますか？

 GMailMessagesSize -mongoConnectionString 10.211.55.5 -showSizes -l CATEGORY_PROMOTIONS -onlyThisLabel LabelId;Label name;Messages size;Messages count CATEGORY_PROMOTIONS;CATEGORY_PROMOTIONS;1197364170;14618
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

ギガバイトごとにそれらを蓄積しました。

-onlyThisLabelは重要なオプションであり、この単一ラベルを持つメッセージのみを検索できます。

 GMailMessagesSize -mongoConnectionString 10.211.55.5 -showSizes -l CATEGORY_PROMOTIONS -l IMPORTANT -onlyThisLabel LabelId;Label name;Messages size;Messages count CATEGORY_PROMOTIONS;CATEGORY_PROMOTIONS;1197364170;14618
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

はい、まだ1.5ギガバイトの「重要な広告」メッセージがあります:)これは、ギガバイトの重要でない広告に加えて追加されていることに注意してください。

手はすぐに彼の髪をとかし、それをすべて取り除きました！

 GMailMessagesSize -mongoConnectionString 10.211.55.5 -deleteMessages -l CATEGORY_PROMOTIONS -l IMPORTANT -onlyThisLabel -procNum 10
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

実際、手紙は削除されず、バスケットに入れられます。 そこに、30日後に、それらは完全に消えるか、または手動で自分自身をきれいにすることができます。



合計： GMail Webインターフェイスではなく、サードパーティクライアント（モバイルの場合もある）を使用してメッセージを削除すると、メッセージが削除されずにアーカイブされる可能性があります。 一部の人にとって、これはさらに良いことです。 そして、誰かにとって、これは箱が単純にふさわしく膨張するという事実につながります。

そして、それは月に2ドルでもありません。 100ギグ以上を食べることができます。 私は問題の本質を理解したかっただけです。



注意!!! プロジェクトはあなた自身のために個人的に書かれました。 これが私の最初の囲programプログラムです。 私はあなたの手紙の安全について責任を負いません！ ただし、-deleteMessagesオプションを使用しない場合、メールボックスには何も起こりません。