アナリストを支援する：AWSを使用してYandex.Metricaレポートの自動アップロードを無料で作成する

アナリストとしての私の業務では、同僚が定期的にレポートを作成するために毎日の退屈なデータのアップロードに多くの時間を費やす状況に対処する必要があります。 Excelの多くのプラグイン、サービス、アドインがGoogleアナリティクスやその他のGoogle製品用に記述されていた場合、Yandex Metricaやその他の分析システム用に2013ライブラリがいくつか見つかりました。



Adfoxなどの広告システムを使用する場合、状況は「困難」でもあります。 多数の手動での荷降ろしは、最終的に誰もがうつ病に陥る可能性があり、このアクションの有用な部分であるこのデータに基づく分析と結論のための時間をまったく残さない。 時々、解決策は、必要なデータのアップロードの構成を支援できる開発者からの助けを求めることです。 ただし、実際には、レポート要件は頻繁に変更され、開発者を絶えず引き寄せることはできません。



この記事と以降の記事では、Amazon Web Servicesで自動データアップロードを簡単に設定する方法を紹介します。 AWSでは、12か月間無料のアカウントを使用できますが、その制限には記事で説明されているアルゴリズムが含まれます。 他のコンピューティングパワーレンタルサービスを選択できますが、完全に無料のものは見ていません。 さらに、AWSインスタンスには既に必要なライブラリを備えたpythonがあります。



カウンターデータの例として自分のサイトを使用します。 この記事の結果は、一連のカウンターについて、指定された日付の訪問を日ごとにアップロードする小さなスクリプトになります。 それに基づいて、必要な荷降ろしにすぐに移動できます。 この方法の欠点は、アカウントのセットアップとインターフェースへの慣れに約1時間かかることです。 ただし、その後の訪問時には、この手順は必要ありません。 完成したインスタンスを実行するだけで、数分で必要なデータを受け取ります。



それでは始めましょう。 Amazon Web Services console.aws.amazon.comにアカウントを登録し、管理コンソールへのアクセスを構成します。 残念ながら、AWSを完全に使用するためのアカウントを作成した後、カードが検証されるまで1日待つ必要があります。 この記事の枠組みでは、資金はそれから差し引かれません（無料使用の制限を超えることはありません）。 アカウント登録プロセスは、AWSドキュメント（入門まで） docs.aws.amazon.com/AWSEC2/latest/UserGuide/ec2-ug.pdfで詳しく説明されています。



カードの検証に成功すると（このプロセスの完了の通知がメールに送信されます）、console.aws.amazon.comコンソールは次のようになります。







EC2に進み、左側のパネルで[インスタンス]を選択します。 [インスタンスの起動]をクリックします。







さまざまなオペレーティングシステムの選択肢が提供されます。 この例では、オペレーティングシステムの選択はそれほど重要ではありません。 私はUbuntuに慣れています（スクリーンショットの4行目）。 Amazon Linuxの最初の行を選択できます。 例との違いは、ec2-userマシンにログインするときに、デフォルトでAmazon Linuxユーザーログインにあることです。 Ubuntuの場合、ubuntuログイン：







次のステップで、仮想マシンのタイプを選択します。 無料で使用するには、最初のオプションt2.microを選択します。 他のオプションの価格は、 aws.amazon.com / en / ec2 / pricingで確認できます。







最後の7番目の手順で、[セキュリティグループ]フィールドのセキュリティグループを確認し（少なくとも自分のIPアドレスのポート22に対してSSHアクセスを許可する必要があります）、[起動]をクリックします。 インスタンスのリストに戻り、実行中のインスタンスの[インスタンスの状態]フィールドが実行されるまで待ちます（これには数分かかります）。 インスタンスを含む行を選択し、パブリックDNSを探します。 パブリックDNSをコピーして車に行きます。 Windowsの場合、MAC-ターミナルの場合はPuttyを使用する方が簡単です。 アカウント確立ドキュメントでは、WindowsおよびMACのこのプロセスについて説明しています。 念のため、もう一度パテについてお知らせします。 Ubuntuログイン、ポート22：







[接続]-> [SSH]-> [認証]で、秘密キーへのパス（拡張子* .ppk）を指定することを忘れないでください。







「サーバーのホストキーがレジストリにキャッシュされていません」というWindows警告で「はい」をクリックしてマシンにアクセスします。 すべてがうまくいった場合、次のようになります。







pythonですべてが正常かどうかを確認します（デフォルトでは、AWSにすでにインストールされています）。コンソールで「python」と入力し、Enterキーを押します。 Pythonコンソールに入ったら、1 + 1と入力してEnterをもう一度押します。 Pythonコンソールを終了するには、Ctrl + Dを押します。







Yandex Metricsからデータをダウンロードする最後の手順は、認証トークンです。



1. Yandexアプリケーションを作成するページに移動しますoauth.yandex.ru/client/new



2.アプリケーションに名前を付け、Yandexメトリクスの権利フィールドで「統計を受信し、信頼できるカウンターパラメーターを読み取ります」を選択します。







作成されたアプリケーションとそのIDのリストは、登録済みのアプリケーションページoauth.yandex.ruで確認できます（この例では、アプリケーションは「週次レポート」と呼ばれます）。







トークンを取得するには、IDが必要です。 最後のclient_idパラメーターのブラウザーでデバッグトークンを受信するために、この値をリンクに置き換えます： oauth.yandex.ru/authorize?response_type=token& client_id =04d488...87aacb



その結果、Yandex Metricへのすべてのリクエストで使用する認証トークン11daf5 ... 516dを取得します。







技術部分を準備する長いプロセスを完了しました。 次回は通過する必要はありません。 Yandex Metricのデータに最初の「Hello world」を書き込みます。 インスタンスのスクリプトを編集するには、さまざまな接続とエディターを使用するか、コンソールで作業するだけです。 Windowsでは、単純なスクリプトのために、WinSCP（https://winscp.net/eng/docs/lang:ru）と組み込みのメモ帳を使用できます。



インスタンスに接続した後（Puttyを使用して行った操作と同様）、/ home / ubuntuフォルダーに格納されます。 別のフォルダー「yam」（F7を使用できます）を作成し、ファイル「test.py」（Shift + F4）を作成します。 次に、Yandex Metrika APIドキュメントtech.yandex.ru/metrika/doc/api2/api_v1/intro-docpageに従って、昨日「出席」レポートのデータをアップロードして、すべてが機能することを確認します。







ライブラリ「requests」と「json」をインポートして、APIおよびJSON形式へのリクエストを処理します。 引用符で囲まれたatoken変数では、以前に受け取った認証トークンを示します。 このコードをファイル「test.py」にコピーして保存します。

import requests import json atoken = 'insert token here' r = requests.get('https://api-metrika.yandex.ru/stat/v1/data?&id=21075004&accuracy=full&date1=yesterday&date2=yesterday&metrics=ym:s:visits&oauth_token=' + atoken) parsed = json.loads(r.text) print json.dumps(parsed, indent=4, sort_keys=True)
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

行r = requests.get（...）の「id」パラメーターで、データを取得するカウンター番号を指定する必要があります。 名前の横にあるカウンターのリスト（ https://metrika.yandex.ru/list ）にあります。 精度パラメーターは、Webインターフェースの「精度」スライダーに対応し、date1とdate2はアップロード期間、メトリックはメトリック（列）です。 まだディメンション（ディメンション）がありますが、後で便利になります。 Yandex Metricは既製のテンプレートを提供します。クエリ文字列tech.yandex.ru/metrika/doc/api2/api_v1/presets/preset_traffic-docpageでそれらを置き換えることができます



json.loadsは、Yandex.Metricaから受け取ったJSON応答を、必要な要素（この場合は昨日の訪問数）を簡単に選択できる配列に変換します。 行印刷json.dumps（...）は、より人間的な形式でAPI応答を示します。



スクリプトを実行します。Puttyまたはターミナルで「python test.py」と入力します。 成功：







この配列から489を抽出するには（つまり、Pythonでは「辞書」です）、その階層構造を上から下に見ていきます。

1.階層の最初の要素は 'data'要素で、最初に使用されます：['data']

2.次に角括弧が来て、リストが始まります。 私たちの場合、これは1つの要素のリストです。つまり、[0]を設定します

3.次に、2つの要素「ディメンション」と「メトリック」があります。 ['metrics']を選択します

3.最後に、「メトリック」フィールドに、再び1つの要素のシート



したがって、昨日の訪問数489.0のアドレスは['data'] [0] ['metrics'] [0]になります。 スクリプトに次の行を追加します。

解析された印刷['data'] [0] ['metrics'] [0]



再起動の結果、昨日の訪問数が最後に表示されます。



OK、「こんにちは世界」は楽しいです。 次に、より実用的なものをアンロードします。 たとえば、サイトのリストの過去1週間の日単位の訪問およびファイルへの書き込み。 最初に、過去1週間に1つのサイトにアクセスした日までにファイルに書き込みます。

 import requests import json atoken = '' r = requests.get('https://api-metrika.yandex.ru/stat/v1/data?&id=21075004&accuracy=full&date1=2015-08-10&date2=2015-08-16&group=day&dimensions=ym:s:date&metrics=ym:s:visits&sort=ym:s:date&oauth_token=' + atoken) parsed = json.loads(r.text) print json.dumps(parsed, indent=4, sort_keys=True)
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

答えは次のようになります。







ここで、すべての日付を循環させて、毎日の訪問数を取得する必要があります。 この構造は、パーサー['data']でシートを調べる必要があることを示しています。 このシートの各要素を見てみましょう。 これを行うには、スクリプトの最後にループを追加します。

 for day in parsed['data']: print day
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

Pythonを初めて使用する場合は、 'print day'（タブまたはいくつかのスペース）の前にインデントに注意してください。 このインデントは、サイクルの開始と終了を決定します。 以下を開始します。







日付と訪問数を取得する方法がより明確になりました。 「印刷日」の代わりに、以下を入力します。

 print str(day['dimensions'][0]['name']) + '\t' + str(day['metrics'][0])
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

複数のプロジェクトのデータをアップロードし、すべてをファイルに書き込む機能を追加して、訪問のポイントをカンマに置き換えます。 Excelにエクスポートする場合、これを行う必要はありませんでした。 listOfSitesシートの例では、任意の数のプロジェクトカウンターを置き換えることができます。ここでは、たとえば2つの同一のものがあります。 ファイル「weekly_data.txt」は、スクリプトが実行されるたびに上書きされます。

 import requests import json listOfSites = ['21075004', '21075004'] f = open('weekly_data.txt', 'w') atoken = '' for site in listOfSites: r = requests.get('https://api-metrika.yandex.ru/stat/v1/data?&id=' + site + '&accuracy=full&date1=2015-08-10&date2=2015-08-16&group=day&dimensions=ym:s:date&metrics=ym:s:visits&sort=ym:s:date&oauth_token=' + atoken) parsed = json.loads(r.text) print json.dumps(parsed, indent=4, sort_keys=True) for day in parsed['data']: print str(day['dimensions'][0]['name']) + '\t' + str(day['metrics'][0]) f.write(str(day['dimensions'][0]['name']) + '\t' + str(day['metrics'][0]).replace('.', ',') + '\n') f.close()
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

そのため、開始後、listOfSitesにリストされているサイトへの毎日のアクセスでファイル「weekly_data.txt」を取得する必要があります（この例では、数字は2回繰り返されます）。これはExcelに簡単にコピーできます。 または、報告している他のツール：







作業が完了したら、AWS管理コンソールに移動し、インスタンスで、マウスの右ボタンを使用して、[インスタンスの状態-停止]を選択します。 次回は、長いセットアップ手順を実行する必要はありません。 インスタンス状態-Startを選択するだけで、数分ですぐにコードの操作を開始できます。







この簡単なアプローチとYandex Metricsのドキュメントを使用して、ほぼすべてのアップロードを構成できます。 この指示により、データをアップロードする際に多くの時間と労力が節約されることを願っています。