Amazonクラウドサービスと投資ポートフォリオ分析

最近、株式市場には高いボラティリティがあります。たとえば、有名な会社の安定した紙が、経営に対する制裁についてのニュースで数パーセントを一度に失う可能性があります。その逆は、肯定的な報告と投資家の余分な利益配当に関する期待について急上昇します。



特定のセキュリティの所有権が収益を生み出したのか、それとも単に損失と失望を生み出したのかをどのように判断しますか







（出典）



この記事では、調整された有価証券の財務結果を特定して視覚化する方法を説明します。



クライアントレポートOpening Brokerの例を使用して、株式市場の証券レポートの解析と統合を検討し、クラウドレポートシステムのアーキテクチャを構築して、AWS Quicksightで簡単で便利な分析を行います。

タスクの説明

多くのトレーニングと教育のレッスンは、トレーダーのジャーナルの必要性について教えてくれます。トレーダーのジャーナルでは、さらなる分析と取引戦略の要約のために、すべての取引パラメーターが記録されます。 この取引所での取り組みにより、トレーダーを鍛え、意識を高めることができますが、退屈なプロセスに疲れることもあります。



最初はジャーナリングのアドバイスにも注意深く従い、各トランザクションをそのパラメーターでExcelテーブルに細心の注意を払って書き、レポート、サマリーチャート、計画された将来のトランザクションを作成しましたが、すぐに疲れました。





多くの場合、証券会社は、関心のあるほぼすべての問題についてかなり高品質の分析をクライアントに提供するハイテク組織です。 このレポートは更新ごとに改善されていると言っても過言ではありませんが、最も高度なものであっても、要求の多い、好奇心customers盛な顧客が見たいカスタマイズや統合がない場合があります。



たとえば、Opening Brokerを使用すると、個人口座でXML形式の証券取引レポートを受け取ることができますが、モスクワ証券取引所（MOEX）にIIAと通常の証券口座がある場合、これらは2つの異なるレポートになります。 Petersburg Stock Exchange（SPB）、最初の2つはもう1つ追加します。



合計で、統合された投資家のジャーナルを受け取るためには、XML形式の3つのファイルを処理する必要があります。



前述のMOEXとSPBのレポートは形式がわずかに異なるため、データマッピングを実装するプロセスで考慮する必要があります。

開発中のシステムのアーキテクチャ

次の図は、開発中のシステムのアーキテクチャモデルを示しています。

パーサーの実装

個人アカウントの3つのアカウントすべてについて、可能な限り最大の期間（各年に複数のレポートに分割できます）のレポートを受け取り、XML形式で保存して1つのフォルダーに入れます。 調査のテストデータとして、架空のクライアントポートフォリオを使用しますが、市場の現実に可能な限り近いパラメーターを使用します。









検討中の投資家X氏が5つの有価証券の小さなポートフォリオを持っていると仮定します。

1. SPB交換に関するレポートには、AppleとMicrosoftの2つのペーパーがあります。
2. MOEX交換（ブローカー）に関するレポートには、FGC UESという1つの論文が含まれています。
3. MOEX取引所（IIS）のレポートには、MMKとOFZ 24019の2つの証券が含まれています。

5つの証券によると、購入/販売、配当の支払い、クーポンの取引があり、価格が変わる可能性があります。 現在の状況、すなわち、すべての支払い、取引、および現在の市場価値を考慮した財務結果を確認したいのです。



ここでPythonが登場し、すべてのレポートの情報を1つの配列に読み取ります。

my_files_list = [join('Data/', f) for f in listdir('Data/') if isfile(join('Data/', f))] my_xml_data = [] #     for f in my_files_list: tree = ET.parse(f) root = tree.getroot() my_xml_data.append(root)
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

分析のために、レポートからいくつかのエンティティが必要です。

• ポートフォリオ内の証券のポジション。
• 完了した取引。
• 非取引操作およびその他のアカウントの動き。
• オープンポジションの平均価格

サンプルを準備するために、4つの辞書を使用して上記のセットを説明します。

 dict_stocks = {'stock_name': [], 'account': [], 'currency': [], 'current_cost': [], 'current_cost_rub': [], 'saldo' : []} dict_deals = {'stock_name': [], 'account': [], 'date_oper': [], 'type_oper': [], 'quantity': [], 'price': [], 'currency': [], 'brokerage': [], 'result': []} dict_flows = {'stock_name': [], 'account': [], 'date_oper': [], 'type_oper': [], 'result': [], 'currency': []} dict_avg_price = {'stock_name': [], 'account': [], 'avg_open_price' : []}
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

これらの辞書が何であるかについてのいくつかの言葉。











XMLドキュメントの配列を処理し、これらの辞書に適切なデータを入力します。

 #       for XMLdata in my_xml_data: #      exchange_name = 'SPB' if XMLdata.get('board_list') == ' ' else 'MOEX' client_code = XMLdata.get('client_code') account_name = get_account_name(exchange_name, client_code) #   current_position, deals, flows, stock_name, \ saldo, ticketdate, price, brokerage, \ operationdate, currency, \ current_cost, current_cost_rub, \ stock_name_deal, payment_currency, currency_flows = get_allias(exchange_name) #      get_briefcase(XMLdata) df_stocks = pd.DataFrame(dict_stocks) df_stocks.set_index("stock_name", drop = False, inplace = True) #    get_deals(XMLdata) df_deals = pd.DataFrame(dict_deals) df_avg = pd.DataFrame(dict_avg_price) #       get_nontrade_operation(XMLdata) df_flows = pd.DataFrame(dict_flows)
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

すべての処理は、レポートのすべてのXMLデータのループを通過します。 取引プラットフォームに関する情報、クライアントコードはすべてのレポートで同じであるため、マッピングを使用せずに同じタグから安全に抽出できます。



ただし、レポート（SPBまたはMOEX）に基づいてタグに必要なエイリアスを提供する特別なデザインを使用する必要があります。 これらのレポートの性質が同じデータは、異なる方法で呼び出されます。







get_allias関数は、取引プラットフォームの名前を入力として、処理に必要なタグの名前を返します。





関数get_briefcaseは、クライアントポートフォリオのステータスに関する情報を処理します。





次に、get_deals関数はトランザクションに関する情報を取得します。





トランザクションのパラメーターに関する情報を使用して配列を処理することに加えて、オープンポジションの平均価格を計算し、FIFOメソッドを使用してPNLによって実現されます。 PnlSnapshotクラスはこの計算を担当しますが、わずかな修正を加えて作成するために、ここに示されたコードが基礎として採用されました： P＆L計算



そして最後に、実装が最も難しいのは、非トレーディング操作に関する情報を取得する機能-get_nontrade_operationです。 その複雑さは、非トレーディング操作に使用されるレポートブロックには、この操作が関連付けられているトランザクションのタイプとセキュリティに関する明確な情報がないという事実にあります。





したがって、正規表現なしで行うのは難しいため、それらを最大限に使用します。 問題のもう1つの側面は、会社の名前が、ポートフォリオまたは支払目的の取引の名前と必ずしも一致しないことです。 したがって、支払いの目的から受け取った発行者の名前は、辞書とさらに関連付ける必要があります。 辞書として、取引の配列を使用します。 企業の最も完全なリストがあります。



get_company_from_str関数は、コメントから発行者名を取得します。





get_company_from_briefcase関数は、トランザクションに参加した会社の中で一致するものを見つけた場合、会社名を辞書に導きます。





そして最後に、非トレーディング操作に関するデータを収集する最終機能はget_nontrade_operationです：





レポートからデータを収集した結果、3つのDataFrameが生成されますが、これらはおよそ次のとおりです。

1. オープンポジションの平均価格に関する情報を含むDataFrame：
   
   
   
   
   
   
   
   
2. Deal DataFrame：
   
   
   
   
   
   
   
   
3. 非取引操作に関する情報を含むDataFrame：
   
   
   
   
   
   
   
   
   
   

したがって、私たちがやるべきことは、トランザクションテーブルとポートフォリオ情報テーブルの外部結合を実行することだけです。

 df_result = pd.merge(df_deals, df_stocks_avg, how='outer', on=['stock_name', 'account', 'currency']).fillna(0) df_result.sample(10)
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

最後に、データ配列の処理の最後の部分は、前のステップで取得したデータ配列と非トレーディングトランザクションのDataFrameのマージです。

行われた作業の結果は、分析に必要なすべての情報を含む1つの大きなフラットテーブルです。

 df_result_full = df_result.append(df_flows, ignore_index=True).fillna(0) df_result_full.sample(10).head()
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

DataFrameからの結果のデータセット（最終レポート）はCSVに簡単にアップロードされ、BIシステムで詳細な分析に使用できます。

 if not exists('OUTPUT'): makedirs('OUTPUT') report_name = 'OUTPUT\my_trader_diary.csv' df_result_full.to_csv(report_name, index = False, encoding='utf-8-sig')
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

AWSでデータをアップロードして処理する

進歩は止まっておらず、現在、クラウドサービスとサーバーレスコンピューティングモデルは、データ処理とストレージで大きな人気を集めています。 これは、複雑な計算やビッグデータ処理用のシステムアーキテクチャを構築するために高価な機器を購入する必要はないが、必要な時間だけクラウドで電力をレンタルし、必要なリソースを比較的少ない料金で十分に迅速に展開する場合、このアプローチのシンプルさと低価格によるところが大きい。



市場で最大かつ最も有名なクラウドプロバイダーの1つはAmazonです。 Amazon Web Services（AWS）環境の例を見て、投資ポートフォリオのデータを処理するための分析システムを構築してみましょう。



AWSには豊富なツールがありますが、次のものを使用します。

• Amazon S3-オブジェクトストレージ。これにより、事実上無制限の量の情報を保存できます。
• AWS Glueは、それ自体が構造を決定し、特定のソースデータに基づいてETLコードを生成できる強力なクラウドETLサービスです。
• サーバーレスのオンラインSQLクエリサービスであるAmazon Athenaを使用すると、多くの準備なしでS3からのデータをすばやく分析できます。 また、AWS Glueが準備するメタデータにもアクセスできます。これにより、ETLを渡した直後にデータにアクセスできます。
• Amazon QuickSight-サーバーレスBIサービス。任意の視覚化、分析レポートを「オンザフライ」で作成できます。

Amazonのドキュメントは大丈夫です。特に、 AWS GlueでAthenaを使用する際のベストプラクティスに関する記事があり、 AWS Glueを使用してテーブルとデータを作成および使用する方法について説明しています。 この記事の主なアイデアを活用して、分析レポートシステムの独自のアーキテクチャを作成するためにそれらを適用してみましょう。



レポートパーサーによって準備されたCSVファイルがS3バケットに追加されます。 S3の対応するフォルダーは、毎週土曜日-取引週の終わりに補充される予定であるため、レポートの作成と処理の日付にデータを分割せずに行うことはできません。

このアプローチでは、このようなデータに対するSQLクエリの操作を最適化するだけでなく、たとえば各論文の財務結果の変化のダイナミクスを取得するなど、追加の分析を行うことができます。







生成されたテーブルをより詳細に検討してください。

作成されたテーブルの名前をクリックすると、メタデータの説明が記載されたページに移動します。 一番下にはテーブルレイアウトがあり、最新のものはソースCSVファイルにない列date_reportです。 このAWS Glue列は、ソースデータのセクションの定義に基づいて自動的に作成されます（バケットS3では、フォルダに特別な名前を付けました-date_report = YYYY-MM-DD。これにより、日付で区切ってセクションとして使用できます）。

データ分析

処理済みのデータを自由にロードできるので、簡単に分析を開始できます。 開始するには、Amazon Athenaの機能を分析クエリを実行する最も簡単で最速の方法と考えてください。 これを行うには、Amazon Athenaサービスに移動し、必要なデータベース（金融）を選択して、次のSQLコードを記述します。

 select d.date_report, d.account, d.stock_name, d.currency, sum(d.quantity) as quantity, round(sum(d.result), 2) as result from my_trader_diary d group by d.date_report, d.account, d.stock_name, d.currency order by d.account, d.stock_name, d.date_report;
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

このリクエストにより、すべてのレポート日付について各証券の純財務結果が提供されます。 なぜなら 同じレポートを異なる日付に3回アップロードしましたが、結果は変わらず、もちろん実際の市場では異なります。









しかし、受信したデータを柔軟な表または図の形式で視覚化する場合はどうでしょうか？ ここでは、Amazon QuickSightが役立ちます。これにより、SQLクエリを記述するのとほぼ同じ速さで柔軟な分析を構成できます。 Amazon QuickSightサービスにアクセスします（登録していない場合は登録が必要です）。



[新規分析]-> [新規データセット]ボタンをクリックし、表示されるウィンドウでデータセットのソースを選択して、[Athena]をクリックします。











データソースの名前、たとえば「PNL_analysis」を考え出し、「データソースの作成」ボタンをクリックします。



次に、データベースとデータソーステーブルを選択する必要がある[テーブルの選択]ウィンドウが開きます。 データベース-財務、およびその中のテーブルmy_traider_diaryを選択します。 デフォルトでは、テーブル全体が使用されますが、「カスタムSQLを使用」を選択すると、必要なデータサンプルをカスタマイズおよび微調整できます。 たとえば、テーブル全体を使用して、[データの編集/プレビュー]ボタンをクリックします。



新しいページが開き、そこで追加の設定を行い、既存のデータを処理できます。



ここで、追加の計算フィールドをデータセットに追加する必要があります：四半期と運用年。 注意深い読者は、最終レポートをCSVに保存する前に、そのような操作がパーサー側で簡単に行えることに気付くかもしれません。 間違いなく、私の目標は、BIシステム設定の機能と柔軟性をその場で実証することです。 [新しいフィールド]ボタンをクリックして、計算フィールドの作成を続けます。





操作の年と四半期を強調するために、単純な式が使用されます。











計算フィールドが正常に作成され、選択に追加されたら、データセットに「my_pnl_analyze」などの名前を付け、「保存して視覚化」ボタンをクリックします。



その後、Amazon QuickSightメインボードに移行し、最初に行う必要があるのは、レポート日付のフィルターを設定することです（同じデータが3つのセクションから収集されたという事実を考慮して）。 レポート日付2018-10-01を選択し、[適用]ボタンをクリックして、[視覚化]タブに移動します。





これで、たとえば、取引口座内の各証券のポートフォリオの結果を任意のプレーンで視覚化し、通貨（結果が異なる通貨で比較できないため）と操作の種類で順番に分割できます。あらゆるBIの最も強力なツールであるピボットテーブルから始めましょう。スペースを節約し、表示の柔軟性を高めるために、通貨を別のコントロールに配置します（MS Excelのスライスと同様）

上記の表は、投資家が現在FGC UESの全株式を売却することを決定した場合、損失を記録することを示しています。1,509.91 pの金額で支払われた配当。彼らはその費用をカバーしていません（1,763.36ルーブル-負の為替レート差と174ルーブル-配当に対する個人所得税）。Exchangeでより良い時間を待って待つのは理にかなっています。

次のグラフは棒グラフです。









次に、各ペーパーにいくら投資したか、ポートフォリオに何日あるか、所有期間全体の収益性を示す表を作成します。これを行うには、2つの新しい計算フィールドsum_investmentとcount_daysを追加します。







最終的な表は、次のスクリーンショットに示されています。

結論とまとめ

レポートパーサーの実装と、Amazonサービスを使用して「オンザフライ」で準備されたデータを分析する方法を検討しました。また、以下のように、投資ポートフォリオ分析のビジネスおよび基本的な側面についても触れました。このトピックはほとんど広大であり、1つの記事に収めるのはかなり困難です。別の出版物や一連の出版物に入れることは理にかなっていると思います。



ブローカーレポート処理ツールとそれに関連するアプローチとアルゴリズムの使用に関しては、他のブローカーのレポートを処理するために（適切な変更を加えて）使用できます。いずれにせよ、コードをあなたのニーズに適応させることを計画しているなら、私はいくつかのヒントを与える準備ができているので、質問することをheしないでください-私は間違いなくそれらに答えようとします。



このシステムがその用途を見つけ、さらに発展することを確信しています。たとえば、ポートフォリオの完全なPNLの計算に、預託金およびその他の手数料（資金の引き出しなど）の会計処理、および債券の支払いなどを追加することが計画されています。これらの追加列はすべてPythonに移植され、パーサー側で計算されます。



このソリューションのアーキテクトであり、主要なビジネス顧客である私は、次のようにさらにアップグレードすることを期待しています。もちろん、これまで他の可能性はありませんが、トークンの転送とサンプリング範囲を備えたブローカーAPIは、毎週の生のレポートを受信するのに理想的です。Amazon側でのその後の完全自動処理：AWS GlueでETLジョブをトリガーしてから、Amazon QuickSightでグラフと表の形式で完成した結果を取得することで、プロセスを完全に自動化できます。



完全なソースコードは、上の私のリポジトリで見つけることができますGitHubの