ソフトウェア見積データ収集

ヘッダーを使用すると、プログラムコードに直接アクセスする必要があります...しかし、それでも導入部分は必要だと思います。 そして、なぜこれが必要なのでしょうか？



取引所での効果的な行動は、市場で起こっていることの徹底的な分析に関連しています。 数字、引用符のダイナミクスの背後にあるものは何ですか？



このような分析がない場合、またはトランザクションに関する無秩序な意思決定が損失につながる可能性があります。 証券会社のディーリングルームで、人々がどのように意思決定を行ったか-正しいかどうか-を何度も見なければなりませんでした。



証券会社の部屋を扱う...独自の特別な雰囲気があります。 コミュニケーション、経験の交換、感情の雰囲気。 ディーリングルームが好きです。 人が取引に入る方法によって、トレーダーは2つのグループに分けることができます。 結果が通常悲しい人についてお話します。 そして、これらのトレーダーのほとんど。 だから-私は、対応するグループのトレーダーの市場に入るプロセスを説明します。 20〜60歳の男性がディーリングルームに駆け込み、「どこに行きますか！ アップ？！ ダウン？！”出会った人の側から、”アップ！のあいまいな叫び ダウン！」新人は最も大声で叫ぶグループに参加し、... THOUGHTを作ります。 売買ボタンで千。 それだけです 今、男は市場にいます。 この瞬間から彼は彼のお金を危険にさらします。 これ以降、トレーダーはトレーダーのように見えません。 彼はファンのように見えます。 そのようなトレーダーの手にあるブブゼラは、適切な取引ツールになると思います。









そして今、彼はすでにグループに参加しており、うめき声​​ですべての市場の動きを認識しています。 そしてニュースでは、山の斜面に登る人が夢見ることができるアドレナリンのそのようなサージを取得します。



このようなトランザクションの結果は非常に予測可能です。 しかし...より幸せな結果がありますか？ もちろん。 また、見積データの分析に関連付けられています。 このデータを取得する方法は？ このデータを大量に取得する方法は？ このような素晴らしい会社FINAMとそのインターネットリソースfinam.ruがあることは素晴らしいことです！ FINAMサーバーは、たとえば次の形式（ たとえば ）で見積もりをダウンロードする素晴らしい機会を提供します。







ただし、この方法では、ダウンロードごとに1つのファイルのみをダウンロードできます。 しかし、分析のためにより多くのデータを取得したい場合はどうでしょうか？ もっと？ ほとんどすべてのツールに！ すべての期間に！ これは、データ分析の最も豊富な機会を提供します。 ああ...それは可能ですか？ 回答：はい、可能です。



それまでの間、証券（商品）のリストと、見積データを取得できるようにする原則の主要なポイントを決定します。 FINAM社が提供する証券（機器）のリストは、ここから取得されます 。







このページは、第一に、FINAMが提供するツールのほとんどを備えているため、私たちにとって興味深いものです。 次に、各セキュリティ（機器）のページに直接アクセスできるWebリンク。



リンクは次のとおりです。



www.finam.ru/profile/moex-akcii/polymetal-international-plc/export

www.finam.ru/profile/moex-akcii/pllc-yandex-nv/export

www.finam.ru/profile/moex-akcii/alrosa-ao/export



対応するページを渡すと、 リンクファイルが取得されます。 これで、ツールの場所がわかりました。 このリンクからファイルをダウンロードできます。 なぜ各楽器の居住が必要なのですか？ このパラメーターは引き続き有用です。 我慢してください。 これまでのところ、6131論文（計器）へのリンクがあります。



FINAMサーバーには何が必要ですか？ データを受信するためのパラメーターは何ですか？ 1つのファイルを取得して、クエリパラメータを確認してみましょう。 Polymetalの見積もりをダウンロードして、次のGETリクエストがあります。

__http：//export.finam.ru/POLY_170620_170623.txt？market = 1＆em = 175924＆code = POLY＆apply = 0＆df = 20＆mf = 5＆yf = 2017＆from = 06/20/2017＆dt = 23＆

mt = 5＆yt = 2017＆to = 06/23/2017＆p = 8＆f = POLY_170620_170623＆e = .txt＆cn = POLY＆dtf = 1＆tmf = 1＆

MSOR = 1＆mstime = on＆mstimever = 1＆sep = 1＆sep2 = 1＆datf = 1＆at = 1

リスト全体の中で、パラメーターem 、 market 、 codeに焦点を当てたいと思います 。 emパラメーターは、インデックス（紙（ツール）ラベルの一種）として理解する必要があります。 1つのツールではなく、複数の証券（ツール）のデータの配列をダウンロードする場合は、それぞれのemを知る必要があります。 市場変数は、指定された紙（機器）が回転する場所を示します-どの市場で？ 多くの市場があります：MosMirzha top ***、MosMirzha pif ***、MosMirzhega債券***、領収書など コードパラメーターは、ツールのシンボル変数です。



したがって、見積ファイルを取得するには、これら3つのパラメーターemおよびmarket and codeを取得する必要があります 。 すべての証券（機器）について。 問題はそれらをどこで入手するかです。 回答： リンク付きのファイルを覚えておいてください。 ファイルには、たとえば次のようなリンクがあります。



www.finam.ru/profile/moex-akcii/polymetal-international-plc/export



それに行きましょう。ページのソースコードで必要なものがわかります。javascript要素には、このペーパー（ツール）に適用される望ましいパラメーターがあります。

Finam.IssuerProfile.Main.issue = {"quote": {"id": 175924, "code": "POLY", "fullUrl": "moex-akcii/polymetal-international-plc", "title": "Polymetal", "decp": 1, "testDriveEnabled": false, "market": {"id": 1, "title": " ", "volumeEnabled": true},"info": {"decp": 1, "last": 680, "pchange": 1.87266, "change": 12.50001, "bid": null, "ask": null, "open": 668, "high": 686, "low": 666, "close": 667.5, "volume": 53037, "date": "05.07.2017 18:47:18", "weekMin": 653.5, "weekMax": 688, "monthMin": 653.5, "monthMax": 753, "yearMin": 572, "yearMax": 1009.5,"currency": ".","volumeCode": "."}," /*…    ,      …*/ 175924, "url": "/profile/moex-akcii/polymetal-international-plc/secondary/", }, "corporativeEvents": {"quote": 175924, "url": "/profile/moex-akcii/polymetal-international-plc/corporate/", }, "blogsAndGraphs": {"quote": 175924, "url": "__http://whotrades.com/markets/instrument/polymetal-international-plc", "count": "1", "pageSize": 1, "pageNumber": 1, "pagesCount": 1}}};
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

このコードではidがemであることに注意してください。 コードパラメーターと市場パラメーター（ idおよびそのロシア語名）があります。 このバリエーションのあるコードは、すべての紙（ツール）にあります。 たとえば、次のようにします。



www.finam.ru/profile/moex-akcii/pllc-yandex-nv/export

www.finam.ru/profile/moex-akcii/alrosa-ao/export



すべて同じように見えます。 さて、データ検索の一般的なチェーンは理解できると思います。サイクルでは、個々の論文（ツール）が存在するリンクを整理します。 Parsim javascriptピース。各ポジションのem 、 マーケット 、およびコードパラメーターを収集します。 このデータが手元にあれば、プログラムでFINAMサーバーにアクセスして見積ファイルを受け取ることができます。 それは実行のテクニックの場合のままです。



何を解析しますか？ Javaを使用して解析します。 そして...すべての自転車の中で、私はガレージに立っているものを選びます。 すなわちJsoup 。 htmlunitを使用できますが。







少し説明。 ページを解析するときに、 ロシア語の論文名（1）とFINAMがこの論文（ツール）を特定したセクション（2）のデータも受け取りました。 したがって、パーサーの入力には3つのファイルがあります。 6131のポジション-証券（証券）があることを思い出させてください。 このすべての情報と、解析の結果を1つのファイルに結合します。 このリンクからパーサーコードをダウンロードできます。



実行の結果、function_parameters.csvファイルができました。 行ごとの読み取り中のファイルの各行は、引用のためにFINAMサーバーにアクセスする機能のパラメーターのリストとして使用できます。 function_parameters.csvファイルは、このリンクからダウンロードできます。



FINAMサーバーにアクセスする機能を作成するために（そしてPythonで作成します）、GETリクエストのパラメーターを再度検討します。

__http：//export.finam.ru/POLY_170620_170623.txt？market = 1＆em = 175924＆code = POLY＆apply = 0＆df = 20＆mf = 5＆yf = 2017＆from = 06/20/2017＆dt = 23＆

mt = 5＆yt = 2017＆to = 06/23/2017＆p = 8＆f = POLY_170620_170623＆e = .txt＆cn = POLY＆dtf = 1＆tmf = 1＆

MSOR = 1＆mstime = on＆mstimever = 1＆sep = 1＆sep2 = 1＆datf = 1＆at = 1

POLY_170620_170623-明らかに、この行はコードパラメータと時間特性を表しています 。



.txt-ファイル拡張子。 拡張はパラメータeで参照されます。 関数を記述するとき、このニュアンスを覚えておく必要があります。



また、formタグ（name = "exportdata"）内のwww.finam.ru/profile/moex-akcii/gazprom/exportなどのページのソースコードの内容も考慮します。 指標を特徴付けます。



market 、 em 、 コード -これらのパラメーターについては、前述のとおり、関数にアクセスするとき、ファイルから値が取得されます。

df 、 mf 、 yf 、 from 、 dt 、 mt 、 yt 、 toは時間パラメーターです。

p-見積期間（ティック、1分、5分、10分、15分、30分、1時間、1日、1週間、1か月）

e-受信したファイルの拡張子。 可能なオプションは.txtまたは.csvです

dtf-日付形式（1-yyyymmdd、2-yymmmdd、3-ddmmyy、4-dd / mm / yy、5-mm / dd / yy）

tmf-時間形式（1-hhmmss、2-hhmm、3-hh：mm：ss、4-hh：mm）

MSOR-時間を与える（0-ろうそくの始まり、1-ろうそくの終わり）

mstimever-時間を与える（モスクワ時間-mstimever = 0;モスクワ時間-mstime = 'on'、mstimever = '1'）

sep-フィールド区切りパラメーター（1-コンマ（、）、2-ピリオド（。）、3-セミコロン（;）、4-タブ（ "）、5-スペース（））

sep2-数字のパラメーター区切り文字（1-いいえ、2-ピリオド（。）、3-コンマ（、）、4-スペース（）、5-引用符（ '））

datf-受信データのリスト（＃1-TICKER、PER、DATE、TIME、OPEN、HIGH、LOW、CLOSE、VOL;＃2-TICKER、PER、DATE、TIME、OPEN、HIGH、LOW、CLOSE;＃3-TICKER 、PER、DATE、TIME、CLOSE、VOL;＃4-TICKER、PER、DATE、TIME、CLOSE;＃5-DATE、TIME、OPEN、HIGH、LOW、CLOSE、VOL、＃6-DATE、TIME、LAST、 VOL、ID、OPER）。

at-ファイルにヘッダーを追加します（0-いいえ、1-はい）



パラメーターのリストが決定され、受信データのソースが確立された後、ここで引用符を取得するためのそのような関数を記述します。 ある紙の例-最愛のポリメタル。

 # -*- coding: utf-8 -*- """ Created on Sat Jun 24 01:46:38 2017 @author: optimusqp """ import urllib code='POLY'; e='.txt'; market='1' em='175924'; e='.txt'; p='3'; yf='2017'; yt='2017'; month_start='05'; day_start='20'; month_end='06'; day_end='20'; dtf='1'; tmf='1'; MSOR='1'; mstimever='0' sep='1'; sep2='3'; datf='1'; at='1'; year_start=yf[2:]; year_end=yt[2:]; mf=(int(month_start.replace('0','')))-1; mt=(int(month_end.replace('0','')))-1; df=(int(day_start.replace('0','')))-1; dt=(int(day_end.replace('0','')))-1; def quotes(code,year_start,month_start,day_start,year_end,month_end,day_end,e,market,em,df,mf,yf,dt,mt,yt,p,dtf,tmf,MSOR,mstimever,sep,sep2,datf,at): page = urllib.urlopen('http://export.finam.ru/'+str(code)+'_'+str(year_start)+str(month_start)+str(day_start)+'_'+str(year_end)+str(month_end)+str(day_end)+str(e)+'?market='+str(market)+'&em='+str(em)+'&code='+str(code)+'&apply=0&df='+str(df)+'&mf='+str(mf)+'&yf='+str(yf)+'&from='+str(day_start)+'.'+str(month_start)+'.'+str(yf)+'&dt='+str(dt)+'&mt='+str(mt)+'&yt='+str(yt)+'&to='+str(day_end)+'.'+str(month_end)+'.'+str(yt)+'&p='+str(p)+'&f='+str(code)+'_'+str(year_start)+str(month_start)+str(day_start)+'_'+str(year_end)+str(month_end)+str(day_end)+'&e='+str(e)+'&cn='+str(code)+'&dtf='+str(dtf)+'&tmf='+str(tmf)+'&MSOR='+str(MSOR)+'&mstimever='+str(mstimever)+'&sep='+str(sep)+'&sep2='+str(sep2)+'&datf='+str(datf)+'&at='+str(at)) f = open("company_quotes.txt", "w") content = page.read() f.write(content) f.close() qq = quotes(code,year_start,month_start,day_start,year_end,month_end,day_end,e,market,em,df,mf,yf,dt,mt,yt,p,dtf,tmf,MSOR,mstimever,sep,sep2,datf,at)
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

このリンクから機能コードをダウンロードすることもできます。



次は？ 現在、私たちの位置に応じて、この関数をサイクルで使用することが可能です。 合計で、6131のポジションがあります。 ファイルfunction_parameters.csvからパラメーターをロードし、日付を示し、目的の形式を選択します。 また、このコードを使用して、適切な形式のルールを忘れないでください。ソースサーバーに過負荷がかからないように、ループの反復に数秒の遅延を入れます。



市場分析のためのデータはたくさんあると思います。 この記事を書いた後、会社「FINAM」のクライアントが増えることを心から願っています！