サーバーとソフトウェアの場所の選択、市場の非効率性のテスト：取引ロボットの実際の作成方法

ブログのFinancial Hackerの著者は、取引所での取引のための高頻度戦略を開発するプロセスが実際にどのように調整されているかについて話しました-起こりうる遅延の分析の重要性から、データの受信とテストの問題まで（すべてコード例付き）。 たとえば、米国の取引所での裁定取引の戦略が使用されます。 この資料の翻訳版を作成しました。

はじめに

従来の取引戦略で使用されていた機械学習アルゴリズムまたは信号処理アルゴリズムと比較すると、高頻度取引（HFT）システムは驚くほどシンプルです。 彼らは株式の将来の価格を予測しようとする必要はありません-彼らはすでにそれを知っています。 より正確には、彼らは現在の価格を他のより遅い市場参加者よりも少し早く知っています。



市場データを取得し、ほとんどの参加者の前にアプリケーションを実行するHFTの利点。 システムの総収益性は、その遅延の速度、取引所のトレーディングコアでの見積もりの​​受信からアプリケーションの実行までの時間に依存します。 レイテンシは、HFTシステムを評価する上で最も重要な要素です。 それは2つの方法で最適化できます：交換までの物理的な距離を最小にすること、およびシステム自体の速度を上げること。 そして、最初のものは2番目のものよりもはるかに重要です。

場所

理想的には、HFTサーバーは取引所に直接配置する必要があります。 また、世界のほとんどの取引フロアは、データセンターでサーバーロケーションを喜んで販売しています。メインの交換ネットワークのハブに近いほど、その場所が考慮されます。 シールド線の電気信号は、光の速度の0.7-0.9の速度（300 km / ms）で送信されます。 信号ソースまでの距離を1メートル短くすると、ラウンドトリップ（アプリケーションの送信から実行に関する情報の受信までの時間）で最大8ナノ秒の利点が得られます。 8ナノ秒で逃すことができる取引機会はいくつですか？ 誰も知りませんが、人々は節約されたナノ秒ごとに喜んで支払います。



残念ながら（または幸いなことに、経済の観点から、取引所のデータセンターへの配置には多額の費用がかかります）、この記事で分析されたHFTシステムは、いくつかの理由で取引プラットフォームのデータセンター内のコロケーションに配置できません。 同時に、取引するには、ニューヨークのNYSE取引所とCME（シカゴ）から同時にデータを受信する必要があります。



高速ケーブルが2つの都市間で引き伸ばされ、マイクロ波ネットワークも動作します。 理論的には、同様の要件を持つシステムの理想的な場所は、オハイオ州ウォーレンの町です。 ニューヨークとシカゴのちょうど中間に位置しています。 高速商人向けのハブがあるかどうかはわかりませんが、両取引所までの距離が357マイルあるため、往復遅延が約4ミリ秒になります。







オハイオ州ウォーレン-HFT商人のメッカ（画像：ジャックピアース/ウィキペディアコモンズ）



間違いなく、この素晴らしい町のサーバーは、ニューヨークの証券取引所のラックにあるサーバーよりもはるかに安価です。 スタートアップのアイデア：ウォレンでガレージをいくつか購入し、ニューヨークとシカゴを結ぶ高速ケーブルに接続して、サーバーラックをレンタルしてお金を稼ごう！

ソフトウェア

HFTシステムに最適な場所と通信チャネルの選択にすでに投資している場合、必要な速度に対応するソフトウェアを入手する必要があります。 商業取引プラットフォームは通常、十分に高速ではありません。さらに、それらのコードは常に閉じられており、何がどのように機能するかは正確にはわかりません。 したがって、HFTシステムは既存のプラットフォームに基づいていることはほとんどなく、ゼロから作成されています。 RやPythonではなく、「高速」言語のいずれかで。 このリストには以下が含まれます。

• CまたはC ++は、高レベルと高速の素晴らしい組み合わせです。 Cは読みやすく、機械語とほぼ同じくらい高速で効率的です。
• Pentium Assembler-マシン命令を使用してアルゴリズムを作成すると、Cシステムでも追い越されます。 このアプローチのマイナス面：そのようなコードを維持することは容易ではないでしょう、すべてのプログラマーは、他の誰かによって書かれたアセンブラープログラムを読むことがどれほど難しいか知っています。
• CUDA、HLSL、またはGPUアセンブラ -アルゴリズムがベクトルまたは行列演算を積極的に使用している場合、ビデオカードで実行するのは素晴らしいアイデアです。
• VHDL-ソフトウェアが遅すぎ、特定のアルゴリズムのトランザクションの成功がナノ秒に依存する場合、ここでの「究極の解決策」はハードウェアでシステムを直接コーディングすることです。 VHDLでは、最大数百メガヘルツのクロック速度で演算ユニット、デジタルフィルター、FPGAチップシーケンサーを定義できます。 このようなチップは、ネットワークインターフェイスに直接接続できます。

VHDLを除き、上記のすべては多くの専門家（特に3Dのコンピューターゲームの開発者）に馴染みがあるはずです。 しかし、高周波戦略の標準言語はC / C ++と呼ばれます。 この資料で使用されているのは彼です。

アルゴリズム

多くのHFTシステムは、「追い越し方法」を使用して競合トレーダーを「探し」ます。 彼らはあなたのアプリケーションに気付き、同じ資産を数マイクロ秒前に同じ価格で購入し、もう少し高価に売ってお金を稼ぎます。 一部の取引所では、すべての参加者に平等な条件を作り出すためにそのような取引は禁止されていますが、他のプラットフォームはこれを許可し、コミッションでより多くを稼ぐことを望みます。 この記事の例では、このようなメカニズムは使用されず、代わりに裁定戦略が説明されます。 サーバーがウォーレンにあり、シカゴとニューヨークへの高速リンクがあるとします。



調停は、金融商品ESとSPYの間で行われます。 ESは、シカゴを拠点とするS＆P500先物です。 SPYはニューヨークに拠点を置くETFであり、S＆P500にもリンクされています。 ESの1ポイントはSPYの10セントに等しいため、ESの価格はSPYの約10倍です。 両方の資産は同じインデックスに基づいているため、価格の高い相関が期待できます。 この相関関係が短期間で「壊れる」 ことを著者が証明している出版物があります。 ビッドアスクスプレッドを超えるES-SPYペア間の短期的な価格差があると、仲裁の機会が生まれます。 この例のアルゴリズムは、次の戦略に従って機能します。

• 違いSPY-ESを決定します。
• 平均からの偏差を決定します。
• 偏差がビッドアスクスプレッドを超え、特定のしきい値を超えると、ESとSPYでポジションが反対方向に開かれます。
• 偏差が方向を反転し、所定の（わずかに小さい）しきい値を超えると、ポジションはクローズされます。

アルゴリズムはCで記述されています。HFTコードを見たことがない場合、少し奇妙に見えるかもしれません。

#define THRESHOLD 0.4 // Entry/Exit threshold //  HFT  //  0     //  1      ES,   SPY //  2      SPY,   ES //     -1 int tradeHFT(double AskSPY,double BidSPY,double AskES,double BidES) { double SpreadSPY = AskSPY-BidSPY, SpreadES = AskES-BidES; double Arbitrage = 0.5*(AskSPY+BidSPY-AskES-BidES); static double ArbMean = Arbitrage; ArbMean = 0.999*ArbMean + 0.001*Arbitrage; static double Deviation = 0; Deviation = 0.75*Deviation + 0.25*(Arbitrage - ArbMean); static int Position = 0; if(Position == 0) { if(Deviation > SpreadSPY+THRESHOLD) return Position = 1; if(-Deviation > SpreadES+THRESHOLD) return Position = 2; } else { if(Position == 1 && -Deviation > SpreadES+THRESHOLD/2) return Position = 0; if(Position == 2 && Deviation > SpreadSPY+THRESHOLD/2) return Position = 0; } return -1; }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

traderHFT関数は、特定のフレームワーク（記事では考慮されていません）から呼び出され、見積もりを受け取り、注文を送信します。 パラメーターとして、ESおよびSPYでの売買の現在の最良価格がオーダーブックの最上部から使用されます（SPY価格に10を掛けて、両方の資産が同じスケールになると想定されます）。 この関数は、フレームワークにポジションをオープンまたはクローズするか、何もしないように指示するコードを返します。 アービトラージ変数は、SPYとESの平均価格差を表します。 その平均（ArbMean）は低速の指数移動平均によってフィルター処理され、平均からの偏差も高速移動平均によってフィルター処理され、目的の範囲外の相場に対する反応を防ぎます。 Position変数は、long、short、およびnoneの値を取ることができるマシン状態を示します。 ポジションに出入りするためのしきい値（Threshold）は40セントに設定されています。 これは、システムの唯一の調整可能なパラメーターです。 戦略が実際の取引を目的としている場合、数か月のESおよびSPYデータを使用してしきい値を最適化することも必要です。



このような最小限のシステムは、アセンブラーに変換することも、FPGAチップでプログラムすることも困難ではありません。 ただし、これは必要ありません。コンパイルにZorroフレームワークコンパイラを使用している場合でも（記事の著者によって開発されています）、tradeHFT関数はわずか750ナノ秒で実行されます。 Microsoft VC ++などのより高度なコンパイラを使用する場合、この値を650ナノ秒に減らすことができます。 ESでの2つの引用の間の時間は10マイクロ秒以上であるため、速度Cで十分です。



HFT実験では、2つの質問に答える必要があります。 まず、アービトラージ利益を生み出すのに十分な2つの商品の価格差は本当にありますか？ 第二に、システムはどの最大遅延で動作しますか？

データ

HFTシステムのバックテストでは、通常ブローカーから無料で取得できるデータは適切ではありません。 取引所のタイムスタンプを含めて、必要な許可またはBBO（Best Bid and Offer）データで注文帳のデータを購入する必要があります。 取引所で見積が受信された時間に関する情報がないと、最大遅延を決定することはできません。



一部の企業は、取引所からのすべての見積もりを記録し、このデータを販売しています。 それぞれに独自のデータ形式があるため、最初に共通の形式にする必要があります。 この例では、次のターゲットデータ形式を使用します。

 typedef struct T1 // single tick { double time; // time stamp, OLE DATE format float fVal; // positive = ask price, negative = bid price } T1;
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

CME交換の状況を監視している企業の1つは、多くの追加フィールドを備えたCSV形式でデータを配信しますが、そのほとんどは解決するタスクには必要ありません。 1日あたりのすべての見積もりは、1つのCSVファイルに保存されます。 以下は、2016年12月のESデータを「プル」して、それをT1クォートデータセットに変換するスクリプトです。

 ////////////////////////////////////////////////////// // Convert price history from Nanotick BBO to .t1 ////////////////////////////////////////////////////// #define STARTDAY 20161004 #define ENDDAY 20161014 string InName = "History\\CME.%08d-%08d.E.BBO-C.310.ES.csv"; // name of a day file string OutName = "History\\ES_201610.t1"; string Code = "ESZ"; // December contract symbol string Format = "2,,%Y%m%d,%H:%M:%S,,,s,,,s,i,,"; // Nanotick csv format void main() { int N,Row,Record,Records; for(N = STARTDAY; N <= ENDDAY; N++) { string FileName = strf(InName,N,N+1); if(!file_date(FileName)) continue; Records = dataParse(1,Format,FileName); // read BBO data printf("\n%d rows read",Records); dataNew(2,Records,2); // create T1 dataset for(Record = 0,Row = 0; Record < Records; Record++) { if(!strstr(Code,dataStr(1,Record,1))) continue; // select only records with correct symbol T1* t1 = dataStr(2,Row,0); // store record in T1 format float Price = 0.01 * dataInt(1,Record,3); // price in cents if(Price < 1000) continue; // no valid price string AskBid = dataStr(1,Record,2); if(AskBid[0] == 'B') // negative price for Bid Price = -Price; t1->fVal = Price; t1->time = dataVar(1,Record,0) + 1./24.; // add 1 hour Chicago-NY time difference Row++; } printf(", %d stored",Row); dataAppend(3,2,0,Row); // append dataset if(!wait(0)) return; } dataSave(3,OutName); // store complete dataset }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

スクリプトは最初にCSVを解析して中間バイナリデータセットに変換し、次にそれをターゲットT1形式に変換します。 タイムスタンプはシカゴ時間に添付されているため、ニューヨーク時間に変換するにはもう1時間追加する必要があります。



ニューヨーク証券取引所をトレースする会社は、特別に圧縮されたNxCoreテープ形式でデータを配信します。特別なプラグインを使用して、2番目のT1リストに変換する必要があります。

 ////////////////////////////////////////////////////// // Convert price history from Nanex .nx2 to .t1 ////////////////////////////////////////////////////// #define STARTDAY 20161004 #define ENDDAY 20161014 #define BUFFER 10000 string InName = "History\\%8d.GS.nx2"; // name of a single day tape string OutName = "History\\SPY_201610.t1"; string Code = "eSPY"; int Row,Rows; typedef struct QUOTE { char Name[24]; var Time,Price,Size; } QUOTE; int callback(QUOTE *Quote) { if(!strstr(Quote->Name,Code)) return 1; T1* t1 = dataStr(1,Row,0); // store record in T1 format t1->time = Quote->Time; t1->fVal = Quote->Price; Row++; Rows++; if(Row >= BUFFER) { // dataset full? Row = 0; dataAppend(2,1); // append to dataset 2 } return 1; } void main() { dataNew(1,BUFFER,2); // create a small dataset login(1); // open the NxCore plugin int N; for(N = STARTDAY; N <= ENDDAY; N++) { string FileName = strf(InName,N); if(!file_date(FileName)) continue; printf("\n%s..",FileName); Row = Rows = 0; // initialize global variables brokerCommand(SET_HISTORY,FileName); // parse the tape dataAppend(2,1,0,Row); // append the rest to dataset 2 printf("\n%d rows stored",Rows); if(!wait(0)) return; // abort when [Stop] was hit } dataSave(2,OutName); // store complete dataset }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

コールバック関数は、ソースファイルの引用によって呼び出されますが、ほとんどのデータは必要ないため、SPY（「eSPY」）引用のみが除外されます。

市場の非効率性の確認

2つのソースからデータを受け取ったので、ESとSPYの価格を高解像度で比較できるようになりました。 価格曲線の典型的な10秒のサンプルは次のとおりです。







スパイ（黒）対 ES（赤）、2017年10月5日、10：01：25-10：01.35



ここでの解像度は1ミリ秒です。 ESはドル単位で描かれ、SPYは10セント単位で描かれます。 チャート価格は売値（売値）です。 このような短い間隔であっても、価格は非常に相関しているようです。 ESは少し遅れています。



仲裁の機会は中央のサイトで発生します-10:01:30頃、ESは変化に少し反応しましたが、より強くなりました。 その理由は、S＆P 500に含まれる株式の1つの価格の急激な上昇のような何らかのイベントである可能性があります。 ） 理想的には、ここでESを販売し、SPYを購入できます。 このように、我々は以前に仮定された市場の非効率性の理論を確認しました。



高解像度グラフをレンダリングするためのスクリプト：

 #define ES_HISTORY "ES_201610.t1" #define SPY_HISTORY "SPY_201610.t1" #define TIMEFORMAT "%Y%m%d %H:%M:%S" #define FACTOR 10 #define OFFSET 3.575 void main() { var StartTime = wdatef(TIMEFORMAT,"20161005 10:01:25"), EndTime = wdatef(TIMEFORMAT,"20161005 10:01:35"); MaxBars = 10000; BarPeriod = 0.001/60.; // 1 ms plot resolution Outlier = 1.002; // filter out 0.2% outliers assetList("HFT.csv"); dataLoad(1,ES_HISTORY,2); dataLoad(2,SPY_HISTORY,2); int RowES=0, RowSPY=0; while(Bar < MaxBars) { var TimeES = dataVar(1,RowES,0), PriceES = dataVar(1,RowES,1), TimeSPY = dataVar(2,RowSPY,0), PriceSPY = dataVar(2,RowSPY,1); if(TimeES < TimeSPY) RowES++; else RowSPY++; if(min(TimeES,TimeSPY) < StartTime) continue; if(max(TimeES,TimeSPY) > EndTime) break; if(TimeES < TimeSPY) { asset("ES"); priceQuote(TimeES,PriceES); } else { asset("SPY"); priceQuote(TimeSPY,PriceSPY); } asset("ES"); if(AssetBar > 0) plot("ES",AskPrice+OFFSET,LINE,RED); asset("SPY"); if(AssetBar > 0) plot("SPY",FACTOR*AskPrice,LINE,BLACK); } }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

最初に、スクリプトは前に作成した履歴データを含む2つのファイルを読み取り、次にそれらを1行ずつ解析します。

システムテスト

結果のHFTシステムをバックテストするには、スクリプトをわずかに変更し、ループでtradeHFT関数を呼び出す必要があります。

 #define LATENCY 4.0 // milliseconds function main() { var StartTime = wdatef(TIMEFORMAT,"20161005 09:30:00"), EndTime = wdatef(TIMEFORMAT,"20161005 15:30:00"); MaxBars = 200000; BarPeriod = 0.1/60.; // 100 ms bars Outlier = 1.002; assetList("HFT.csv"); dataLoad(1,ES_HISTORY,2); dataLoad(2,SPY_HISTORY,2); int RowES=0, RowSPY=0; EntryDelay = LATENCY/1000.; Hedge = 2; Fill = 8; // HFT fill mode; Slippage = 0; Lots = 100; while(Bar < MaxBars) { var TimeES = dataVar(1,RowES,0), PriceES = dataVar(1,RowES,1), TimeSPY = dataVar(2,RowSPY,0), PriceSPY = dataVar(2,RowSPY,1); if(TimeES < TimeSPY) RowES++; else RowSPY++; if(min(TimeES,TimeSPY) < StartTime) continue; if(max(TimeES,TimeSPY) > EndTime) break; if(TimeES < TimeSPY) { asset("ES"); priceQuote(TimeES,PriceES); } else { asset("SPY"); priceQuote(TimeSPY,FACTOR*PriceSPY); } asset("ES"); if(!AssetBar) continue; var AskES = AskPrice, BidES = AskPrice-Spread; asset("SPY"); if(!AssetBar) continue; var AskSPY = AskPrice, BidSPY = AskPrice-Spread; int Order = tradeHFT(AskSPY,BidSPY,AskES,BidES); switch(Order) { case 1: asset("ES"); enterLong(); asset("SPY"); enterShort(); break; case 2: asset("ES"); enterShort(); asset("SPY"); enterLong(); break; case 0: asset("ES"); exitLong(); exitShort(); asset("SPY"); exitLong(); exitShort(); break; } } printf("\nProfit %.2f at NY Time %s", Equity,strdate(TIMEFORMAT,dataVar(1,RowES,0))); }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

このスクリプトは、ニューヨークの午前9時30分から午後3時30分までの1取引日にバックテストを実行します。 実際、HFT関数はESおよびSPY価格で単に呼び出され、その後、状態を切り替えるコードが実行されます。 彼は各資産の100単位でポジションをオープンします（ESの場合は2契約、SPYの場合は1000契約）。 遅延は、EntryDelay変数を使用して設定されます。 HFTモード（Fill = 8）では、トランザクションは遅延時間後の最終価格で保留されます。 これにより、シミュレーションを実際の条件に近づけることができます。



次の表は、さまざまな遅延値を使用したシミュレーションからの利益を示しています。

遅延	0.5ミリ秒	4.0ミリ秒	6.0ミリ秒	10ミリ秒
利益/日	+ $ 793	+ 273ドル	+ $ 205	-15ドル

ご覧のとおり、ES-SPYアービトラージ戦略は、1日あたり800ドルを稼ぐことができます-500マイクロ秒の非現実的な小さな遅延です。 残念ながら、NYSEとCMEの間に700マイルの距離がある場合、この結果を達成するにはタイムマシン（またはある種の量子テレポーテーションツール）が必要です。 オハイオ州ウォーレンのサーバーで、遅延が4ミリ秒の場合、1日あたり約300ドルかかります。 サーバーがニューヨークとシカゴの間の高速チャネルから少し離れている場合、利益は200ドルになります。 貿易のインフラストラクチャがさらに進んでいる場合（ナッシュビルなど）、何もできません。



1日300ドルでも年間収入は75,000ドルになりますが、この結果を達成するには、ハードウェアとソフトウェアに加えて多くのお金が必要になります。 SPY契約の費用は250ドルで、100ユニットの取引で100 * 2500ドル+ 100 * 10 * 250ドル= 50万ドルの取引量になります。 したがって、年間の投資収益率は15％を超えません。 ただし、調停用の金融商品のペアをさらに追加することで、結果を改善できます。

結論

• システムが十分に迅速に応答する場合、異なる取引所の高度に相関する金融商品間の裁定取引など、非常に原始的な方法でさえ獲得することができます。
• HFTでは、サーバーの物理的な場所が非常に重要です。
• ES-SPY仲裁はどこからでも実行できません。 あなたはすでにこれをしている人たちと、そしておそらくオハイオ州のウォーレンから競争しなければなりません。

ITI Capitalの金融および株式市場に関するその他の資料：

• 分析と市場レビュー
• バックトゥザフューチャー：履歴データを使用した取引ロボットのパフォーマンスの検証
• ステップごとのイベント駆動型Pythonバックテスト（ パート1 、 パート2 、 パート3 、 パート4 、 パート5 ）