負荷の高いプロジェクトの評価システム

ストーリーは、アーキテクチャをやり直さなければならなかった1つのコンテンツプロジェクトに関するものです。 以前は、古典的なランプスキーム（Linux-Apache-MySQL-PHP）が実装されていました。 しかし、訪問者の数は増え続け、すでに1Mホストに近づいていたため、データベースサーバーは対処を停止しました。 まず第一に、私は別のセラックを購入することを申し出ましたが、このセグメントではアフィリエイトプログラムへの変換は非常に低いため、プロジェクト管理は少し垣間見ました。



アーキテクチャを変更し、それでもローテーションとレーティングシステムを厳しくする必要があるとしたら、catにようこそ。



このプロジェクトの特徴は、パイプ（YouTube）などのドナーサイトにあるビデオコンテンツを配信することです。 サイトにはBBコード（特定のHTML）のみを表示する必要があります。 したがって、HTMLをオンザフライで絶えず生成する必要はありませんでしたが、たとえば1日1回など、一定の時間後に行われましたが、1000インプレッション後にローテーションに置き換えられました。 Apacheはnginxに置き換えられ、nginx自体は生成された静的HTMLコンテンツを単に返しました。



サイトに来るたびに、訪問者は何か新しいものを見るはずです。 新しいものは、よくあることですが、よく忘れられている古いものです。 一般的に、ビデオプレビューのローテーションが必要でした（それらについては少し後で）。 いくつかの回転アルゴリズムがあります。 マーケティング担当者の心の洗練度を想像することさえできません。 そのため、最も単純な1つについてのみ説明します。



最初の10スロットには、新しいプレビューのみが挿入されます。 次に、CTRが最大のこのカテゴリの90のプレビューが選択されます。 この用語をよく知らない人は、英語からのクリック可能性の指標です。 クリック率：画像のクリック数とインプレッション数の比率。



ビデオは人気がある可能性がありますが、プレビューは表示できません。 これは、ビデオの最もジューシーな瞬間を座って選択する学生の代わりに、ロボットが座ってランダムに選択されたフレームのプレビューを生成するためです。 そのため、非常に興味深いビデオの評価が下がる可能性があります。 サイトを多様化し、ランダムフレームの効果を均等にするために、ローカル評価が使用されます。1つのビデオから3つのプレビューが生成され、これらもプレビューされます。 自然選択の過程で、最も魅力的な写真が残ります。 投票システムもあります：指を上/指で下しますが、1対1の技術的な実装は回転システムに似ています。



しかし、SEOのおとぎ話を聞くのではなく、それらの詳細を共有するためにここに集まりました。 一般的に、ランプテクノロジー全体がWebサイトジェネレーターに置き換えられました。 Nginxは、静的の戻り値に取り組みました。 CTRの計算を実装するためだけに残ります。



サイト上のビデオの総数は約100Kだったため、永続的なメモリ内ストレージを選択することはかなり可能です。 代替品には、Redis、Aerospike、Tarntoolがあります。



優れた機能とMailRuのフレンドリーなロシア語サポートにより、彼らはTarantoolを選択しました。 MySQLはどこにも行っていません。動画のBBコード、カテゴリと名前のリスト、コンテンツの説明、ウェブサイトの生成に必要なその他の情報を保存し続けています。 しかし、データベースは実際には使用されなかったため、最小限のメモリが彼に割り当てられました。



Tarantoolについてさらに詳しく説明します（以降、T *と呼びます）。 さまざまな記事で彼について多くのことが書かれていますが、セットアップとインストールを省略して、これが実際にどのように適用されるかをお伝えします。



何が何であるかを理解するための少し退屈な理論：T *のすべてのデータはスペースに保存されます：スペース。 これは、SQLのテーブルまたはMongoDbのコレクションに類似しています。 テーブルはドキュメントのコレクションである行で構成されるため、スペースには多くのタプル（MySQLの行のアナログ）が含まれます。



タプルは要素またはフィールドで構成されます。 タプルフィールドの要素を呼び出すのは便利です。この用語を順守します。この用語は、 tarantool.org / doc / book / box / index.htmlのドキュメントに反しません。 テーブル行とは異なり、タプルのフィールドには名前はなく、シリアル番号のみがあります。 ただし、後で見るように、これは重要ではありません。



各タプルには主キーが必要です。 プライマリインデックスは、TREE、HASH、BITSET、またはRTREEのいずれかのタイプです。 また、セカンダリインデックスをスペースに重ねることができます。これにより、大根では作成できないような一意のサンプルを作成できます。







図1は、MySQLとT *の類似性を示しています。



評価を保存するために、統計スペースが作成されます。 これを行うには、コンソールに移動してコマンドを実行します。

	 box.cfg {}-デフォルト設定をロードします
	 box.schema.space.create（ "stats"）-新しいスペースを作成します

スペースがどのように作成されたかを確認しましょう。

 tarantool> box.space 
 --- 
 -統計： 
    一時的：false 
    エンジン：memtx 
 ... 

そして、それをstats変数に割り当てます

 tarantool> stats = box.space 

データベースまたはMongoDbのスキーマを作成した場合、次のスキーマを選択します。

 1キー-主キー、ビデオIDと同じ
 2 clicks_1-最初の写真のクリック数 
 3クリック_2--||  -2番目の写真 
 4クリック_3--||  -3番目の写真 
 5 clicks_sum_1-最初の写真のクリックの総数 
 6 clicks_sum_2--||  -2番目の写真             
 7 clicks_sum_3--||  -3番目の写真 
 8 show_1ショーでも同じ
             ...
 13 show_sum_3   
最後のスパンの最初の画像の14 ctr_1 ctr
 15 ctr_2
 16 ctr_3
 17 ctr_sum_1期間全体の最初の画像のctr
 18 ctr_sum_2
 19 ctr_sum_3
最後の間隔のすべての写真の20 ctr ctr
期間全体のすべての写真の21 ctr_sum ctr

最初の列はフィールドの番号です。フィールド名を定数として定義します。

	 -最初のフィールドは主キーです
	 clicks_1 = 2 
	 clicks_2 = 3
	 。  。  。
 	 ctr_sum = 22

スペースに主キーを作成し、HASHタイプを選択します。

        統計：create_index（ 'primary'、{type = 'hash'、parts = {1、 'NUM'}}）

作成したことを確認します。

 tarantool> stats.index 
 --- 
 -0：＆0 
    ユニーク：true 
    パーツ： 
     -タイプ：NUM 
       fieldno：1 
     id：0 
     space_id：513 
    名前：プライマリ 
    タイプ：HASH 
  プライマリ：* 0 
 ... 

うまくいけば非常に便利です。次に、clicks_1フィールドをインクリメントする関数を作成し、デバッグのためにいくつかのエントリを挿入します。

     統計：挿入{1,0,0,0,0,0,0}
     統計：挿入{2,0,0,0,0,0,0}
     統計：{3,0,0,0,0,0,0}を挿入

まず、次のものがあることを確認します。

 tarantool>統計：{2}を選択 
 --- 
 --[2、0、0、0、0、0、0] 
 ...

素晴らしい、すべてが私たちのために働いています！ 次に、フィールドインクリメントコードを記述しましょう。

 tarantool> stats：update（2、{{'+'、2,1}}） 
 tarantool>統計：{2}を選択 
 -[2、1、0、0、0、0、0] 
 tarantool> stats：update（2、{{'+'、2,1}}） 
 -[2、2、0、0、0、0、0] 

更新コマンドには次のパラメーターがあります。

主キー-更新用のキー番号

2番目のパラメーターはアクションのリストで、各要素はトリプレット（3つの要素のリスト）を表します。

-アクションのタイプ、この場合は追加

-変更が行われるフィールドの番号

-番号



更新コマンドの詳細については、ドキュメントをご覧ください ： tarantool.org/doc/book/box/box_space.html#lua-function.space_object.update



stats：updateを実行するたびに、2番目のフィールドのキー= 2のデータが1ずつ増加することがわかります。より読みやすい形式で書き込みます。 以前に私たちは尋ねなければなりませんでした：

 tarantool> clicks_1 = 2 

実行：

 tarantool> stats：update（2、{{'+'、clicks_1,1}} 
 -[2、4、0、0、0、0、0] 

これを関数でラップします。

 function click_inc（key）stats：update（key、{{'+'、clicks_1,1}}）end 

そしてチェック：

 tarantool> click_inc（2） 
 tarantool>統計：{2}を選択 
 --- 
 --[2、5、0、0、0、0、0] 
 ... 
 tarantool> click_inc（2） 
 tarantool>統計：{2}を選択 
 --- 
 --[2、6、0、0、0、0、0] 
 ...

関数に画像番号を追加します（番号は0から始まります-最初の画像）：

 function click_inc（key、img_num）stats：update（key、{{'+'、clicks_1 + img _num、1}}）end

チェックした後、関数を別のファイルで見やすく表示します：click.lua

関数 click_inc （ key 、 img_num ）

img_num > 3の 場合

偽を返す

終わり

箱 スペース 統計： update （ key 、 { { '+' 、 clicks_1 + img_num 、 1 } } ）

真を 返す

終わり

ご覧のとおり、関数実行のロジックは非常に単純です。最初の引数はビデオIDで、次の番号はそのプレビューです。 次に、これらすべてをどのように適用できるかを見てみましょう。 WEBプロジェクトの場合、この関数は3つの方法で呼び出すことができます。

-カスタムAPIの使用：PHP / Python / Perl / Javaスクリプトなどから

-tarantool-httpを介して、nginxを介してリクエストがプロキシされます

または、http.libまたは別のWebサーバー（xavanteなど）を使用する独自のluaスクリプト

-nginx_upstreemモジュールを使用してnginxから直接。



興味があれば、2番目の方法について詳しく説明しますが、この場合は3番目のオプションを選択しました。 この記事には非常に多くの文字があります。そのため、T *作成者のnginxとTarantoolに基づいてサービスを構築する記事でモジュールのインストールと構成について読むことができます。



したがって、click.luaは次のようになります。

＃！/ usr / bin / tarantool



箱 cfg {

log_level = 5 ;

listen = 10001 ;

}



click_1 = 2 ;



関数click_inc （ key 、 img_num ）

img_num > 3の 場合

0を 返す

終わり

箱 スペース 統計： update （ key 、 { { '+' 、 click_1 + img_num 、 1 } } ）

1を 返す

終わり

それをチェックしてください：

         curl http://127.0.0.1:8081/echo --data '{"method"： "click_inc"、 "params"：[2,1]、 "id"：0}' {"id"：0、 "結果 "：[[1]]} 

確認するには、T *の実行中のインスタンスに接続しましょう。

 tarantool> console = require（ "コンソール"） 
 tarantool> console.connect（ "127.0.0.1:10001"） 
 tarantool：127.0.0.1:10001に接続 
 -本当 
 127.0.0.1:10001>統計= box.space.stats 
 127.0.0.1:10001>統計：{2}を選択 
 --[2、7、0、0] 
 ... 

2番目の画像のカウンターをインクリメントすることもできます。

  curl http://127.0.0.1:8081/echo --data '{"method"： "click_inc"、 "params"：[2,2]、 "id"：1}'
 {「id」：0、「結果」：[[1]]}
 

結果を確認します。

 127.0.0.1:10001>統計：{2}を選択 
 --[2、7、1、0] 
 ... 

クリックスルーシステムを作るのがどれほど簡単かを見ました。 それでは、配信システムに移りましょう。



プレビューのセットの各ページは、インプレッションインクリメントプロシージャshow_incが実行されると、「カテゴリ」を任意に呼び出します。 しかし、私たちが理解しているように、これは最適ではありません。 次のオプションがあります。HTMLページの本文に変数が生成されます。

< スクリプト >

show_pictupies =” 1,2,3,4,5” / *表示されている画像のすべてのIDはここにリストされています* /

< / スクリプト >

さらにAJAXでこのリスト全体を転送します。 しかし、ここでは、画像のidに加えて、その表示オプションも渡す必要があります。そのため、リストは「1-1、2-1、3-1、4-2」の形式を取ることができます。マイナス記号の後の数字は表示オプションを示します。



残念ながら、luaで爆発するような関数の類似物はないため、Googleでこのコードを使用しました

関数分割（ inputstr 、 sep ）

sep == nilの 場合

sep = "％s"

終わり

ローカル t = { } ; i = 1

stringの str gmatch （ inputstr 、 "（[^" .. sep .. "] +）" ） do

t [ i ] = str

i = i + 1

終わり

tを返す

終わり

次に、テーブルを調べます。 ループを実装するには、反復関数を実装します。

関数値（ t ）

ローカル i = 0

return function （ ） i = i + 1 ; t [ i ]を 返す

終わり



it in values （ tt ） do show_inc （ it 、 2 ） end

ご想像のとおり、show_incはclick_incと非常によく似ていますが、変数click_1をshow_1に置き換えるといういくつかの例外があります。 したがって、より汎用的な関数stat_inc（キー、フィールド、img_number）を作成できます。

関数 stat_inc （ key 、 field 、 img_num ）



img_num > 3の 場合



0を 返す

終わり



箱 スペース stats ： update （ key 、 { { '+' 、 field + img_num 、 1 } } ）

1を 返す

終わり

2種類のctrをカウントしているため、最後の世代から最初の世代と一般的な世代の2つをカウントするため、クリックプロシージャを作成し、nginx経由で呼び出します。

関数クリック（ key 、 img_num ）

stat_inc （ key 、 clicks_1 、 img_num ）

stat_inc （ key 、 clicks_sum_1 、 img_num ）

終わり

そして表示：

関数 show （ key_list ）

list = slipt （ key_list 、 '、' ）

値のリスト（リスト）

する

pos = string.find （ it 、 “ - ” ） ;

key = string.sub （ it 、 0 、 pos - 1 ） ;

img_num = string.sub （ it 、 pos + 1 ）

stat_inc （ key 、 shows_1 、 img_num ）

stat_inc （ key 、 shows_sum_1 、 img_num ）

終わり

終わり

このようにして、クリックとインプレッションの両方をカウントします。



このトピックに興味を持って、HTMLを生成するためのctrの計算方法と画像の選択方法を説明できます。