高負荷のアプリケーションアーキテクチャ。 分散システムのスケーリング。 パート2

今週は、復号化されたポッドキャストの最初の部分をレイアウトしました。 今、彼らは第二部を準備しました。



ポッドキャストの第2部で話していること：

• プロジェクトを水平方向に拡大縮小する

-クラウドサービスを使用する場合、および物理的なホスティングを行う場合。

-「美しいソリューション」と「汚いが生産的な」コード。 ORMおよびあらゆる種類の類似したもの。

-多言語および多地域プロジェクト、問題および解決策。

• 非同期タスク。 キュー

-分散システムでの非同期タスク。

-彼らが救助に来たとき、どんな技術が存在し、現在積極的に開発されているか;

-非同期タスクを整理するためのアプローチはBadooで使用されます。

-キューを操作する際にどのような問題があり、直面しなければなりませんでしたか。

-役に立つ本と興味深い会議。

-興味深いインタビューのケース。





ヴェーダ： はい、これは良いアプローチです。なぜなら、エンジニア...彼らはしばしば完璧主義者であり、完璧にやりたいと同時に、コントロールされていない場合は10回改造する余裕があります。 私は何を言うことができます-私は自分自身を覚えている、一般的に、そのようなものでした。 そして、時間が経つにつれて、経験を積んだ技術者やエンジニアは、時としてより速く行う必要があることを理解するようになります。 主なことは、この「真空中の球形のターゲット」ではなく、結果があるはずだということです。



原則として、非常に正確で合理的なアプローチがあります。 そして一般的に、Gitを使用して新しいリリースの「展開」、「ロールアウト」を自動化する方法について書いた「Habré」に関する記事を参照しました。 私の知る限り、JIRAバグトラッカーTeamCityとして使用しています。 そして、これらすべてを一緒にすると、AIDAのようなツールを使って料理をすることができます。 私たちのポッドキャストの次の号の1つで、将来どういうわけかこれについてもっと詳しく話すことをお勧めします。 今、私たちはおそらくそこで止まらないでしょう。 チーム内のこれらすべてのプロセスの優れたデバッグの経験があります。 このことについてもう1つ話しましょう。私が理解しているように、あなたが持っている開発者は、Roman Skvazhからの質問でもあります。彼らは「マルチプラットフォーム」ではないので、明確に共有します。 PHPシュニックがあり、syshnikがあり、データベース用の非常に経験豊富で強力なDBAがありますよね？



AR：なんらかの方法で、管理者はどの会社にもいるべきです。 また、データベースサーバーが数百台ある場合、物事を修正して新しいデータベースを追跡するのは開発者の仕事ではないため、DBAはそこにいるはずです。 それで最近予算が少なくて、MySQLのパッチを注文しましたが、10年間は​​修正できませんでした。 そして、すべてのクラスターでこれがすべて更新されるように、システム管理者を関与させる必要がありました。 DBAはそうすべきであり、これについても議論されていません。 まあ、「マルチプラットフォーム」...一般的に言って、PHPを知っている人は、確かに他のスクリプト言語を知っています。 約100人、まあ、それより少ない-約80人です。 彼らはPHPやその他のスクリプト言語を知っていますが、ほとんどはPHPで書かれています。 シッシャーは大幅に少なくなっています。つまり、概して、あるチームから別のチームに人を移動させることができます。



一般的なプラットフォームについては...おそらく、開発者の間では、ウェブの下でAndroidの下で同時に書くことができる人はいません。 私の意見では、Androidの下に何を書くかというと、Javaがあります。 iOSにはObjective-Cがあります。 つまり、このような「モバイル動物園」があり、この意味で、モバイルアプリケーション用にサーバー側を作成する人とモバイルアプリケーション用にクライアント側を作成する人は、本当に異なる人です。



ヴェーダ： はい。 大規模なプロジェクトで発生するこのような問題はまだあり、多くの場合、マネージャー、チームリーダー、単純な開発者にとって頭痛の種です。これは、プロジェクトが多くの言語と大量の単なるテキスト、たとえば素材、一般的にあらゆるコンテンツをサポートしなければならない場合、これは国によって異なり、適応、翻訳などが必要です。 さらに、これに別の問題が追加されます。これは、言語が異なるだけでなく、国同士が非常に離れていることです。 したがって、時間はどこでも異なり、プロジェクトは「マルチゾーン」であることがわかります。 Badooなど、どのような問題がありますか？ どんな種類のアプローチ、アーキテクチャの決定、これらすべてを「解決」する方法、そしてこれらすべてと共存する方法を考えていますか？



AR：問題はむしろ複雑さの平均的な性質にあるように思われます。つまり、大規模なプロジェクトのパフォーマンスやスケーリングと比較すると、これはもちろんそれほど大きな問題ではありません。 「マルチゾーン」については、私の意見では、すべてが単純であり、構成によって決定されます。 小さなファイルがあります：国と、おおまかに言って、UTCのタイムシフト-すべてをUTCの単一の形式で保存し、計算します。 とても簡単です。



多数のテキストに関して、これは本当に興味深い質問です。 さまざまな段階を経て、ユーザー自身が翻訳する翻訳ができるようになりました。 数十の言語があります。 私は正確に覚えていません...約40。そしてもちろん、機能が遅くならないように翻訳システムが十分にモバイルであることは非常に重要です。







奇妙なことに、話をするのはテクノロジープレーンではなく、管理プレーンについてです。 ある機能を展開し、それを少なくともいくつかの重要な言語に翻訳する必要があると想像してください。 Badooは、スペイン、イタリア、フランスの3カ国のヨーロッパで最も一般的であり、アメリカ大陸ではアメリカとブラジルです。 つまり、少なくともこれはすでに-5つの非常に重要な言語です。



また、この機能を展開することはできません。 むしろ-一部の国でのみ機能を展開して実行できますが、これらの翻訳なしでは完全なリリースを行うことはできません。 ここで、リリースサイクルがあることを想像してください。これらは1日2回のリリースです。 1日に2つのリリースを作成するためにあらゆることを行っています。 これを行うには、迅速に合格するために10分で15,000または16,000のテストが必要です（説明：3.5分ですでに18,000） 。 このリリースを行う場合、翻訳を待ちたくありません。 そのため、新しい展開システムを作成する際に翻訳システムを大幅に変更し、いわゆる「フォワード転送」と呼ばれるものを統合しました。 つまり、大まかに言えば、通常1日または数日で行われる「ステージング」のテスト段階でも、翻訳者はすでに機能の翻訳を開始でき、それが本番稼働、つまりテスト段階になります。 そして、数十人の翻訳者がいるので、主な「挑戦」は、翻訳のための美しく理解しやすいインターフェースを作ることでした。 特に、画面翻訳などのフォーマットを試しました。 特別な翻訳セッションがあります。英語でサイトを見て、ロシア語に翻訳してください。 いくつかのテキストを英語で表示し、クリックしてロシア語に翻訳し、クリックしてすぐにロシア語ですべてを表示します。 はい、それまで。



ヴェーダ： うん。



AR：技術的なことに関しては、ここで使用した唯一の技術的な特徴は、何も翻訳しないことです。 それでは、言語を選択せず​​、テキストをリアルタイムで選択しません。 異なる翻訳を持つ巨大なファイルを保持し、リアルタイムで1行または別の行をアプリケーションで置き換えると、多くの解決策があります。 しません 私たちは、いわば、完成した言語ですぐに非常に大きなテンプレートのセットを「生成」します。 これが当社のソリューションであり、標準的なアプローチとはわずかに異なります。 そしてそれは本当にクールです！



Ved。： 標準、そこにはいくつかの種類のpoファイルがあります。つまり、私が理解しているように、すべてが小規模なプロジェクトで実行できます。試してみてください。



AR：ここでは、大規模プロジェクトや大規模プロジェクトでこれらすべてが確実にスローダウンし始めるとは言いませんが、ある言語の既製のテンプレートがあれば、単に時間を無駄にしないことは明らかです。特定のフレーズを検索するためのCPU時間。 ページが健全な場合-はい、これらのフレーズが「dofiga」、つまりそのような検索であることは明らかです-クイック検索であっても、ある程度のプロセッサー時間を費やす必要があります。



ヴェーダ： アレクセイ、先ほどお話しした1つの数字について明確にしたかったのです。 あなたは1日に2つのリリースがあると言っていましたが、どうしてこの数字にたどり着いたのですか？なぜこの方法でデプロイすることに決めたのですか？



AR：そのようなニュアンスがあります：原則として、それほど頻繁に展開することはできませんが、検査のリズム、特定の実験、食料品店のリズムは1日1回では十分ではないことがわかります。 彼らは1日に2回決定しましたが、それ以上の理由はありません。リリースが増えれば増えるほど、リリース時に多くの人の作業が麻痺するからです。 少なくともリリースエンジニア。 リリースエンジニアのグループがいます-ところで、つい最近、それを組み立てました。



リリース時点（少なくともこのシステムをデバッグしているとき）では、多くの作業が手作業で行われていました。 その後、彼らはすべてを自動化し、今では1日に複数のリリースを行うことができますが、私には2つで十分です。 つまり、午前中に彼らはリリースを行いました-前夜にテストされたものをロールアウトし、昼食前に彼らが何とかしてテストしたものはすべて-夕食後にロールアウトされました。 これがそのようなスキームです。 説明が何であるかさえわかりませんが、私の意見では、それは非常に合理的です。





ヴェーダ： はい。 しかし、私の意見では、それはあまりにもクールです。つまり、1日に非常に多くの機能を蓄積して、夕方に展開できるようにする方法を本当に知りません。



Vedas： しかし、彼らは、私が理解しているように、事前に知っています。 どのように構築したかわかりません-スクラムか何か。 たとえば、特定のタスクセットがあります。 そして、明日の翌日までにそれらが完成し、午前中にそれらを展開できることをあなたは理解しています。 そして、それは常に起こりますよね？



AR：もちろん、計画は常につらいプロセスです。 私たちは本当に繰り返し実行しようとしていますが、正しいアジャイル手法を使用していません。 必要に応じて、一般に、アジャイルを当社に実装しようとした方法と、なぜアジャイルを導入しなかったのかを個別に伝えることができます。これは非常に興味深い別のトピックです。 多くのチームがあり、誰もが何かをします。 しかし、いくつかの新しい機能を作成するチーム、いくつかのインフラストラクチャタスクを処理するチームが存在するため、もちろん多くのコミットがあります。 さて、アセンブリの単一ポイント-リリースがあります。



Vedas： 開発オフィスは1か所にありますか、またはいくつかのチームは地理的に分散していますか？



AR：サーバー開発の大部分はモスクワで行われていますが、サーバー開発の一部（一部）はロンドンにあり、モスクワではモバイル開発はほとんどありません。すべてロンドンでのモバイル開発です。 これが分離です。



ヴェーダ： もちろん、コミュニケーションに関する別の問題が発生します。 最後に、なぜORMが嫌いなのかを話しましょう。



AR：私はORMが好きではありません。理由は次のとおりです。以前ORMで病気でしたが、自分でORMをしましたが、それは素晴らしい「銀の弾丸」であるように思えました。 そして、私はこの問題に気付いた-それは単に次の理由で通常の方法では解決できない。 理由の1つ目は、データベースとオブジェクト開発の間に基本的な、いわゆるインピーダンス不整合があるということです。 そして、データベースでうまく動作しない何かをするなら、すべての「ジャム」が最も可能性が高いという理由だけで、オブジェクト指向ではないか、あまり美しくない何かをするよりも悪いですデータベースに外注します-これはプロジェクトにとってより危険です。 したがって、データベースは可能な限り効率的に使用する必要があります。 そして、SQLで「話す」必要があります。 SQL言語で彼女と話すには、このSQLに影響を与えることができる必要があります。 そして、ORMのほとんどは、一般的にすべてがあなたのために行われるように書かれています。



このSQLに影響を与え始めると、特別なインターフェースが提供されます。 たとえば、一部のHibernateでは-はい、このようなクールなJavaでHibernateが使用されます-特別な言語（私の意見ではOQL、Object Query Languageと呼ばれます）が提供され、実際には同じSQLで記述します ' e、いくつかの結合の代わりに、おそらく、オブジェクトからこのオブジェクトに含まれるオブジェクトへのポイントを介したアドレス指定などを使用します。 つまり、何らかの結合が追加されますが、いずれにせよ、すでに何かを書き始めます。つまり、このOQLコードとORM自体が行うコードで構成される、ある種の「混乱」がすでにあるということです。 そして、あなたが完全に贅沢な何かをする必要がある場合、いずれにせよSQLの記述を開始します。したがって、プロジェクトが非常に大きく、そこでORMを使用すると、時間の経過とともにそこに何かが表示されます。このOQLで書いたものと、SQLを別の場所で自動的に行います。 「わかりました、わかりました。インピーダンスミスマッチがあります。私は彼から何もしません。 データベースを適切に設計する必要があります。SQLでデータベースとやり取りし、すべてをマッピングし、インターフェイスを作成してから、すべてを作成します。 真ん中のどこかに何らかのマッピングがありますので、少し時間をかけます。」



質問は、実際には心理学に限られています。この層を書くことに時間を費やすことは、大まかに言えば、自分を尊重しないことを意味するようです。 そして、マシンによって何かが自動的に行われる場合-なぜそれを行うのですか？ 実際、これはそうではありません。 大規模なプロジェクトでこのレイヤーを作成するのにそれほど時間はかかりませんが、すぐにこのレイヤーを開くと、データベースと通信し、データをどこかに返します。その後、個別にオブジェクトになります...はい、このレイヤーではデータベースと通信できます私が必要とする言語では、何かを「調整」するために、変更するのは簡単です。まあ、標準のORMよりもコードが少し多くなっています。 さらに、ORMが主に使用されている場所を見ると、ORMはインターフェイスをすばやく作成できる小さなプロジェクトです。編集はわかりませんが、いくつかの単純なエンティティです。 ORMを使用して、少なくとも分析で機能する何かを作成してみてください。 つまり、一定量のデータがあり、分析クエリを実行する必要があります...



Vedas： ええ、はい、難しいです、難しいです。



ヴェーダ： ここにあります。 そして、ここでは、Mongo用のあらゆる種類の新しいODMを探しています。 現在、Doctrine'uのサポートには、あらゆる種類のMandangoがあります。 同僚は、それを使用するほとんどの「小規模」プロジェクトではなく、経験があるとしましょう。 しかし、ここでは、たとえば、いくつかのタスクを自動化するのに役立ついくつかのレイヤーのみに書き込み、不要な同一のリクエストを「コピーアンドペースト」しません。 ただし、このレベルのすべてがプロジェクトで現在行われているため、使用しません。 ポッドキャストの最後に行き、別の非常に興味深いオリジナルのトピックについて話すことを提案します-これは、プロジェクトを開発しているときに、いくつかのコンポーネントを分離しようとしていますが、これに加えて、より多くのタスクを実行できることを理解しています非同期的に。 そして、ここでキューのような言葉が出てきます-これらはあらゆる種類の非同期タスク、非同期ジョブです。 どのように彼らと仕事をしますか、何に来て、何を使用していますか？



AR：ここには小さな問題が1つあります-セミナーでもこれについて多くのことを話します-私たちは、人々が時代遅れだと思う多くの技術を使用しています。 少なくとも家では、頭の中に注意深く入れて、その理由を教えてください。 実際、キューについては、データベースに対してだけ多くのことを行います。 ある意味、非常に予想外の決定は、どうやら-データベースを介して大量のリアルタイムイベントを "ポンプ"することができます。 データベースを介して、データベース内の他のトランザクションによって何らかの形で生成されたイベントをダウンロードします。 もっとお話しします



自分がユーザーであり、データベース内のノードに住んでいて、写真を記入するか何かを書いて、たとえばメッセージのアドレスをフラッシュすることを想像してください。 写真をアップロードする場合は、モデレートする必要があります。 メッセージでアドレスが点滅した場合、おそらくあなたがスパマーであるかどうかを再確認し、異なるシステムから情報を収集し、このリンクが頻繁に言及されている場合など、何らかの評価を構築したいと思います。 そのようなもの、はい、どのように分析するのですか？ おそらくあなたは登録したばかりで、私にはわかりませんが、何らかのトリガーが機能しました-ダブルチェック。 一般的に、何らかの遅延イベントを実行する必要があります。 これらすべて、これらすべての非同期的なものは、「生きている」データベース内のトランザクションによって生成されました。 したがって、キューを処理するある種のサードパーティサーバーがあると想像してください。 操作の2フェーズコミットと同期の問題があります。 したがって、問題が何であるかは明らかです。 2フェーズコミットは基本的に神話であり、どういうわけか一貫性のないデータを取得できます。 つまり、データベース内のすべてが正常であっても、どのような理由でイベントが失われるのか、イベントがないことになります。 またはデータベースでは、すべてが不良です。つまり、トランザクションは実行されず、どのような理由でコミットされませんでしたが、イベントが発生したようです。



ヴェーダ： うん。



AR：ある時点で、このような問題をまったく解決しないことにしました。 データベースによって生成されたイベントがまだあるので、同じトランザクションでこのイベントを生成できる同じデータベース上にイベントを作成します。 また、別のシステムがあり、このイベントを集中的に収集するか、分散型で処理します。 このスキームについては、セミナーで詳しく説明します。



その考えは、そのようなイベントの総数はそれほど多くないということです。 サーバーごとにいくつのトランザクションがありますか？ 1秒間に数百個あるとします-同じトランザクションで、このイベントについてかなりコンパクトな記録を作成しているとします。 会話は、クリックなどに関連する数十億のイベントを送り出しているという事実に関するものではありません。 , , .



, ( , , , , , ). - , Facebook – Scribe, -, , . - , - . , , Scribe.



- , -, RabbitMQ, 0MQ. - , , , , , , Scribe. , , , , Pinba — , UDP- application- «» , . , - .



.: , , MySQL, , MySQL? — , ?



..: , .



.: , , , , .



..: , - , .



.: , . … … , , , , , . ? , - . , - .



..: , , . , , , , . - , . - - — , . — , . . - , , .



, UDP, - ( UDP ) - , . , , , . - , , . , , , , -, , , . .



.: , . - ?



..: .



.: , , , , , . , , - , , , real-time, , , - .



..: Badoo «». , «» , Badoo .



.: . , , ?



..: , , . , , , . . . . research, , , , , , - «» .



. , ? , , « ». - , « ». application-, web. «» «», , . .



.: , , , . , «», - . , , PHP, , , , , , «» , , «». , Facebook HipHop' HipHopVM . , ? - , ?



..: : , , , , , . , - , . , , PHP, : «, «» Ruby, Ruby», : « , , , , Ruby», , , -. , , , , .



, - , , . , -, , , , . - Python', , , « , , ». . , , , . - . , ( , ), , , «». , - . , , , . .



.: . , , . .



..: --. , .



.: , : , . , : , , , , - ?



..: , , . . : , «» . , . , . , , , .



, , - Erlang' — . — production-. Badoo , , , . , , . , , , : « , , , , -». , , , , . - , - , , , .



.: , , , - , , , - , . .



..: , , . , , , . , , , , , - , . , , - , , , .



.: , , . , , , , , «» . - . « » -, -. , , , ? - .



..: , , , . — , — . ― highload, . , , «» , UNIX-, , — , , . « » — , , .



- , … , , . . - , «», , - , . -, -, . , - IT-, . - , , — , community - . - HighLoad PHP-, PHPClub, SQADays , -, , community , — .



, , HighLoad, . - highload-, . , , … CodeFest, - , DevConf - highload, - «», , highload, , .



, , - , — , , , , — , , , (, ) . , , : Velocity, MySQL Conf – MySQL , MySQL . , MySQL- Percona . PostgreSQL, , «» , , .



.: .



..: . , ?



.: , , -?



..: , , , . : — . , ?



.: , .



..: , , . , ?



.: , .



.: . , , , , , , ― . , , , , . .



..: : , , , , . , , : « , , , , . , “”?» . , , : . , , . , , . , , — « ». , … , . . , , . , — .



, , , , , , , , . , , . , PHP/MySQL-, PHP , - UNIX MySQL, -. highload, , , . — php.feedme.ru , ― .



.: . , , , , , , , . , - . , , , , git, … , , . .



..: , . , — , , - .



.: , . , , .



.: : , - … . -, . - , — . , , . , , — Badoo. itcompot.ru, - podfm.ru, iTunes. . !



..: , .