テクノロジーレーダー：Lamodaの手に渡された言語、ツール、プラットフォームのリスト

前回の記事へのコメントでは、使用しているテクノロジーについて多くの質問がありました。 この記事では、I-LamodaのR＆D開発者であるIgor Mosyaginについて説明します。 カットの下には、私たちの手が通った言語、ツール、プラットフォーム、テクノロジーの完全なリストがあります。 フロントエンド、バックエンド、データベース、メッセージブローカー、キャッシュ、監視、開発、およびバランシングは、現在使用しているものと放棄したものの詳細な説明です。







同僚と私は、コメントまたはHighLoad ++ 2018の会社のブースで議論する準備ができています。



レーダーの詳細はこちらをご覧ください。



すでに述べたように、Lamodaには膨大な数の異なるテクノロジーとツールが関与しています。 これは偶然ではありません。 そうしないと、負荷に対処できません。 大規模な自動倉庫があります。 コールセンターには500人の従業員が対応しており、構築したプロセスにより、注文後5分以内にお客様に電話をかけることができます。 配送サービスは15分間隔で動作します。 しかし、独自のシステムに加えて、他のオンラインストアとB2Bを統合しています。 解決すべきさまざまなタスクとeコマースなどのダイナミックなビジネスの要件により、最適な技術で各問題を解決したいため、技術スタックの成長は避けられません。 多様性は避けられません。 以下に、スタックの主な代表者について説明します。 しかし、この多様性に「迷子にならない」ようにするメカニズムから始めましょう。

アーキテクチャの基本

マイクロサービスアーキテクチャに積極的に移行しています。 ほとんどのシステムはすでにこのイデオロギーに従って構築されています-2年前、私たちは問題とその解決策で移行段階を経ました。 しかし、このプロセスの詳細については説明しません。AndreiYevsyukovのレポート「 e-Comプラットフォームの例でのマイクロサービスの機能 」では、これについて詳しく説明しています。



技術の多様性を悪化させないために、「実績のある慣行の独裁」を導入しました。これにより、新しいチップの作成者は、社内ですでに使用されている技術とツールを使用することが推奨されます。 ほとんどのサービスはAPIを介して相互に通信します（JSONRPC標準の2番目のバージョンの修正を使用します）が、ビジネスロジックで許可されている場合は、相互作用にデータバスも使用します。



他の技術の使用は禁止されていません。 ただし、新しいアイデアは、主要分野のリーダーを含む特別に作成された建築委員会でテストする必要があります。



次の提案を考慮して、委員会は実験に青信号を出すか、既存のスタックから何らかの代替を提供します。 ところで、この決定はビジネスの現在の状況に大きく依存します。 たとえば、ブラックフライデーセールの前夜にチームが来て、委員会がこれまで聞いたことのない技術を生産に導入すると発表した場合、ほとんどの場合拒否されます。 一方、新しい技術やツールがそれほど重要でないビジネス環境で導入された場合、同じ実験に青信号を与えることができ、実装は本番以外のテストから始まります。



アーキテクチャ委員会は、テクノロジーレーダーの保守も担当し、2〜3か月ごとに必要な変更を行います。 このリソースの目的の1つは、会社がすでに持っている専門知識の種類をチームに提供することです。



しかし、最も興味深いものに移りましょう-レーダーのセクターの分析です。



テクノロジー採用のカテゴリについて、少し非標準的な解釈を使用していることに注意してください。

• ADOPT-実装され、積極的に使用されている技術とツール。
  
  
• トライアル-すでにテスト段階を通過し、本番環境での作業を準備している（または既にそこで動作している）技術とツール。
  
  
• ASSESS-現在評価中で、まだ生産に影響を与えていないトライアルツール。 参加すると、テストプロジェクトのみが実装されます。
  
  
• 保留-このカテゴリには専門知識がありますが、言及されたツールは既存のシステムのサポートでのみ使用されます-それらで新しいプロジェクトは開始されません。
  
  

開発

PHP-Python-Go

最初に説明したい言語はPHPです。 今日では、ストアのバックエンドタスクの一部のみを解決し、最初はバックエンド全体がPHPで機能していました。 フロントエンドでビジネスが拡大するにつれて、速度と生産性の欠如が顕著になりました。当時はPHP 5を使用していたため、Pythonを置き換えました（最初の2.x、次に3.x）。 ただし、PHPでは豊富なビジネスモデルを作成できるため、この言語はさまざまな運用プロセスの自動化、特にサードパーティのオンラインストアや配信サービスとの統合、および製品カードを作成するコンテンツスタジオの自動化のためにバックオフィスに残っています。 現在、私たちはすでにPHP 7を使用しています。PHPでは、内部使用のための多くのライブラリを作成しました。インフラストラクチャの統合とラッパー、サービス間の統合レイヤー、さまざまな再利用ヘルパーです。 ライブラリの最初のバッチはすでにgithub.comのオープンソースに取り込まれており、残りの最も「成熟した」ライブラリはまもなく到着します。 最初の1つはステートマシンでした。これは、ほぼすべてのアプリケーションに存在し、すべてを送信する前に順序を確認します。



時間の経過とともに、ストアのバックエンド用のPythonも不十分になりました。 今、私たちはより生産的で軽量なGoを好みます。



おそらくGoへの移行は、多くのハードウェアと人的資源を節約したため、重要な変更でした-効率が大幅に向上しました。 最初のGoプロジェクトを最初に作成したのはRnDであり、Pythonの技術的な制限に対処したくありませんでした。 その後、モバイル開発チームには、彼に精通し、本番に昇進させた人がいました。 彼らの提出から、テストを実施し、結果に満足しました。 別のケースでは、プロジェクトの一部がPythonからGoに書き直された後、クラスターノードの読み込みが大幅に低下しました。 たとえば、バスケットの割引計算エンジンをPythonからGoに書き換えると、同じハードウェア容量で8倍のリクエストを処理でき、平均API応答時間が25倍短縮されました。 つまり 開発者にとってそれほど便利ではない場合でも、Pythonよりも効果的であることがわかりました（正しく記述した場合）。



モバイル開発は多数の内部APIと対話する必要があるため、APIサービスの説明（Swagger仕様に準拠）に従って、クライアントがGoで生成できるコードジェネレーターが作成されました。 そのため、Goは既存のサービスとツール、特に負荷の「ボトルネック」を作成したものに徐々に対応し始めました。 モバイルバックエンド開発者の作業を楽にするだけでなく、APIの開発方法、メソッドの命名方法、パラメータの受け渡し方法などに関する内部規則を簡略化しました。 この標準化により、すべてのチームにとって新しいサービスの開発と実装が容易になりました。



現在、Goは、ほぼすべての場所（ユーザーとのすべてのリアルタイムインタラクション）で、サイトのバックエンドとモバイルアプリケーション、およびそれらが関連付けられているサービスで既に使用されています。 また、データウェアハウスとやり取りするタスクなど、迅速な処理と応答の必要がない場合、Pythonはデータ処理タスクと同等ではないため（ここではGo浸透がありますが）Pythonが残ります。



レーダーでわかるように、資産にはJavaがあります。 倉庫管理システム（WMS）で使用され、注文の迅速な収集に役立ちます。 これまでのところ、かなり古いスタックと古いアーキテクチャモデルがあります。Wildfly10および8 Java Hotspotで回転するモノリス、そしてNetbeans Application Platformにはリモーティングとリッチクライアントもあります（この機能はWebに転送されます）。 ここで、私たちの武器庫には、会社用の標準的なストレージと、独自の監視さえあります。 残念ながら、倉庫の運用とその上での重要なプロセス（セクションが過負荷になった場合など）を視覚化できるツールは見つからず、そのようなツールを自分で作成しました。



Pythonを機械学習のメイン言語として使用します。推奨システムを構築し、カタログをランク付けし、検索クエリのタイプミスを修正し、Hadoopクラスター（PySpark）でSparkと連携して他の問題も解決します。 Pythonは、内部メトリックの計算とABテストの自動化に役立ちます。

フロントエンドとモバイル開発

デスクトップオンラインストアのフロントエンドとモバイルサイトは、JavaScriptで記述されています。 現在、フロントエンドは徐々にES6仕様に移行し、それに合わせて新しいプロジェクトを作成しています。 メインフレームワークとしてvue.jsを使用しますが、ツールセクションで詳細を説明します。



モバイルプラットフォーム向けのアプリケーション開発は会社内の独立したユニットであり、バックエンドグループ、独自のテクノロジースタックとツールを備えたAndroidおよびiOSアプリケーションが含まれます。これらはプラットフォームの違いにより、ユニット全体で統合することは常に不可能です。



2年間、Kotlinですべての新しいAndroid開発が進行中であり、より簡潔で理解しやすいコードを書くことができます。 最も頻繁に使用される機能の中で、開発者は、スマートキャスト、シールドクラス、拡張機能、タイプセーフビルダー（DSL）、およびstdlib機能を呼び出します。



iOSの開発はSwiftで進行中であり、Objective-Cに取って代わりました。

特別な言語

Lamodaのタスクの範囲は、それぞれ異なるプラットフォーム用の「ショーケース」の開発に限定されず、システム内でのみ使用され、そこで動作するがインフラストラクチャの他の部分には実装されない言語がいくつかあります。

• R-ビジネスインテリジェンス（BI）のフレームワーク内でデータ処理およびレポートスクリプトに使用されます。 本番環境ではなく、新しいタスクには使用されなくなりましたが、まだ多くのスクリプトがあります。 Rの問題を解決して、この言語は負荷の高いアプリケーション用ではないことに気付きました。 新しいタスクでは、PythonおよびRと互換性のない他のテクノロジーを使用します。
  
  
• Scala-ビリニュスの開発オフィスがコールセンターオートメーションシステムを開発するために使用します。 当初、このシステムはPHPで記述されていましたが、マイクロサービスアーキテクチャへの移行中に、Scalaで多くのコンポーネントが書き直されました。 また、データエンジニアリングチームはSparkジョブを作成します。
  
  
• 私たちが見ているTypeScript。 配信は既にその助けを借りて実装されており、将来的にはフロントエンドでTypeScript + vue.jsを使用します。
  
  
• Luaは（nginx APIを介して）nginxを構成するために使用されますが、他のプロジェクトではそうではありません。
  
  
• 私たちはファッション会社であり、関数型プログラミングのファッションを追っています。 たとえば、倉庫の1つにある仕分けデバイスエミュレーターはHaskellで記述されています。
  
  

データ管理

DBMS、データ検索および分析

多くの例のように、PostgreSQLで実装した最も多様なデータベースは、ディレクトリを保存するなど、リレーショナルデータベースが必要な場所で使用されます。 この技術の専門家を見つけるのは非常に簡単で、さらに多くの異なるサービスが利用できます。



もちろん、PostgreSQLはITインフラストラクチャで見つけることができる唯一のDBMSではありません。 たとえば、一部の古いシステムではMySQLが使用されますが、WMSには少しMongoDBがあります。 ただし、高負荷とスケーリング（残りのテクノロジスタックを考慮する）の場合、新しいプロジェクトには使用しません。 一般的に、PostgreSQLがすべてです。



Aerospikeはレーダーにも表示されます。 かなり積極的に使用していましたが、製品のライセンス契約が変更されたため、「私たちの」バージョンは少しカットされました。 しかし、今、私たちは再び彼を見ました。 おそらく、楽器に対する私たちの態度を再考し、それをより積極的に使用するでしょう。 現在、Aerospikeは、ページ閲覧イベントの集約サービス、バスケットでのユーザーの作業、および社会的安全サービスで使用されています（「今週、5人がこの製品をお気に入りに追加しました」）。 今、私たちはそれについてさらに厳しい勧告を行っています。



Apache Solrは、実稼働データの検索に使用されます。 並行して、ElasticSearchも使用します。 どちらのソリューションもオープンソースですが、以前に検索を導入したばかりの場合、Apache Solrはすでに3番目または4番目のバージョンを持ち、積極的に開発されていました.ElasticSearchには最初の安定リリースさえありませんでした-実稼働環境で使用するには早すぎました 役割が変更されました。ElasticSearchのソリューションを見つけるのがはるかに簡単になり、それを準備するのが得意な新しい人たちがやって来ました。 ただし、製品版にはSolrがあり、少なくともブラックフライデー2018までは別のソリューションに移行しません。





Google Trendsによる、Apache Solr（青）とElasticSearch（赤）の検索クエリのダイナミクスの比較



データ分析はいくつかのシステムで行われます。特に、Apache Hadoopを積極的に使用しています。 並行して、Verticaはデータマート（合計ボリューム約4 TB）の格納に使用されます。 これらのショーケースでは、財務、運用、および商業のレポートが作成されます。 ETLタスクの多くで、以前はLuigiを使用していましたが、現在はApache Airflowに移行しています。 また、Pentahoをリレーショナルストレージに使用しています。このストレージには、約1,000の通常のETLタスクがあります。



他のシステムの分析とデータ準備の一部は、Sparkで実行されます。 一部の場所では、これは分析ツールであるだけでなく、ラムダアーキテクチャの一部でもあります。



ITインフラストラクチャにおける重要な役割は、ERPシステム（Microsoft Dynamics AXおよび1C）によって果たされます。 DBMSとして、Microsoft SQL Serverが使用されます。 また、レポートの場合、分析サービスやレポートサービスなどのコンポーネント。

キャッシング

キャッシングにはRedisを使用します。 以前は、このタスクはMemCachedによって実行されていました。ディスクへの定期的なダンプではキー値ストレージとして使用できなかったため、破棄しました。

メッセージキュー

イベントブローカーとして、Apache KafkaとRabbitMQの2つのツールを同時に使用します。

Apache Kafkaは、メッセージングが必要なさまざまなシステムで数万のメッセージを処理できるツールです。 ユーザーイベントやログ記録など、システムの負荷の高い部分に個別のKafkaクラスターがデプロイされます（ Highload ++ 2017でのログ記録については良い報告がありました ）。 Kafkaを使用すると、鉄の使用を最小限に抑えながら、毎秒60万件のバルクメッセージに対処できます。



内部システムでは、保留中のアクションにRabbitMQを使用します。

プラットフォームとインフラストラクチャ

継続的デリバリー

展開には、HashicorpのNomad + Consulバンドルに代わるKubernetesが使用されます。 以前のスタックは、ハードウェアのアップグレードでは非常にうまく機能しませんでした。 Opsチームがノードが回転し、コンテナが格納されている物理サーバーを変更すると、定期的に壊れてクラッシュし、上昇を望みませんでした。 当時は安定したバージョンはありませんでした。 さらに、その時点では最新の0.5.6は使用していませんでしたが、これはまだ更新する必要がありました。 最後のベータ版にアップグレードするには、いくつかの作業が必要でした。 したがって、それを放棄して、より人気のあるKubernetesに切り替えることが決定されました。



現在、NomadとConsulはQAで使用されていますが、将来的にはKubernetesに移行する必要があります。



継続的デリバリの実装には、2年前に移行したDockerコンテナが使用されます。 負荷の高いサービス（バスケット、カタログ、Webサイト、注文管理システム）の場合、サービスのいくつかの追加コンテナをすばやくピックアップできることが重要であるため、どこにでもコンテナがあります。 また、Dockerは最も一般的なコンテナー化方法の1つであるため、レーダー上でのその存在は非常に論理的です。



ビルドサーバーおよび継続的統合としてBambooを展開し、JiraおよびBitbucket（標準スタック）と組み合わせて使用​​します。



ジェンキンスはレーダーでも言及されています。 私たちは彼を試しましたが、彼を新しいプロジェクトに引きずり込みません。 これは優れたツールですが、すでにBambooがあるため、スタックに収まりません。



Bambooドッカーコンテナーを使用して収集されたものは、Artifactoryの制御下でリポジトリに保存されます。

プロセス管理とバランシング

NGINX Plusを使用しますが、そのメトリックはタスクに十分ではないため、バランスの観点からは使用しません。 たとえば、どのリクエストが最も頻繁にルーティングされるか、ハングするかを言うことはできません。 したがって、HAProxyを使用して負荷を分散します。 プロセッサとメモリをロードせずに、nginxと連携して迅速かつ効率的に動作できます。 さらに、必要なメトリックはすぐに使用できます。HAproxyは、ノードごと、現在の接続数ごと、帯域幅のビジー状態などの統計を表示できます。



UWSGIは、同期Pythonアプリケーションを実行するために使用されます。 PHP-fpmは、すべてのPHPサービスでプロセスマネージャーとして使用されました。

モニタリング

Prometheusを使用して、アプリケーションとホストマシン（仮想マシン）からメトリックを収集し、アプリケーションの時系列データベースを収集します。 ログを収集します。このために、ELKとPrometheusの両方に設定されたIcingaを使用するアラートシステムとして、ELKスタックを使用します。 彼女はアラートをメールとSMSに送信します。 6911サポートサービスも同じアラートを受信し、勤務しているエンジニアを引き付けることを決定します。



プロメテウスはほぼすべての場所に関与しており、このために、わずか数行のコードでメトリックをプロジェクトに接続できるようにするすべての言語のライブラリがあります。 たとえば、PHPのライブラリはオープンソースで利用可能です ）。



監視結果を美しいダッシュボードの形で視覚的に表示するには、Grafanaを使用します。 基本的に、Prometheusからすべてのダッシュボードを収集しますが、他のシステムもソースとして機能する場合があります。



キャッチと自動エラー集約のために、Jiraと統合されているSentryを使用します。これにより、生産上の問題ごとにタスクトラッカーを簡単に開始できます。 彼はエラーをバックトラックと追加情報でキャプチャする方法を知っているので、デビューするのが便利です。



作成されたプルリクエストのコードに関する統計は、SonarQubeを使用して収集されます。

フレームワークとツール

Lamoda ITインフラストラクチャの開発中に、ほぼ30種類の異なるツールで実験を行ったため、このカテゴリはレーダーで最も「大規模」です。 現在まで、積極的に使用されています：

• Symfony 3.x、さらに最近では、Symfony 4.x-PHPでの開発用。
  
  
• DjangoおよびPython開発用のJinjaテンプレートエンジン。 ちなみに、Ansibleでの設定にはJinjaが使用されます。
  
  
• Flask-（Djangoとともに）内部サービス用ですが、本番環境ではドラッグしません。
  
  
• Spring-Java開発;
  
  
• ブートストラップ-Web開発のさまざまな内部ツール（管理パネル、自家製のダッシュボードなど）用。
  
  
• jQuery-js開発用。
  
  
• OpenAPI（Swagger）-以下を含むすべてのAPIサービスのドキュメント用 上記のGoでのコード生成に使用されます。
  
  
• Webpack-JSのパッケージ化とCSSの最小化。
  
  
• Selenium-フロントエンドのテスト用。
  
  
• WireMock、JMeter、Allureなどもテストに使用されています。
  
  
• Ansible-構成管理用。
  
  
• Kibana-ElasticSearchで検索結果を視覚化します。
  
  

JavaScript開発については別に話をしたいと思います。 私たちは、多くの人と同様に、実験の全分野を持っています。 JavaScriptのサイトは、自己記述フレームワークを使用しています。 フロントエンドでは、ビジネスにとって重要ではないタスクのフレームワークで、Angular、ReactJS、vue.jsなどのさまざまなフレームワークで実験が行われました。 この「軍拡競争」では、もともとコンテンツスタジオの自動化システムで使用されていたvue.jsが先導的であるように思われ、現在では徐々にどこにでも登場しています。

乾燥残留物中

このすべての多様性を簡単に説明しようとすると、GO、PHP、Java、JavaScriptで記述し、PostgreSQLでデータベースを保持し、DockerおよびKubernetesにデプロイします。



もちろん、記載されている技術スタックの状態を最終と呼ぶことはできません。 私たちは絶えず開発を続けており、負荷の増大に伴い、適切なソリューションのクラスを変更する必要があり、それ自体が興味深いタスクです。 同時に、ビジネスロジックはより複雑になっているため、常に新しいツールを探す必要があります。 他のツールではなくこのツールを選んだ理由について議論したい場合は、コメントを歓迎します。