ダンプ会議| grep 'backend \ | devops'

先週、エカテリンブルクで開催されたDUMP ITカンファレンス（https://dump-ekb.ru/）に行きましたが、BackendとDevopsのセクションで議論されたことと、地域のITカンファレンスが注目に値するかどうかについて話したいと思います。





サーバーレスについて邪悪な火星人のニコライ・スヴェルチコフ

何があったのですか？

合計で、会議には8つのセクションがありました：バックエンド、フロントエンド、モバイル、テストとQA、Devops、デザイン、科学、管理。



ちなみに、最大の部屋は科学と管理です））各〜350人。 バックエンドとフロントエンドはそれほど多くありません。 デヴォプスホールは最小でしたが、最もアクティブでした。



DevopsおよびBackendセクションのレポートを聞いて、スピーカーと少し話しました。 私は、カバーされているトピックについて話し、会議でこれらのセクションの概要を説明したいと思います。



SKB-Kontur、DataArt、Evil Martians、Yekaterinburg Flag web studio、Miro（Miro（RealTimeBoard））の代表がDevopsおよびBackendセクションで講演しました。 CI / CD、キューサービス、ロギング、サーバーレストピック、およびGoでのPostgreSQLに関連するトピックは十分に開示されています。



Avito、Tinkoff、Yandex、Jetstyle、Megafon、Ak Bars Bankによるレポートもありましたが、物理的にそれらを訪問する時間はありませんでした（レポートのビデオ録画とスライドはまだ利用できません。2週間以内にdump-ekb.ruに投稿することを約束します）。

Devopsセクション

驚いたこと-セクションは約50席の最小ホールで開催されました。 人々は通路にさえ立っていました:)私が聞いたことのある報告についてお話しします。

ペタバイト単位の弾性重量

このセクションは、Vladimir Lil（SKB-Kontur）によるKonturのElasticsearchに関するレポートから始まりました。 十分に大きなElasticがロードされています（冗長性を考慮して、最大800 TBのデータ、最大1.3ペタバイト）。 回路のすべてのサービスのElasticsearchは単一で、2つのクラスター（7および9サーバー）で構成されているため、回路内に特別なElasticsearchエンジニア（実際にはVladimir自身）がいます。



ウラジミールはまた、Elasticsearchの利点と彼がもたらす問題についての考えを共有しました。



メリット：

• すべてのログを1か所で、簡単にアクセスできます
• 1年間のログストレージと簡単な分析
• ログ付きの高速
• 「すぐに使える」クールなデータ視覚化

問題は次のとおりです。

• メッセージブローカー-必須（KafkaがKonturの役割を果たす）
• Elasticsearch Curatorを使用した機能（Curatorの通常のジョブから定期的に高負荷を作成）
• ビルトイン認証なし（独立した、かなりの高額の場合、またはさまざまな程度の本番準備のオープンソースプラグインとしてのみ）

ElasticsearchのOpen Distroについては、レビューは肯定的でした:)同じ承認の問題がそこで解決されました。

サーバーレス開発機能

サーバーレスに関するDataArtのRuslan Serkinのさらなる報告。



Ruslanは、一般にサーバーレスアプローチの開発とその機能について説明しました。



サーバーレスは、開発者がインフラストラクチャとは無関係の開発アプローチです。 例として、AWS Lambda Serverless、Kubeless.io（Kubernetes内のサーバーレス）、Google Cloud Functionsがあります。



理想的なサーバーレスアプリケーションは、専用のゲートウェイAPIを介してサーバーレスプロバイダーにリクエストを送信する機能にすぎません。 理想的なマイクロサービスであると同時に、同じAWS Lambdaでは多数の最新のプログラミング言語がサポートされています。 クラウドプロバイダーの場合、インフラストラクチャのサポートとデプロイのコストはゼロになり、小さなアプリケーションのサポートも非常に安価になります（AWS Lambda-$ 0.2 / 100万の単純なリクエスト）。



このようなシステムのスケーラビリティはほぼ完璧です。クラウドプロバイダーが独自にこれを処理し、KubelessはKubernetesクラスター内で自動的にスケーリングされます。



欠点があります：

• 大規模なアプリケーションの開発が難しくなっています
• アプリケーションのプロファイリングに問題があります（ログのみが利用可能ですが、通常の意味ではプロファイリングはできません）
• バージョン管理なし

率直に言って、数年前にServerlessについて聞いたことがありますが、ここ数年、それを正しく使用する方法は明確ではありませんでした。 ルスランの報告の後、理解が現れ、バックエンドセクションからのニコライスヴェルチコフ（邪悪な火星人）の報告の後、彼は統合しました。 私が会議に行ったのも不思議ではありません:)

貧しい人々のためのCI、またはウェブスタジオのために独自のCIを書く価値がある

エカテリンブルクのフラッグウェブスタジオの責任者であるミハイルラジオノフは、自作のCI / CDについて話しました。



彼のスタジオは、「手動CI / CD」（SSH経由でサーバーにログオンし、git pullを実行し、1日100回繰り返す）からJenkinsと、コードを制御してPullkinsと呼ばれるリリースを実行できる自己記述ツールに移行しました。



ジェンキンスが機能しなかったのはなぜですか？ デフォルトでは十分な柔軟性が得られず、カスタマイズするには複雑すぎました。



「フラグ」はLaravel（PHPフレームワーク）で開発されています。 CI / CDサーバーを開発する際、マイケルと彼の同僚は、TelescopeとEnvoyと呼ばれる組み込みのLaravelメカニズムを使用しました。 その結果、着信Webhookリクエストを処理するPHPサーバー（注意を払う）になり、フロントエンド、バックエンドを組み立て、異なるサーバーにデプロイし、Slackに報告することができます。



さらに、ブルー/グリーンデプロイを実行し、dev-stage-prod環境で設定を統一するために、Dockerに切り替えました。 プラスは同じままで、環境の均質化とシームレスな展開の可能性が追加され、Dockerを学習して正しく動作する必要性が追加されました。



プロジェクトはGithubにあります

サーバーリリースのロールバック数を99％削減した方法

Devopsセクションの最新レポートは、Miro.com（以前のRealTimeBoard）のリードdevopsエンジニアであるVictor Eremchenkoによるものでした。



Miroチームのコア製品であるRealTimeBoardは、モノリシックJavaアプリケーションに基づいています。 ダウンタイムなしでそれを収集、テスト、展開するのは難しい作業です。 同時に、ロールバックする必要がないように、このようなバージョンのコードをデプロイすることが重要です（重いモノリス）。



これを可能にするシステムを構築する過程で、ミロは、アーキテクチャ、使用ツール（Atlassian Bamboo、Ansibleなど）の作業、チームの構築（現在、専用のDevopsコマンド+多くの個別のスクラムコマンドを含む）異なるプロファイルの開発者から）。



道は困難で厄介であることが判明し、ビクターは彼の決定、蓄積された痛み、そしてそこで終わらなかった楽観主義を共有しました。





質問の本を獲得しました

バックエンドセクション

Nikolai Sverchkov（邪悪な火星人）、Serverlessについて、およびGrigory Koshelev（Kontur company）からテレメトリに関する2つのレポートがありました。

単なる人間にはサーバーレス

Ruslan SirkinがServerlessについて語った場合、NikolaiはServerlessを使用した簡単なアプリケーションを紹介し、AWS Lambdaのアプリケーションのコストと速度に影響する詳細について話しました。



おもしろい詳細：最小の有料アイテムは128 Mbのメモリと100 ms CPUです。費用は0.000000208ドルです。 さらに、1か月あたり100万件のこのようなリクエストは無料です。



Nikolaiの一部の関数は、100ミリ秒（メインアプリケーションはRubyで記述されています）の制限をしばしば超えていたため、Goでそれらを書き換えると、大幅に節約できました。

Vostok Hercules-テレメトリーを再び素晴らしいものにしましょう！

Grigory Koshelev（Kontur company）のテレメトリーに関するバックエンドセクションの最新レポート。 テレメトリは、ログ、メトリック、アプリケーショントレースです。



Contourは、Githubに投稿された独自の書面ツールを使用します。 レポートツールHerculesのgithub.com/vostok/herculesは 、テレメトリデータの配信に使用されます。



DevopsセクションのVladimir Lilaのレポートでは、Elasticsearchでのログの保存と処理について検討しましたが、数千のデバイスとアプリケーションからログを配信するタスクが残っており、Vostok Herculesなどのツールがそれらを解決します。



回路は多くの人に知られている方法で行きました-RabbitMQからApache Kafkaまでですが、それほど簡単ではありません））彼らはZookeeper、Cassandra、Graphiteをスキームに追加しなければなりませんでした。 このレポートの情報（プロファイルではありません）を完全には公開しません。興味がある場合は、会議のWebサイトでスライドとビデオを待つことができます。

他の会議と比較してどうですか？

モスクワやサンクトペテルブルクでの会議と比較することはできません。ウラルの他のイベントやサマラでの404フェストと比較することはできます。



DUMPは8つのセクションで開催され、これはウラル会議の記録です。 科学と管理の非常に大きなセクション、これも珍しいです。 エカテリンブルクの聴衆は非常に構造化されています-市にはYandex、Kontur、Tinkoffという大規模な開発部門があり、これはレポートに重要な意味を残しています。



もう1つの興味深い点は、多くの企業が会議ですぐに3〜4人のスピーカーを持っていることです（これはKontur、Evil Martians、Tinkoffのケースです）。 それらの多くはスポンサーでしたが、レポートは他のレポートとほぼ同等であり、広告レポートではありません。



行くかしないか？ あなたがウラルに、またはその近くに住んでいるなら、あなたにはチャンスと興味深いトピックがあります-もちろんです。 長い旅行を考えている場合は、過去数年のレポートとビデオレポートのトピックwww.youtube.com/user/videoitpeople/videosを見て判断します。

原則として、地域での会議のもう1つのプラスは、報告後の講演者とのコミュニケーションが容易であり、そのようなコミュニケーションの申請者は少ない。







ダンプとエカテリンブルグに感謝します！ ）