日付エンジニアとは、データベースへのクエリが終了する前にアナリストが眠りに落ち、科学者がデータにdrれ込んでしまう人のことです。 今こそ、他の人や自分自身に、私たちが働く理由と方法を伝える時です。
残念なことに、サンクトペテルブルクでのデータアナリストとデータエンジニアのためのほとんど唯一の専門会議は今年キャンセルされましたが、Wrike Tech Clubで私たちは長い間悲しむことなく、11月15日に上品なスピーカーとの居心地の良いチューブ会議を手配することにしました。
RAMに収まらないデータを使用していますか？ 分散コンピューティングを使用する必要がありますか？ おめでとうございます、あなたはデータエンジニアです。 IT部門の多くの人にとって、この用語は、Lean AnalyticsとArtificial Intelligenceの間の掘り出し物の1つにすぎません。 データエンジニアについては、次回のビッグデータミートアップでのちょっとした話の一部としてではなく、別の専門分野として話したいと思います。
プログラムとスピーカー：
アレクサンダーエリゼエフ、Wrike-データエンジニアリング：データからエンジニアリングへの移行方法
Clicksteamの処理方法、分析からデータエンジニアリングへの視点の変化、違反したエンジニアリング原則、およびデータエンジニアリングで違反を阻止する方法について説明します。 データソースの設計エラー（データマートを使用したETLからより複雑なスキームまで）、AirFlowを例にしたパイプライン、テクノロジの制限（ORC、Tableau、リソースの不足、Jenkinsのパイプライン）の設計例で発生した問題について説明します） パイプラインおよびデータ処理の設計に対するアプローチをどのように変更したかを学習します。
Vitaliy Khudobakhshov、JetBrains-Apache Sparkでのアプリケーションテスト
多くの場合、データ分析アプリケーションのエラーのコストは非常に高くなります。 しかし同時に、障害におけるデータの役割は、コードと比較して通常よりもはるかに高くなっています。 テストとデバッグが困難なアプリケーションのエラーを最小限に抑える方法は？ このような場合にコードとテストを記述し、数時間の高価なマシン時間を無駄にしないようにする方法は？ それは私が少し話したいことです。
Sergey Isaev、DataFabric-セマンティックテクノロジーを使用してデータを管理し、知識を保存する方法。
以下について説明します。
- データの収集、変換、管理。
- 知識のグラフ。
- 主題領域の存在論的モデリング;
- 関連データ;
- インテリジェント情報システムを構築するためのセマンティック技術の応用。
→ 登録