1から100までの数値の合計をすばやく計算する方法は？ 伝説によると、ドイツの偉大な数学者カール・フリードリッヒ・ガウスは、この問題を最初に解決したのはまだ少年でした。 彼は、両端からのペアごとの合計が同じであることに気付きました：1 + 100 = 101、2 + 99 = 101など、すぐに結果50x101 = 5050を得て、顕著な分析能力を実証しました。
現代の銀行で毎日発生する反復的なデータ処理タスクは、8世紀の終わりに将来の「数学の王」が管理していたタスクよりもはるかに複雑です。 ただし、それを解決するアプローチはそれ以来変わっていません。 前と同じように、結果をより速く取得してその精度を高めるには、プロセスを自動化する必要があります。
ビッグデータソリューションを実装せずに財務予測を作成し、分析レポートを作成し、傾向とリスクを分析することは、1から100までの数字の合計を数えて、順番に合計することと同じです。 今年初めにVTBのトランザクションビジネス部門で開始されたGAUSSパイロットプロジェクト（GAUSS、グローバルトランザクションビジネス分析ユニオンソース＆システム）は、銀行のさまざまなデータベースからすべての情報を収集し、それを使った作業を自動化するのに役立ちます。
21世紀のガウスとは何ですか？
現代の銀行には、すべての業務に関する膨大なデータがあり、その量は常に増加しています。 この情報は非常に価値がありますが、それにinformationれないようにするためには、正しく使用する方法を学ぶ必要があります。
GAUSSプロジェクトは、2014年から2016年にかけて銀行で利用可能なすべての情報を組み合わせ、それに便利なアクセスを実装することから始まりました。 システムで作業する従業員は、パラメーターとオプションの無制限の組み合わせにより、いつでも関心のある資料を受け取ることができます。 これは、以前のように数日ではなく、レポートの準備に数時間かかることを意味し、従業員の作業効率が向上しています。 レポートに基づいて、顧客サービスの品質を改善し、より興味深いオファーを作成するなどの決定が行われます。
さらに、すべての可能なソースからの統計情報を追加してデータベースを拡張し、プロジェクトを開発する予定です。 GAUSSは、統合された企業「データレイク」を構築するための基盤となり、その時点で重要な情報を毎回「ダイビング」することが可能になります。
ただし、GAUSSプロジェクトの範囲は、レポートだけではありません。 私たちは、その助けがあればすぐにそれが可能になることを願っています：
・さまざまなリスク（クレジット、クライアント、パートナー）を評価します。
・不正なスキームを特定します。
・対象を絞った商用オファーをモデル化する。
・Microsoft Business Intelligenceなどの分析システムと連携します。
GAUSSはどのように機能しますか？
プロジェクトに取り組んでいる間、商用ソリューションの使用を意図的に放棄しました。 GaussはHadoop / Hive / Ambari / Oozie / Spark / ORC / YARNスタック上に構築されています。データマートを構築するために、PostgreSQLリレーショナルデータベースを使用しています。 ただし、PostgreSQLの代わりに、システムの動作に影響を与えることなく他のデータベースを使用できます。
絶えず入力される膨大な量の情報とそれを分析する新しい方法の出現により、標準テンプレートを使用してビッグデータプロジェクトを解決することはできません;これは常に新しい複雑なタスクです。 したがって、すべてのソースからRAW情報をロードし、このデータを集約、処理、および強化し、最終的なOLAPデータキューブと情報表示ウィンドウを準備した後、適切に構築されたマルチステージアーキテクチャを構築しました。 データの正しい表示の問題を解決するために、ソースデータをターゲット情報にマッピングするための柔軟なメカニズム、生成された情報の品質管理システム（データガバナンス）、および集計に関する詳細情報を取得するためのメカニズム（データドリルダウン）が開発されました。 これにより、プロジェクトの実装中に作業の方向を簡単に変更し、変更に適応できます。 GAUSSシステムはアジャイル/スクラム方法論に従って開発されており、ビジネス顧客の新しい要件、受け取ったフィードバック、着信データを考慮し、同時に各チームメンバーが結果を達成することを目指します。 結局のところ、ビッグデータを操作するとき、「データレイク」のペタバイトに隠された情報をどのように使用できるかに関して、常に新しい仮説が生じます。