懐中電灯を持っている人はより頻繁につまずく

続く者より

ジャン・ポール

まえがき

この記事では、私が過去5年間行ってきたことについてお話したいと思います。 多くの情報が蓄積されているので、私はそれをシンプルでアクセス可能な形式で提示しようとしました。 システム図：

一般的なスキーム（vsd）

開始する

「 私たちはあなたを連れて行きます 」と私の将来のリーダーは言いました、「 しかし、あなたは別のオフィスを訪問する必要があります。」

息苦しい廊下に立ち、近くのプリンターがガサガサと音を立て、目の前には密室があった。 ドアの外で、誰かが電話で大声で話していました。 ここで声が静かになった、私たちはノックしました。 男はドアの外の椅子に座っていた、彼は私を見た後、頭を見て、尋ねた：

- それは合うでしょうか？

- はい、結構です。 -私の上司が答えました。

- 了解。

銀行での私のキャリアは明らかに始まりました。



私に言われた最初のタスクは、データ収集の自動化と、それに基づいた管理レポートの提供です。 Microsoft SharePoint 2010から始めました。バージョン2007は私の前に既に展開されていました。 そして、私の最初の偉業は、ユーザーを古いバージョンのSharePointから新しいバージョンに移行する試みでしたが、その間に誤ってこれらすべてのユーザーを削除しました。 この点で、レポートのポータルのサーバー管理者との知り合いは、データ回復のプロセスで行われました：神経質、悲しい、静かに。 震えている手とぬれた額で、私は削除されたものを元通りにしました、そして、彼は私が他に何も投げないように見ました。

最初のツバメ

しばらくして、Microsoft SharePointは統合されたMicrosoft Reporting Servicesと共に展開されました。 XSLT変換とcssタイプセットの後、ポータルは企業の外観を獲得しました。 そして、「リポジトリ」を作成するプロセスが始まりました。



「リポジトリ」はOracleデータベースと呼ばれ、「ウィンドウ」を構築することになっていた。 そして「店頭」とは、分析のためのデータを意味していました。 スタッフがゆっくりと拡大しているため、私は最初のレポートを単独で作成しましたが、いつものように「昨日」に作成する必要がありました。 最初は、データベース用とSharePointポータル用のサーバーすらありませんでした。 管理者パスワードを取得した標準ユーザーコンピューターを使用しました。 この同じ管理者パスワードの操作は、規律の重大な違反でした。 ですから、銀行での仕事の最初の日から、ここでの成功は規則を破ることによってのみ達成できるという考えに妥協する必要がありました。 2番目の違反は廃止されたコンピューターであり、何らかの理由でコンピューターから持ち去られることを忘れていました。 銀行の企業ネットワークで使用するように構成されていないため、私はYotaをそれに組み込み、インターネットへのアクセスポイントとして使用しました。 一般的に、手元にある手段ではなく、プログラマーの職場を構築することができました。



私が雇われた部門がプログラミングに関与しておらず、専ら経済的な仕事に従事していたことは注目に値します。 そして、彼らは私と同僚を違法に連れ去りました。 銀行では、人がどのように問題を解決するかを尋ねるのは慣習ではありません。それは上から下に行くだけで、あなたがそれを解決した場合、うまくいけば、うまく行かなければ、トラブルが発生します（実際の不法移民のように）。 したがって、プログラマーだけが管理レポートを自動化できることに気付いた私の直接的なリーダーシップは、リスクを冒して、経済学者を装って私たちを採用し始めました。



最初はリソースがなかったため、最初のデータベースはMicrosoft SQL Serverで、これはSharePointポータルとReporting Servicesでも使用されていました。 「スター」スキームに従ってデータを構築しました。私が広く使用しているレポート-マトリックスでは、行と列でグループ化されたヘルプを使用しました。 聴衆は私の報告を気に入り、数日後、私、管理者、2人の上司、2人のアナリストが銀行のメインルームに招待されました。 部屋にはアンティーク家具が置かれ、大きな男がテーブルに座っていました。 お祝いの雰囲気の中で、彼は私たちの仕事の重要性について私たちに語り、さらなる搾取へのインスピレーションを与えてくれました。

Microsoft Reporting Servicesに適さないもの。

しかし、経営陣が好んだのは、レポートで毎日働くことになっている銀行の従業員にとって完全に満足のいくものではなかった。 Microsoft Reporting Servicesを使用する際、ユーザーは次のような不便さに気付きました。

1. マトリックスレポートは、グループ化されたピボットテーブルのように見えます。 グループは、グループの各メンバーの[+]をクリックして展開できます。 Webフォームではこれは正常に機能しますが、大量のデータを使用してMicrosoft Excelにアップロードすると、すべてが非常に遅くなります。
   
   
2. 一部のレポートでは、特定の値のセットを使用して、レポートのデータベースからデータを受信したクエリが非常に長い時間実行され、その結果、待機間隔を超えたときにエラーが発生しました。 間隔を長くしようとしても問題は解決しませんでした。 サーバーからデータを返すための時間制限があります。 Internet Explorerの場合、これはReceiveTimeoutです。 変更することはできますが、クライアントのマシンでのみ可能であり、そのような機会はありませんでした。
3. クライアントのレポートのデータ量は、考えられるすべての値を超える可能性があります。 仕事の最初の週に、私はこれに出会いました。 ユーザーは、データベースから100万行をアンロードしたかったため、「突然、エラーがどこにあるのかを比較したいだけです」と言いました。 そのような量の情報をExcelにアップロードするとき、レポートはアップロードを完了できませんでした。 彼はサーバーのメモリを使い果たしていました。 サーバーは最初はかなり弱く、そのようなエラーが状況を停止させました。
4. MSレポートは、サーバー上のレポートで使用されるクエリを保存します。 しかし、ストレージが配置されているOracleデータベースに保存することを望みました。 同じ問題は、Microsoft SharePointに保存されているレポートへのアクセスのチェックに関するものでした。 このデータをソースシステムからOracleデータベースリポジトリに毎日コピーするユーティリティを作成する必要がありました。
   
   

また、銀行では、ユーザーがMicrosoft Excelで最も頻繁にデータを操作することにも注意する必要があります。 それらのほとんどは、Webフォーム上のレポートを必要としません。 レポートやプレゼンテーションを作成するとき、ユーザーは何らかの方法で数字を「再生」したいと考えています。 独自の何かを追加したり、何らかの分析を行ったり、以前のレポートと比較したりします。 会計および統計データのみが標準形式で形成されました。 しかし、そのようなレポートの少数がありました;大半はそれらとさらに働くためにユーザーにデータを提供しました。

Microsoft Reporting Servicesはできません; Analysis Servicesが役立ちます

山がモハメッドに行かない場合、

モハメッドは山に行く

ホッジナスルディンの物語

上記の問題は多くのトラブルをもたらしました。 私は彼らのソリューションを探していましたが、QlikViewのメンバーが来て、彼らの製品を提供し始めました。 人々はカラフルで、スーツでベレー帽を着、Tシャツの上にジャケットを着ていました。 一般に、彼らは販売員を節約し、自分ですべてをしたかったのです。 しかし、製品自体に感銘を受け、私たちの仕事を改善する方法について考えさせられました。 リポジトリの場合、この製品の欠点は、メモリを使用してレポートを作成したことです。 そして、私たちの場合、膨大な量のデータが想定されていたため、メモリの制限が深刻な問題になる可能性がありました。 2番目のポイントは、直接管理者が部外者ではなく、独自の個人開発者のチームを作りたいということでした。 一般的に、彼らのシックなプレゼンテーションにもかかわらず、彼らは拒否されました。 しかし、QlikViewはOLAPに似ており、Microsoft Analysis Servicesのコースを受講していました。 これにより、ストレージの上にキューブを構築し始めました。 そして、DexExpressのASPxPivotGridを使用して、Webフォームでそれらを示しました。 また、Microsoft ExcelはAnalysis Servicesのクライアントとして機能できることがわかりました。これは非常に便利であることが判明しました。 なぜなら ユーザーは必要なものを作成して分析できます。

Microsoft Analysis Servicesの問題

しかし、スプーン一杯のタールがないわけではありません。 Microsoft Analysis Servicesは管理にはあまり便利ではなく、多くの問題があります。

1. アクセスの大量配布-たとえば、ユーザーには30種類のキューブへのアクセス権が必要です。 標準的な方法でこの問題を解決する場合、各キューブへのアクセスを個別に許可する必要があります。
2. 自動パーティション-新しいパーティションを自動的に追加する定期的な方法はありません。
3. キューブの更新-キューブが多数あり、各パーティションに多数のパーティションがある場合、管理の複雑さが何度も増します。 Microsoft Integration Servicesは、単一のキューブの場合は便利ですが、キューブの数が増えると、利便性が失われます。
4. ユーザーがActive Directoryから削除されると、リモートユーザーがこのキューブにアクセスできる場合、キューブプロジェクトをサーバーに展開できなくなります。 削除されたアカウントを見つけ、キューブから削除する必要があります。
5. 変更されたプロジェクトの展開が困難。
   
   これらの問題を解決するために、Microsoftは、作業を容易にするユーティリティの開発に使用できるAPIを提供しています。 また、作成されたキューブを記述するプロジェクトは、すべての情報をxmlファイルに保存します。 これにより、MS Analysis Servicesの管理を容易にするソフトウェアの開発が大幅に促進されます。
   
   

一般的に、ビルおじさんは自分のスタイルで、完成した家を与える代わりに、ボードと釘にハンマーを渡しました。

Microsoft Analysis Servicesを使いこなす

経験は授業が高価な学校であり、

しかし、これは学ぶべき唯一の学校です。

フランクリン・B

Microsoftツールを使用して、次のユーティリティを開発し、積極的に使用しています。

1. アクセスの大量配布のユーティリティ。これにより、多くのキューブへのアクセスを、それぞれの特定のロールに同時に配布できます。 また、Active Directoryに存在しないユーザーを自動的に削除します。
2. いつ、どのキューブを更新する必要があるか、およびキューブ内で何を更新する必要があるか（どのパーティションなど）を決定し、更新を開始する自動更新ユーティリティ。 アップグレードプロセス中に発生したエラーを保存する機能があります。また、新しいキューブの追加、管理、更新の一時停止も可能です。
   
   

残念ながら、現在のワークロードにより、MS Analysis Servicesでの作業を大幅に促進できるユーティリティを開発できません。 このテーマに関する多くの考えやアイデアがありますが。



また、それらを構築し始めたときに私が犯した間違いに注意する価値があります。 それは、複雑な選択の助けを借りて事実と測定値を構築したという事実にありました。 キューブをパーティションに分割する時間になると、キューブは各パーティションに移行しました。 それは彼らの繰り返しの複製につながり、それは非常に悪いことです。 一方、一部の選択はかなり長い時間実行され、キューブ全体を新たに再構築する必要がある場合、再構築の時間が大幅に増加しました。 しばらくして、キューブを作成する前に、データベースのすべてのデータを含むテーブルを作成する必要があることがわかりました。 そして、ジョブの助けを借りて、新しいデータを毎日追加します。 これらのテーブルに基づいて、最終的にキューブを構築します。 また、エンティティに名前を付けるためのルールを開発し、その場合にデータベースに個別のスキームを作成する必要があるかどうかを決定する価値があります。

もっと欲しい

OLAPキューブはユーザーの作業を大幅に促進しましたが、すべての問題を解決しませんでした。 さまざまな理由により、Analysis Servicesに読み込めないという報告がまだありました。 特定の問題は、キューブまたはそのパーティションの更新時間が数分から数時間になる可能性があるという事実に関連していました。 この時間を利用できる場合、問題はありませんが、データを「より早く」提供する必要がある場合があり、キューブはアシスタントではありません。 このソリューションは、ユーザーとの作業の過程で見つかりました。 非常に賢明な従業員が私の隣の部署で働いていました。 彼女の高い専門的レベルを見て、Webフォームを介してデータベースへのアクセスを許可することが決定されました。 このタスクは私にはそれほど複雑ではないようでした。データベースにクエリを書き込み、csv形式のファイルとして結果を返すことができるアプリケーションを作成しました。 これは、クエリを実行してデータが返された場所をクリックすることで、テキストとボタンを入力するフィールドを持つWebフォームでした。



これにより、従業員はOLAPキューブとアップロードを使用してMS Excelで多くのテンプレートを作成しました。 彼女は、式とPower Pivotの両方を使用して後者を分析しました。 その結果、彼女はうまくやり始め、やりすぎて...やめました。 少し後に、別の従業員が同じように辞めました。 私は自分の考えを退職年齢の経験豊富な同僚と共有し、複雑な回答を受け取りました。

-Romashkovoからの列車はRomashkovoに対応する必要があります。そうでない場合、レールは立ちません。 （まあ、ある種、従業員は専門的に彼らの部門を超えました）

その結果、データベースからデータをアンロードするプログラムを作り直しました。 これで、Microsoft Excelファイル形式にアップロードできます。 作成時に、OpenXML SDKを使用しました。 システムは3つのWebフォームで構成されていました。 1つは管理に便利な方法、2つ目はユーザーが既存のレポートのリストを表示できるようにする方法、3つ目はレポートを生成する方法です。 Microsof Reporting Sevicesと比較すると、このシステムは操作中に最小限のRAMを必要としました。 彼女はSAXモデルを使用してExcelファイルを生成しました。 彼女は、要求が実行されるまでリクエストが実行されるのを待つこともできました。 これを行うには、クライアントからサーバーにテストリクエストを送信しました。 もう1つの利点は、アップロードできる情報が大幅に増えたことです。 これを行うには、Excelファイルにタブ（シート）ごとに特定の行数を形成します。 この量に達するとすぐに、次のブックマークが作成されました。 このアプリケーションは、最初は7つのロックの背後に隠されており、特にアクセスを要求したユーザーにのみアクセスが許可されていました。 しかし、次第に人気を博し、影から取り除かれました。

多くのタスクがあり、人は少ない

開発チームは徐々に拡大していました。 彼らはもう一人、5人のOracle DBプログラマーを助けてくれました。 私のアシスタントには、SharePointのデザインとボーナスシステムがすぐに読み込まれたので、その瞬間から助けてくれたのは、それをやったのは私ではないということだけでした。



データベースを操作するプログラマのタスクは、データベースにデータを入力することでした。 レポートを単独で作成しました。 並行して、私はキューバのOLAPと私が書いたすべてのプログラムを管理しました。 私もこのすべてのテストに従事していました。 また、私はすべてのリソースへのアクセスを許可するために、リクエストに応じて、すべての人に常にしなければなりませんでした。 また、センターに送信された多数のレポートを維持する必要がありました。 原則は部門で働きました-それをするのはそれを運転する人です。 その機能の一部を他の誰かに移そうとする試みは、リーダーシップの一部に関する誤解に会いました。 少なくとも報告書を捨てるには、1か月間休暇をとらなければなりませんでした。 幸運だったのは、この事件の後、頭だけがそのような期間休暇に行ったからです。 私が休んでいる間、報告する人がいなかったので、リーダーシップは怒りで私のそばにいました。 その結果、データベースプログラマーはMicrosoft Reporting Servicesを理解し、その操作方法を学びました。 休暇から戻ったとき、私は少し安心しました。 今では夕方8時にではなく、少し早く家に帰ることができました。

何を使いましたか

レポートシステムは急速に成長し、人気を集めています。 それに加えて、他の便利なアプリケーションを作成する必要がありました。 顧客の収益性、従業員のボーナス、顧客手数料の比較、保険料を評価するシステムが開発されました。 プログラムは.Net Frameworkで開発され、エラーを制御するためにElmahが使用されました。 DapperはORMシステムとして最適です。 Logfornetも使用され、クライアント側ではjQueryを使用しました。 なぜなら 開発条件は「昨日行う必要がある」という原則に従って設定され、DevExpressおよびASP.NETコントロールが広く使用されました。 クライアントとサーバー間で情報を転送するために、JSONが使用されました。 タスクの実装の監視は、Redmineを使用して実行されました。

ああ、これらのファイル！

銀行では、システム間で情報を転送するためにファイルが広く使用されています。 ほとんどの場合、これらはExcel形式のファイルです。 この伝統がどこから来たのかはわかりませんが、それらをロードする必要があり、多くのファイルがあります。 彼らはできる限りダウンロードを行いました。 誰かがOracleツールを使用し、C＃でユーティリティを作成しました。同僚の1人は別のInformaticaであるMicrosoft Integration Serviceを使用しました。



そして今、そのように、休暇から来て、私は私の同僚が私の不在で書いたことを願う、要件の長いリストを見ました。 ファイルからデータベースへの汎用ダウンローダーでした。 テキストファイルだけでなく、古い形式と新しい形式のExcelファイルを解析することに同意しました。 Excelの場合、すべてを文字列に変換し、列ごとにステージングテーブルに書き込みます。通常のテキストファイルの場合、原則として、すべてを別のテーブルに書き込みます-1行-列の1レコード。 入力インターフェイスはWebフォームである必要があります。 また、アプリケーション自体は単一で、Webサーバーで実行する必要があります。 このため、ユーザーはブラウザを介してリアルタイムでデータをダウンロードできる必要があり、一方でダウンロードはスケジュールに従ってオフラインで起動する必要があるため、開発が困難でした。



ある朝、上司は私に電話をかけ、事実に立ち向かいます。「あなたが書いたものすべてを管理するのを止めずに、一週間でやらなければなりません。」タスクを完了するためのタイムラインを増やすために、マネージャーは、私がやらなければならないこととそれに費やす時間。 一般的に、3週間で合意しました。 しかし、実際には、作業は3か月後に完了しました。 これはおそらく管理の伝統です-短い期限を設定する。



経営者を怒らせないために、従業員は、時間の開発に割り当てられた時間に、何とか機能するプロトタイプを急いで作成します。 彼らはそれを当局にデモンストレーションします。「完了」し、部下が書いた奇跡とそれがどのように機能するかを全員に見せて伝えます。 さらに、プロジェクトはテスト段階にあり、エラーが発生しているとのことです。 経営陣がすべてを報告した後、誰もがプロジェクトについて忘れてしまい、あなたはゆっくりとプロジェクトを終了できます。 アプリケーションの準備が整うまでに、誰もそれを必要としない場合がありました。



3か月後、ブートローダーの準備が整いました。 開発中に、jQWidgetsコントロールが使用されました。 アプリケーションは非常に有用であることが判明しました。 ユーザーはすべてのダウンロードを1か所で見ることができ、Webブラウザーからのダウンロードを簡単かつ便利に管理できました。 問題は消えました-「何からどこからロードするのか、なぜロードしないのか、どう対処するのか」。

SharePointのような開発者はいますか？

...そして慎重に

でファイル！

冗談から

開発上の多くの問題により、SharePointのアプリケーションが登場しました。 それ自体、開発は、基本的に通常のWebサイトの作成と基本的に違いはありません。 ただし、サーバーへの展開には非常に長い時間がかかります。



その結果、大量のコーディングを必要とする深刻なアプリケーションは、SharePointへのリンクを使用して個別に実行する必要があると判断しました。 ポータルと同じアクセスシステムを使用し、同様の設計がされていました。



ポータルを管理するプロセスでは、ユーザーアカウントを使用したより柔軟な作業が必要です。 問題は、情報の一部がActive Directoryに格納され、一部がOracleに格納されていたことです。 両方のシステムで同時に機能する検索エンジンが開発されました。 銀行の多くの従業員が使い始めたほど成功したことが判明しました。 特に従業員の写真を彼にねじ込んだ後。

魔法のボタンを探して

魔法なしの習得はありません。

バレンティン・ボリソフ

世銀の普通の従業員をどうにか満足させることができた場合、経営陣は私たちにもっと何かを求めていました。 大きな信号機と「クリックしてください。すべてが良くなります」というボタンのあるWebフォームを見ました。 彼らは、プロジェクトが始まった瞬間からこの信号機を明るくしようとしました。 しかし、深刻な仕事は3年後に始まった。



計画されたすべての指標が採用され、事実と比較されました。 これから、ツリーを作成し、各インジケーターのタブレットを含むグラフを開くことを回避しました。 このプロジェクトは、計画の実施により状況を改善するためのアクションをアップロードおよび反映する機能を提供しました。 ソリューションは非常に興味深く有用であることが判明しましたが、多くの人的資源が必要でした。 指標ごとに、状況を改善するために、それがどのように実行されるかについての予測をロードし、非履行の場合は説明と変更をロードする必要がありました。 これも大きなプラスでした。 このアプリケーションにより、当行の当行部門の地位が大幅に強化されました。 経営陣は、さまざまな部門の従業員にこのプログラムの使用を義務付けました。

彼女と並行して、私自身のイニシアチブで、すべての分析キューブを組み合わせたプログラムを開発しました。 ピボットテーブルに加えて、彼女は情報をグラフィック形式でも表示しました。 この作業の結果は間接的に役立ちました。 このアプリケーションは、キューブを使用することの利便性を明確に示しているため、教育目的でより多く使用されました。 その結果、彼らと積極的に働く従業員の数が増加しました。 このソリューションのもう1つの利点は、システム内のエラーをすばやく検出できることです。 分析キューブを使用して作成されたグラフでは、誤ったデータを含む当時の異常な急上昇または下降が表示されます。 バグの発見と修正は、仕事の2番目の部分でした。

信頼するが検証する

データはさかのぼって変更されるか、部分的にロードされるか、二重になります。 製品の信頼性は、データ品質に大きく依存していました。 彼らが言うのも不思議ではありません-「品質は尊敬を呼び起こす！」 時間が経つにつれて、統一された品質管理システムを開発する必要があるという理解が生まれました。 その結果、レポートとチェックで使用される選択が行われるWebアプリケーションを開発しました。 システムはこれらのチェックを毎日実行し、エラーを報告しました。 現在、キューブチェックを接続しようとしています。 また、計算されたデータのチェックがそれに接続されました。 その結果、まだやるべきことがありますが、製品の信頼性は高まりました。 彼らが冗談を言っているのも不思議ではありません：

「プログラマーが医者だったら：

-医者、私の足が痛い。

-奇妙な。 私は同じものを持っていて、傷つけません！ 「

踏み出す場所（Viktor Tsoi）

現時点では、管理報告自動化システムの開発は事実上停止しています。 一部の開発者は耳で管理が行き詰まっており、他の開発者は関連部門のさまざまなプロジェクトに縛られていました。 部隊の一部は、私たちの活動の自動制御に関するマニュアル草案によって取り上げられました。 しかし、それにもかかわらず、はるかに優れた便利な方法がたくさんあります。 そして、あなたが力を得て、それらを実現するだけでなく、彼らにプレゼンテーションを与えることができれば、彼らは良い配当をもたらすことができると思います。 オノレ・バルザックが言ったように：「目標を達成するには、最初に行かなければなりません。」



自動レポートシステムは、Microsoftと競合する大企業にはなりませんでしたが、私の意見では、これはかなり可能です。