リチャード・ハミング：第29章あなたが測定するものを手に入れる

「このコースの目標は、技術的な未来に向けて準備することです。」

こんにちは、Habr。 「You and Your Work」という素晴らしい記事（+219、2365のブックマーク、360kの読み取り）を覚えていますか？



そのため、ハミング（はい、はい、自己チェックと自己修正のハミングコード ）には、彼の講義に基づいて書かれた本があります。 男性がビジネスを話しているので、それを翻訳しましょう。



この本はITだけでなく、信じられないほどクールな人の思考スタイルに関する本です。 「これは単なる肯定的な思考の責任ではありません。 素晴らしい仕事をする可能性を高める条件を説明しています。」



すでに12（30のうち）の章を翻訳しています。

「前の章」の私の呼びかけに応えてくれたヴァレリー・ドミトルシェンコフへの翻訳をありがとう。 誰が翻訳を手伝いたいのか-個人的な電子メールまたは電子メールを書いてくださいmagisterludi2016@yandex.ru （ちなみに、別のクールな本の翻訳も開始しました- 「The Dream Machine：The History of the Computer Revolution」 ）

第29章あなたが測定するものを手に入れる

この章のタイトルは、注意深く測定すると正確な結果が得られることを意味するように思われるかもしれませんが、実際にはもっと微妙なことを指します-選択する測定方法は結果に大きな影響を与えます 漁師の漁網に関するエディントンの話を思い出してください。 彼らは捕獲した魚を測定し、海で泳ぐ魚の最小サイズがあるという結論に達しました。 つまり、使用するツールは表示内容に大きく影響します。



現時点では、この効果の一般的な例は、四半期ごとの損益計算書の一番下の行を使用して会社の成功を評価することです。 これは、主に短期的な利益に関心があるが、長期的な利益とはあまり関係のない会社に適しています。



評価システムで全員の開始評価が95％である場合、人は評価を上げるために少ししかできず、評価を下げるために多くのことができることは明らかです。 したがって、従業員にとって合理的な戦略は、リスクなしで働き、その結果、最終的にトップに上がることです。 より高いレベルでは、選択できる人々のクラスはほとんど保守的であるため、リスク許容度を高めたい場合があります。



初期段階の評価システムでは、後の段階で必要な従業員を正確に削除する傾向があります。



平均的な人の推定値が約50％である評価システムを使用する場合、このアプローチはよりバランスが取れます。 リスクを促進したい場合は、20％以下の評価から始めて、リスクのある方法を使用して、評価を上げるように人々に勧めることができます。失敗した場合、損失は大きくなりませんが、成功した場合、報酬はリスクを完全に正当化します。 組織内でリスクをとるには、そのようなキャリアアップへのアプローチを使用して、初期段階で合理的な程度のリスクを奨励する必要があります。



あなたが測定したいもののうち、身長や体重など、定量化できるものもあれば、特に社会的態度を明確にしか測定できないものもあります。 定量的測定を扱う傾向は常にありますが、そのようなアプローチは、カテゴリ測定（推定？）と比較して明らかに失われる可能性があります。 多くの場合、測定精度は測定の関連性（関連性？）と混同されます。これは、ほとんどの人が考えるよりもはるかに頻繁に発生します。 測定が正確で、再現性があり、簡単に実行できるからといって、それを実行する必要があるという意味ではありません。代わりに、より複雑であるが目標に密接に関連する測定が望ましい場合があります。 たとえば、学校では準備を評価するのは簡単であり、教育を評価することは困難です。この結果、最終試験の成績では、準備と教育の顕著な無視が重視されることがほとんどです。



測定システムの別の効果について説明し、IQメトリックを定義して使用して説明します。 過去の経験に基づいて、容認できると思われる質問のリストが作成され、その後、少数の人々でテストされます。 他の人との内部相関を示すこれらの質問は残り、あまりよく相関しない質問は破棄されます。 その後、更新されたテストは、はるかに多くの人のサンプルでのテストを使用して調整されます。



どうやって？ 累積ポイント（特定の値を下回っている人の数）を取得し、これらの数を、正規分布の累積確率が水平線で表される確率の表現としてプロットします。 次に、累積実際のポイントが特定のパーセンテージポイントに含まれるポイントは、キャリブレーションテーブルを介して、累積正規確率曲線上の対応するポイントに接続されます。 その結果、人口の知性は正規分布になります！



もちろん、これはそうです-メソッド自体はまさにそのような結果を暗示しています！ さらに、IQはキャリブレーションされた試験の結果として決定されたものであり、このインテリジェンスの定義により、当然のことながら正規分布になります。 しかし、IQがキャリブレーションされた試験で決定されるものとはまったく異なると思う場合、この指標が母集団間で正規分布していることを疑う権利があります。 繰り返しますが、測定されたものを取得し、宣言された正規分布は測定方法のアーティファクトであり、現実とはほとんど関係ありません。



たとえば数学的分析のコースの最終試験に合格すると、希望する成績のほぼすべての分布を得ることができます。 質問の難易度が同じになる試験を行うことができた場合、原則として、各生徒はすべての正解または不正解を受け取ります。 したがって、両端にピークを持つ評価の分布が得られます（図29.I）。 それどころか、単純な質問、中程度の複雑さの質問のほとんど、および非常に難しい質問をすると、典型的な正規分布になります。 各端に少数の評価があり、中間にほとんどの評価があります（図29.II）。



クラスを知っていれば、必要なほぼすべてのディストリビューションを取得できることは明らかです。 通常、最終試験では、「合格/不合格」の境界線に最も興味を持ち、行動方法について可能な限り疑いがなく、苦情があった場合に自分が正しいという強力な証拠を持つように試験を作成します。







評価システムのもう1つの側面は、ダイナミックレンジです。 1から10のスケールが与えられ、5が平均であるとします。 ほとんどの人は、評価4、5、6を割り当てますが、まれに1と9の極端な値に頼ることはほとんどありません。あなたが好きなものに6の評価を与える場合、私はダイナミックレンジ全体を使用し、好きでないものに2の評価を割り当てます、この場合、私たちの意見の違いにもかかわらず、評価の結果は評価の合計が6 + 2 = 8であるのに対し、平均は4になる-私の意見の効果は大きくなり、評価が消去されます！



評価スキームを使用する場合、ダイナミックレンジ全体の使用を試みる必要があります。その場合、最終的な平均にはるかに大きな影響を与えます。ただし、ほとんどの場合、割り当てられた評価のブラインド平均と見なされます。 コーディング理論では、分布が均一のときにエントロピー（平均偏差）が最大になるということを覚えておいてください。 第13章「情報理論」からわかるように、すべての推定値を等しく使用すると、最も多くの情報が得られます。



コースで成績を通信チャネルとして割り当てることを検討する場合、前述のように、すべての成績の頻度を等しく使用すると最大量の情報が得られますが、一般的な大学院研究では主に2つの最高の成績AとBを使用します送信される情報の量を減らします。 海軍士官学校は訓練クラスでランクを使用することを理解していますが、これはある意味で、「レーティングインフレーション」とスケールのダイナミックレンジ全体を均一に使用できないことに対する唯一の保護であり、レーティングの固定アルファベットを考慮して最大量の情報を報告します。 ランクを推定値として使用するときに発生する主な間違いは、すべての非常に優れた人々が特定のクラスに属することですが、一部の人々はまだそこにいるはずです！



また、最初に特定の活動領域に人々を引き付ける方法についても疑問が生じます。 心理学では、新しい分野に参入する人々は、平均的な教授や大学の平均的な学生よりも頭がはるかに混乱していることにしばしば気付くことができます-コースはこれにそれほど影響しませんが、学生をさらに混乱させるのに役立つと思われますが、最初の選択は、はるかに大きな影響を及ぼします。 同様に、正確な科学と人文科学は、必ずしも地域の実際の特徴ではなく、地域の最初に認識された特徴に基づいて、独自の魅力的で否定的な側面を持っています。 したがって、人々は、彼らの特性、彼らがそれらをどのように知覚するかにとって好ましい活動の領域に入る傾向があり、そして、彼らが活動の領域に入るとき、これらの機能はしばしばさらに強化されます。 結果はバランスが悪いが、高度に専門化された人々であり、現在の状況で成功するためにしばしば省くことができない。



数学およびコンピューターサイエンスでは、初期選択の同様の効果があります。 数学の研究の初期段階では、コンピューターサイエンスの場合と同様に、数学的分析まで、推定値は高い信頼性で大量の部品を考慮する能力と密接に関連しています。 しかし、後に、特に数学では、成功に必要な性質が変化するため、より多くの定理、より重要な新しい結果、定理、定義を推論し提案する能力を証明する必要があります。 さらに後で、多くの断片ではなく、エリア全体を見る能力が前面に出てきます。 しかし、評価プロセスにより、使用する可能性のある多くの人や、後の段階で本当に必要な人の多くが以前に削除されました！ 非常によく似た状況がコンピューターサイエンスであり、プログラムの詳細の大部分に対処する能力が1つのタイプの心に有利であり、それがより一般的な画像のビジョンと負の相関関係にあることがよくあります。



人事雇用局は、システムに正確に採用されている人にも影響を与えます。 研究のための採用が必要な場合、大規模な組織の典型的な人事部の従業員は、ほとんどの場合、適切な人を引き付けたくないでしょう。 優秀な研究者は科学技術の独創的な考え方を持っているという事実により、彼らは通常、彼らの行動や衣服の他の側面において独創的であり、人事部の典型的な採用担当者を引き付けません。 したがって、ベル電話研究所のように、研究分野で仕事を得ようとすると、通常、研究者は失敗し、人事部は震えます！ ある世代を採用することが組織の次の世代を決定するため、これは些細な瞬間ではありません。



ほとんどのシステムには悪質なプロモーション機能もあります。 より高いレベルでは、現在の参加者は次世代を選択します。そして、彼らは自分と同じような人、快適に感じる人を選択する傾向があります。 同社の取締役会は、選挙に指名された役員および将来の役員を強力に管理しています（結果は大体予測可能です）。 あなたはあなた自身の種類（「近親交配」）を再現する傾向がありますが、また、原則として、組織の特徴を獲得します。 したがって、組織の上位レベルで選択を促進する一般的な方法には、良い面と悪い面の両方があります。 特定の評価の質問があり、使用されている基準は無意識ではあるがまだ存在するため、この質問は「測定するものを手に入れる」というトピックに残っています。



遠い過去に、「近親交配」と戦うために、ほとんどの数学部門（他の分野よりも私がよく知っているトピック）は、彼らが自分の卒業生を雇わないという一般的なルールを守りました。 ルールは、私が見ることができるほど広くは適用されませんが、逆に、明らかに、部外者よりも自分の卒業生を雇うことを好む傾向があります。 経済学部が「近親交配」を起こしやすいため、大学のトップマネジメントが介入し、いわば「教授の死体」を通じて、大学でさまざまな意見の合理的なバランスをとるために採用手続きを行わなければならなかった場合がいくつかありました。 同じことが心理学、法学、そして間違いなく他の学部でも起こりました。



すでに述べたように、内部の人々が次世代を選択することを可能にする評価システムには、良い面と悪い面の両方の特徴があり、過度の「近親交配」を防ぐために注意深い検証が必要です。 いくつかの「近親交配」とは、日々の共通の視点とより調和のとれた仕事を意味しますが、おそらく将来の大きな革新を許さないでしょう。 将来的には、絶え間ない変化が正常な状態になり、このトピックは過去よりも重要になり、過去に間違いなく問題になると思います！



私はこの点で過度にうるさくしようとしていないという事実を理解していると思います。むしろ、この章のテーマを説明しようとしています。 これは、評価、測定方法、またはその他のものを登録するためのスキームを設定する人々によってめったに考えられませんが、長い目で見れば、これはシステム全体に大きな影響を及ぼします。



測定が失敗すると明らかに悪いですが、測定、物事、人などを評価することを避ける方法はまだありません。同時に、組織の責任者になることができるのは1人だけであり、選択には単純な評価尺度で評価される教育を使用する必要があります比較してください。 人々は少なくともベクトルと同じくらい複雑であり、おそらく行列や数のテンソルよりもさらに複雑であるという事実にもかかわらず; 複雑な人に加えて、彼が働いている環境の影響を、何らかの形でオプションの順序付けられた配列を生成する単純な尺度に減らす必要があります。



この手順は常識なしで心の中で実行できますが、人々の評価を信じるかどうかに関係なく実行する必要があります-これは、ランク、管理能力、またはその他の機能に違いがある社会では回避できませんあなたが望む。 エンターテインメントプログラムであっても、最初と最後のパフォーマーが存在する必要があります。すべてを同じ列に置くことはできません。 私のような人を評価するのは嫌かもしれませんが、これは私たちの社会で定期的に行わなければなりません。また、絶対的な平等がない社会では、これは非常に頻繁に起こります。 また、この事実を受け入れ、ほとんどの人よりも効率的にこの作業を行う方法を学ぶことができます-彼らは単に選択を続け、プロセス全体を徹底的に分析せず、他の人がそれをどのように行い、彼らから学ぶかを観察します。



これで、測定のさまざまなスケールが結果として何に影響するかがわかります。 それらは基本的なものですが、通常はほとんど注目されません。 私が話していたことを強調するために、測定スケールがシステムにどのように影響するかについて、さらに例を挙げます。



地震はほとんどの場合、リヒタースケールで測定され、地震の推定エネルギー量の対数を効果的に使用します。 これが間違った測定スケールであると言っているわけではありませんが、その影響は、マグニチュード7と8の本当に強い地震がほとんどなく、マグニチュード1と2の弱い地震が多いということです。 母なる自然のスケールでの分布はわかりませんが、彼女がリヒタースケールを使用しているとは思えません。 たとえば、フィートからメートルへの線形変換は複雑ではありませんが、他の非線形スケール変換は別の問題です。



ほとんどの場合、対数スケールで人々に適用されるインセンティブを測定しますが、体重と身長には線形スケールを使用します。 加算性を簡単に追加できますが、非線形スケールの場合、この機能はありません。 たとえば、群れのサイズを測定する場合、群れの動物の数を数える傾向があります。 したがって、相加性があります。2つの群れを組み合わせると、適切な量の群れが得られます。 3つの目標の群れがあり、同じ数が追加された場合、これは1つのことですが、1000の目標の群れがあり、3つの目標の群れが追加された場合、これはまったく異なる問題です。したがって、群れの数の加算性常に適切な対策とは限りません。 この場合、パーセンテージの変化はより有益な場合があります。



物事を測定するときにどのスケールを使用するかをどのように決定するのですか？ 簡単な答えはありません。実際、ある測定スケールはある領域のあるタイプの結果に適しており、別の測定スケールはまったく同じ領域の他のタイプの結果に適しているという恐ろしい観察があります！しかし、認識されて使用されることはほとんどありません！もちろん、確立された式を適用すると、冷静に変換を行うこともありますが、どの測定尺度を使用するかを決定するのは困難です。分野と既存の理論、そしてあなたが見つけたい新しい理論に大きく依存しています！これは、特定の状況では役に立ちません。



前の章で言及した別の質問がありますが、ここで再び質問しなければなりません。これは、評価システムの変化に人々が反応する速度です。私とコンピューターユーザーとの間で絶え間ない戦いがあり、システム全体のパフォーマンスを最適化しようとし、彼らは独自の使用シナリオを最適化しようとしました。あなたの意見では、システム全体のパフォーマンスを改善する評価システムの変更は、変更に対する人々の反応を考慮していないとうまく機能しません-彼らは確かに彼らの行動を変更します。自分のキャリアの最適化、過去の格付けシステムの変更が計画や戦略の一部をどのように変えたかについて考えるだけです。



一部の測定システムには明らかに悪い機能がありますが、伝統やその他の微妙な点がその存在を裏付けています。たとえば、軍事ユニットの準備状態。海軍では、船は定期的にチェックされ、標準機能が次々とチェックされ、船長は船と乗組員を受け取り、それぞれの準備ができて、他の人が現れるまでほとんど無視します。もちろん、スキッパーは高得点を獲得します。しかし、軍事演習に直面したとき、艦隊の真の準備は何ですか？簡単に想像できるように、確かにレポートに記載されているものと同じではありません。しかし、次に何を使用する必要がありますか？もちろん、与えられたデータを使用する必要があります-他のデータを使用した場合、信頼されません！したがって、軍事演習の人々に理想的な艦隊を使用するよう指導し、本当じゃない！ビジネスゲームでも同じことが起こります。実世界ではなく、シミュレーションゲームで勝つように幹部を訓練します。私はこの瞬間をあなたに任せて、あなたが責任を負うとき、あなたがどのように行動するかを考え、あなたの組織の真の準備を知りたいと思います。ランダムチェックはすべてを解決しますか？いや！しかし、彼らは状況を少し改善します。



すべての組織はこの問題に直面しています。これで、組織内のレベルが低くなり、イベントで報告されている内容と、レポートが実際とどのように異なるかを自分で確認できます。状況を根本的に変える力が得られるまで、何も変わりません。空軍はおそらくランダムな検査を使用しますが、私の友人である引退した海軍のキャプテンのように、彼はかつてすべての基地司令官がレーダーを持ち、空中にあるものを知っていることに気づきました、そして検査チームが彼に驚きだったら、彼は丸馬鹿でなければなりません。ただし、この場合、彼はスケジュールされた検査の場合よりも準備する時間が少ないため、検査レポートはおそらく、事前に知られている時間にのみ検査が行われる場合よりも現実に近いでしょう。はい検査は測定であり、「測定するものを手に入れる」ことができます。この状況は他の組織でもそれほど違いはありません-近々行われる測定（検査）のニュースは「ゴシップのつる」に入り、驚いたふりをするニュースの受信者は午前中に準備ができていることがよくあります。



もう1つ明らかなことですが、言及する必要があるように思えます。特定の形式の測定の人気は、その正確性や組織との関連性とはほとんど関係がありません。



もう1つの注意点-組織のトップからボトムまで、すべての人が事実を屈折させて、少なくとも自分の観点から見れば、自分自身がよく見えるようにします。トップマネジメントを救う唯一のことは、それぞれがわずかに事実を反映することができる下のさまざまなレベルが異なる目標を持っていることが多いということです。したがって、多くの場合、事実の多くの変更は、多数の弱い法則のために互いに部分的に相殺されます。組織全体がエリートをtrickすために協力すれば、リーダーシップはそれについてほとんど何もできません。私が取締役会にいたとき、私はこの事実を非常にはっきりと認識していたので、私はしばしば1日前または1日後に遅れて来て、たださまよって、質問をし、それについて報告された事実があるかどうかを見て、自分に尋ねましたたとえば、在庫が非常に多かったとき、私たちが作ったコンピューターのラインの変更により、両方のラインの一部を同時に手に入れたので、私は歩いて、突然パントリーに向きを変えて入った。次に、私の意見では、重大な不一致があるかどうか、または報告された金額が十分に正確であったかどうかを判断するために周りを見回しました。



繰り返しますが、多くの企業で起こったように、ロードドックに送る必要のあるコンピューターはありましたか、それとも神話上のコンピューターでしたか？嗅ぎまわると、各四半期の終わりに送信する必要のある車が実際に送信されましたが、生産ラインで後の車をリリースする過程で頻繁に送信されたため、次の数週間はリリースされた車を返すのに費やされました適切な状態。私は取締役会にいましたが、従業員のこの悪い習慣を止めることはできませんでした！組織内をただ見回すだけで、実際には発生しないはずの多くの奇妙なことがわかりますが、それらはスタッフによる一般的な慣行と考えられています。



発生するもう1つの奇妙なことは、あるレベルでは1つと見なされ、それ以外の場合はより高いレベルで見なさ​​れることです。たとえば、あるレベルでの組織の能力の評価は、より高いレベルでの確率として解釈されることがよくあります！なぜこれが起こっているのですか？低いレベルは高いものが望んでいることを実行できないため、高いレベルができることを実行し、高いレベルは数字を取得したいので、レポートの意味を変更することを好みます。



ライフテストの問題についてはすでに説明しました。何ができるのか、何が必要なのかはまったく同じではありません。現時点では、必要なものをリリースする方法がわかりません。昨日最初に納入された部品に高いレベルの自信を持って、長年の運用にわたって信頼性を確保します。この問題はなくなりませんが、物事の必要な信頼性を設計するために多くのことができます。 Bell Telephone Laboratoriesでの私の最初のタスクの1つは、銅とセラミックで作られた一連の同心リングを開発することでした。そのため、温度が変化すると、一定の半径に対して、強度が低いため、セラミックは常に圧縮され、伸びることはありませんでした。この設計にはある程度の信頼性が組み込まれています！私の意見では、この方向で行われた作業はほとんどありませんでしたが、すでに述べたように、彼らはこの時間がないと言ったとき、「仕事を正しく行う時間は決してありませんが、後で物事を修正する時間は常にあります。」



ある程度の人間の判断を組み込んだ評価システムがあります。しかし、私に大きな印象を与えた物語を話させてください。さまざまな信号周波数で測定されたゲイン係数から位相シフトを推定するための計算方法を開発しました。これは、手動の方法に代わるものです。私はそれが優れていたと主張していませんが、音声からテレビ帯域の範囲に切り替えたとき、手動の方法では新しい問題を解決できませんでした。ある賢い人はかつて私にこう言った。ランダム要素を削除したので、以前は明らかではなかったことを見つけることができます。」人間の判断がない評価方法にはいくつかの利点がありますが、考慮しません私は人間の判断の要素を投資することに反対している。ほとんどの正式な方法は必然的に有限であり、現実の複雑さはほぼ無限です。したがって、合理的に適用される人間の判断はしばしば良いことです。



このすべてから、測定を行うことができないと結論づけないでください-それは明らかである可能性がありますが、組織内で新しい測定を開始する前に、測定フォームの関連性と効果の問題を可能な限り考慮すべきです。将来発生する避けられない変化、および物事の自動監視のためのコンピューターの能力の向上は、多くの新しい測定システムが使用されることを意味し、ユーザー自身が開発、作成、インストールする必要があります。それでは、測定の影響についての別の話をさせてください。



コンピュータサイエンスでは、プログラミングの複雑さは多くの場合、コードの行数で測定されます。より単純なものは何でしょうか。エンコーダーの観点からは、コードをクリアしようとする理由はまったくありません。それどころか、パフォーマンススケールでより高い評価を得るために、不必要な指示をそこに残すすべての理由があります。このように広く使用されているソフトウェアパフォーマンスの指標は、最近このような肥大化したソフトウェアシステムを抱えている理由の1つです。私たち全員が必要とする、クリーンでコンパクトで信頼性の高いコードの開発を奨励するものではありません。さらに、使用される対策は、システム全体に損傷を与える方法で結果に影響します！また、後で根絶するのが難しい習慣も生み出します。



測定システムをインストールする番である場合、または他の誰かが使用しているものについてコメントする場合でも、組織で発生するすべての隠れた結果への道を考えてみてください。もちろん、原則として、測定は良いことですが、多くの場合、良いことよりも害になることがあります。アイデアが大声で明確に聞こえることを願って



います。あなたが測定したものを手に入れます。



継続するには...



誰が翻訳を手伝いたいのか-個人のメールまたはメールに記入してくださいmagisterludi2016@yandex.ru



ちなみに、私たちはまた別のクールな本の翻訳を開始しました- "The Dream Machine：The History of the Computer Revolution"）