独占：Googleアルゴリズムがインターネットを管理する方法

翻訳者から：私はこの翻訳でアメリカを発見しているとは思わない。概して、洗練されたhabubleユーザーは自分にとってあまり珍しくも珍しくもないだろう。 しかし、私の意見では、これは検索エンジンの動作の主要なマイルストーンと原則が便利に収集され、レビューされる良い一般的な教育記事です。 元の記事は、2010年3月にWired誌によって発行されました。 すぐに警告します-記事は長いです。



Googleがあなたの人生をどのように変えるかを知りたいですか？ 火曜日の朝、ワガドゥグー会議室に立ち寄ります。 この問題は、カリフォルニア州、マウンテンビュー、世界で最も影響力のあるインターネット企業の本社 、検索エンジンをさらにスマートにする方法を決定する30人のエンジニア、マネージャー、およびエグゼクティブで満たされた部屋で解決されています。 今年、Googleは伝説的なアルゴリズムに約550の機能強化を導入し、それぞれが情報の配信を決定します。 毎週の検索品質会議で行われた決定は、クエリの検索エンジン結果に影響を与えます-「Samsung SF-755pプリンター」、「Ed HardyのMySpaceページ」、または「ブルキナファソの首都」でさえもこの会議室のような。 このプロセスは、2006年からGoogleの検索責任者であるUdi Manberが主導しています。 提案された変更は、さまざまな国およびあらゆる種類の言語での数か月のテストの結果とともに、次々に提示されます。 隣り合う画面には、変更前後のクエリの結果が表示されます。 「すごいギターセンター」の検索結果に続いて-Manberは叫ぶ：「うまくいきました！」



おそらく、検索市場での10年間の無条件の支配の後、Googleはリラックスできると思います。 現在、この会社はすべての検索クエリの65％を管理しており、「検索」という単語と同義語である唯一の企業です。 しかし、Googleが栄冠にとどまる準備ができていないように、競合他社も敗北を認める準備ができていません。 述べられた目標と目的によると、シリコンバレーの巨人は長年にわたって、「世界情報を整理する」ために、神秘的で一見無知なアルゴリズムを使用してきました。 しかし、過去数年にわたって、多くの企業がGoogleのコアビジネスに挑戦してきました。彼らは技術的な魔法と絶え間ない改善のおかげで、あらゆる要求を満たすことができる検索エンジンに挑戦しました。 FacebookはGoogleの立場に近づき、顔のないフォーミュラの結果よりも友人のアドバイスを人々が信頼することを望んでいました。 メッセージの連続ストリームを解析する機能により、Twitterはリアルタイム検索の概念を導入し、最新の会話やディスカッションを展開しながらキャプチャします。 Yelpは、評価検索を使用して、人々がレストラン、掃除屋、乳母を見つけるのを支援します。 これらの新しいサービス自体は脅威ではありませんが、検索が開かれ、広くなり、検索エンジンだけでなく、さまざまな検索サービスのセットが存在する未来を一緒に予測しています。



さらに、Googleにとって最大の脅威は、北へ1.5 km離れたところにあるBingです。 Microsoftによってリメイクされ、名前が変更された検索サービスは、アイデアによれば、「Bingo！」-「Eureka！」（または、これは有名なアメリカの歌手の名前またはシリーズThe Sopranosのストリップバーの名前）を思い出させる名前で昨年の6月にはかなり楽観的な予測がありました。 （ Wall Street Journalは、それを「Googleよりも魅力的だ」と呼びました。） 更新された外観と1億ドルの広告キャンペーンにより、米国の検索市場での検索の割合が8から約11％に増加し、規制当局がYahooのBing検索エンジンの使用を許可するとすぐにこの金額は2倍になります。



Bingチームは、Googleのアルゴリズムでは必ずしも満足のいく結果が得られない個々のケースに注目しています。 たとえば、Googleは公共のインターネットサイトのインデックス作成に優れた仕事をしていますが、航空機の発着に関する混乱し、絶えず変化するデータ配列にリアルタイムでアクセスすることはできません。 MicrosoftはFarecastを購入します。これは航空会社の運賃を常に監視してチケット価格の上昇または下降を予測するオンラインサイトで、Bingの検索結果にデータを提供します。 マイクロソフトは、ヘルスケア、規制文書、および商品とサービスの購入と販売の分野で同様の買収を行った-計算によれば、Googleのアルゴリズムが完全ではない分野で。



しかし、Bingでさえ、検索語を入力して関連する結果を取得するだけであれば、Googleはまだまだ先を行っていると認めています。 ただし、Bingは、BingがGoogleよりも優れている一部の分野で良好な結果が得られたとしても、他のクエリにサービスのみを使用することはないと考えています。 「アルゴリズムは検索において非常に重要ですが、注意する必要があるのはアルゴリズムだけではありません」と、マイクロソフトの検索担当副社長であるブライアンマクドナルドは言います。



Googleの答えは、4つの単語に要約できます：「 マイク・シウェック弁護士mi 」。



アミット・シンガルは、この公案の決定は彼の会社の検索ラインにあると書いた。 Google同僚の名誉称号を保持している40歳の紳士であるシンハラは、2001年に検索エンジンのコードを書き直した賞を4年前に受賞しました。 彼はエンターキーを押しました。 瞬く間にリンクページが現れました。 リストのトップの結果は、ミシガン州グランドラピッズの弁護士マイケル・シベックにつながります。 これは完全に無害な検索結果です。Googleサーバーが1日に数十億回処理する検索結果の1つですが、一見複雑です。 たとえば、同じクエリをBingに入力すると、ページの最初のエントリは米国ナショナルフットボールリーグのメンバーに関するものになり、そのうちの1人はLawyer Milloyという名前のプレーヤーです。 検索結果は複数のページにまたがっていますが、Sivekに直接リンクしているものはありません。



この比較は、数え切れないほど研ぎ澄まされたGoogleのアルゴリズムの力と知性さえ示しています。 彼らは、どのように、どのように有能に構成されていても、ユーザーのリクエストを理解する魔法の能力を持っているようです。 Googleはこの機能を検索品質と呼び、長年にわたって、同社はそのような正確な結果が得られるプロセスを慎重に隠してきました。 しかし、Googleは検索の品質がどのように達成されるかを見る前例のない機会を与えてくれたので、今は検索エンジン開発部門が働いている検索巨人の43番棟にシンホールと座っています。 この理由は明らかです。アルゴリズムはマシン全体よりも少し大きいと思うかもしれませんが、カーテンを開けてこのアルゴリズムの能力を確認するまで待ちます。

Google検索の主な機能

「Googleの検索アルゴリズムは絶えず変化し、最高品質の結果を提供するために改善されています。 ページ引用インデックスの導入以来、最も重要な拡張と改善のいくつかを紹介します 。 -スティーブン・レビー。



Backrub （1997年9月）は、Googleと呼ばれるスタンフォード大学のサーバーでほぼ2年間実行されている検索エンジンです。 その基礎-外部リンクの量と質に応じてページをランク付けすることは、主要な技術的成果でした。



新しいアルゴリズム （2001年8月）-検索アルゴリズムは完全に再編成され、新しいランキングファクターを簡単に追加できるようになりました。



リンク分析 （2003年2月）は、Googleの最初の特許取得済みの機能であり、より信頼できるソースからリンクされているサイトのランクが高くなっています。



フリッツ （2003年夏）-この改善により、Googleは大量の更新だけでなく、いつでもインデックス作成をアップグレードできます。



パーソナライズされた結果 （2005年6月）-ユーザーは、Googleが検索履歴を追跡してパーソナライズされた結果を提供できるようにすることができます。



Bigdaddy （2005年12月）-マシンの更新により、インターネットのより完全なインデックス作成が可能になりました。



ユニバーサル検索 （2007年5月）-画像、Googleニュース、書籍検索の検索に基づいて構築された新しいユニバーサル検索により、ユーザーは検索結果の1ページにさまざまな形式で表示される情報を受け取ることができました。



リアルタイム検索 （2009年12月）-公開直後にTwitterとブログの結果を表示します。



Googleアルゴリズムの歴史は、引用インデックスの導入から始まります。引用インデックスは、1997年にGoogleの共同創立者であるLarry Pageによってスタンフォード大学で研究されたシステムです。 ページの伝説的な洞察は、ページへのリンクの数と重要度に基づいてページをランク付けすることでした。 したがって、インターネットの集合知を使用して、サイトの関連性を判断しました。 この概念はシンプルで強力であり、Googleがインターネットで最も成功した検索エンジンになったため、PageとGoogleの2番目の創設者であるSergey Brinは、ページインデックスを会社の根本的な革新と見なしています。



ただし、これだけではありません。 「インデックスページは理解しやすいため、人々はインデックスページを引用するというアイデアを支持しました」とManber氏は言います。「しかし、関連性を改善する機能は他にもたくさんあります」 これは、検索エンジンが数百万の可能なクエリ結果をランク付けするのに役立つ特定の要因、コンテキスト記号の使用であり、最も有用なものがリストの一番上にあることを保証します。



インターネット検索は、いくつかの段階で構成されるプロセスです。 まず、GoogleはWebページを分析し、利用可能なすべてのサイトから情報を収集します。 次に、この情報は分割され、インデックスが作成されます（アルファベット順に、ほぼ辞書のように整理されます）。 目的のページの検索は、含まれている情報に基づいています。 ユーザーがクエリを入力するたびに、インデックス付きの情報が目的の回答を検索するためにコーミングされ、通常は数十万または数百万のエントリを含むリストがユーザーに返されます。 ただし、秘trickはランキングです。リストの一番上に置く回答を決定します。



これは、文脈上の兆候が救助に来る場所です。 すべての検索エンジンがそれらを使用しますが、そのような多くの要因を考慮に入れていない場合や、Googleのような経験でそれらを使用していない場合があります。 ページの引用インデックスは、Webページの属性（インターネット上の各サイトにとって重要であることが判明している）の要因の1つであり、ページの関連性を判断するのに役立ちます。 いくつかの要因が明らかになりました。 初期の段階では、Googleアルゴリズムはページタイトルに特に注意を払いました。これは、もちろん、関連性を判断するための重要な兆候です。 別の重要な要素は、あるページから別のページに移動するリンクの本文です。 その結果、「検索が完了すると、クエリに入力した単語が含まれていなくても、目的のページが一番上に表示されます」と、初期段階でGoogleのアーキテクトであり、スタンフォードのPage and Brinと協力していたScott Hassan氏は言います- 「それはクールでした。」 後の要因は、情報の新鮮さ（同じリクエストの場合、後のページは古いものよりも有用かもしれません）と地理的要因（Googleはユーザーの地理座標をおおまかに決定し、自分の場所により近い結果を好むかもしれません）でした。 検索エンジンは現在、200を超える要素を使用して結果をランク付けしています。



Googleのエンジニアは、Googleの本質のおかげで、最も重要な要素のいくつかが見つかることを発見しました。 ページの引用インデックスは、検索エンジンによって人気を判断するための優れたシステムとして認識されています。何百万人もの人々自身がネットワーク上のリンク先を決定します。 これは本当の民主主義です。 しかし、Singalは、Building 43のエンジニアがさらに別の民主主義を使用していることに注目しました。Googleを検索する何億人もの人々の仕事です。 検索プロセスでユーザーが作成したデータ-切り替えた結果、クエリで置き換える単語、結果がそれらを満たさない場合、クエリが地理的位置にどのように依存するかによって、新しい要因を特定し、検索結果を改善するための貴重な情報であることがわかります。 このプロセスの最も明らかな例は、パーソナライズされたGoogle検索です。これは、ユーザーのクエリ履歴と場所を要素として使用して、結果の関連性を判断する機能です。 しかし基本的に、Googleはこの膨大な量の蓄積データを使用してアルゴリズムを調整します。 異常に深い知識ベースが同じ方法で使用され、ミッションクリティカルなクエリの一般的な意味を解釈するのに役立ちます。



たとえば、Googleが同義語を定義する方法を考えてみましょう。 「私たちは賢い方法を見つけました」とSingal氏は言います。 たとえば、誰かが「犬の写真」を収集し、次に「子犬の写真」を収集します。 したがって、おそらく「子犬」と「犬」は互換性があることを理解しています。 また、お湯を沸かすとお湯になることも考慮しました。 ユーザーのおかげで、セマンティクスを再学習し、これは非常に大きな一歩を踏み出しました。」



ただし、いくつかの障壁があります。 Googleの同義語システムは、犬は子犬のように見え、沸騰したお湯は熱いことを理解しています。 しかし、彼女はまた、ホットドッグ（ホットドッグ）はゆでた子犬と同じであると判断します。 この問題は、単語の意味の文脈依存性に関する哲学者ルートヴィヒ・ヴィトゲンシュタインの理論に基づいた革新的な更新により2002年の終わりに修正されました。 Googleは数十億のドキュメントとWebページを収集して保存しているため、どの単語が互いに意味が近いかを理解するために分析されました。 「ホットドッグ」という語句は、「パン」、「マスタード」、および「野球」を含む検索で見つかりました。 これにより、アルゴリズムは「ホットドッグ」という言葉の意味や他の何百万もの用語を理解するのに役立ちました。 「今、「ガンジーバイオ」と入力した場合、「バイオ」は「伝記」を意味することがわかりますが、「バイオ戦争」と入力した場合、バイオは「生物学的」を意味します。



Googleはその歴史を通じて、ユーザーのエクスペリエンスが中断されないように、新しいランキング要素を追加するいくつかの方法を開発してきました。 数年ごとに、システムのグローバルな変更が発生します-Windowsの新しいバージョンが登場する方法のように。 これはマウンテンビューでの大きなイベントですが、公開されていません。 「私たちの仕事は、地上1万メートルの高度で時速1000キロメートルの速度で飛行する飛行機のエンジンを変えることと似ています」とシンガルは言います。 2001年に、インターネットの急速な成長に適応するために、Singalは新しい検索要素を迅速に追加するシステムを含む、元のPage and Brinアルゴリズムを完全に書き直しました。 （新しいシステムに追加された最初の要因の1つは、商用ページと非商用ページを分離し、製品またはサービスを探しているユーザーに望ましい結果を提供します）。 同じ年に、エンジニアのクリシュナ・バラトは、有名な評判の良いサイトからのリンクはより大きな重みを持つべきだと提案し、有能なサイトのリンクへの信頼度を高める影響力のある要因を開発しました。 （これに関して最初のGoogle特許が取得されました）。 Caffeineと呼ばれる最新のグローバルな変更により、インデックスシステムが調整され、エンジニアが新しい要素を簡単に追加できるようになりました。



Googleは、そのような革新を奨励する独創性で知られています。 毎年、CSI（Crasy Search Ideas-Crazy Search Ideas）と呼ばれる社内デモ展示会を開催して、珍しいが有用な提案を特定しています。 ただし、ほとんどの場合、検索エンジンを変更するプロセスは、不適切な結果を選別して不正確性を判断するという継続的な厳しい作業です。 失敗した検索の1つが伝説になりました。2001年のどこかで、Singalは「audrey fino」の検索結果が悪いことを知りました。 GoogleはユーザーをAudrey Hepburn専用のイタリアのサイトに誘導しました（イタリア語の「fino」は「恋人」を意味します）。 「これは実際には誰かの名前であることがわかりました」とSingal氏は言います。「しかし、システムはそれほどスマートではありませんでした。」



「オードリーフィノ」の失敗により、Singalは適切な名前のシステムを処理する方法の長年の開発に至りました。これはすべての要求の8％です。 この問題を解決するために、彼はさまざまな単語を個別の相互接続された要素に分割するバイグラム暗号の秘密技術を習得しなければなりませんでした。 たとえば、「new york」は2つの不可解な単語（bigram）です。 しかし、明らかに異なる種類の検索を指す「ニューヨークタイム」もあります。 リクエストが「ニューヨークタイムスクエア」の場合、すべてが再び変更されます。 人はすぐに違いを見ますが、グーグルは小さなテーブルに数十万人のオペレーターで満たされた地下室がありません。 Googleはアルゴリズムに依存しています。



「mike siwek lawyer mi」というクエリは、Googleがどのように優れているかを示しています。 Sinhalがコマンドを入力して、見つかった各結果のコードを示すと、どの要素が最高のリンクの選択に影響を与えたかが明らかになります。バイグラムリンクは、この名前、同義語、地理的な場所を示します 「エンジニアの観点からこのリクエストを分析します」とシンハルは説明します。 このようにクエリを壊すことができます。 弁護士は姓ではないと計算しますが、siwekは名前ではありません。 同時に、「弁護士」はミシガン州の都市ではありません。 「弁護士は弁護士です。」



数十億人のユーザーが入力したデータからコンパイルされた、Googleの検索エンジンの内部作業のこの苦労して実装された「ロック」はロックです。 それはまた石であり、おそらく玉石です。 「rokc」と書くと、「rock」のままです。 しかし、前に「小さな」と書くと、アーカンソー州（リトルロック）の首都になります。 アーカンソーは箱舟ではありませんが、ノアの箱舟が近くにない限り。 「検索の最大の目的は、ユーザーが何を望んでいるかを理解することです」とSingal氏は言います。「言葉ではなく、その意味を選択する必要があります。」



そして、Googleは改善を続けています。 最近、検索エンジンエンジニアのMaureen HaymansがCindy Louise Greensladeクエリに問題を発見しました。 アルゴリズムは、人を探す必要があることを理解しています。この場合、彼はカリフォルニア州ガーデングローブ市の心理学者ですが、グリーンズレードのホームページをトップ10の結果に配置することはできませんでした。 Haysmansは、Greensladeが検索クエリのように完全なミドルネームを使用せず、最初の名前のみを使用したため、Googleがページの関連性を低下させることを発見しました。 「それを考慮に入れる必要があります」とヘイマンズは言います。 そのため、彼はミドルネームのイニシャルを探す要素を追加しました。 グリーンズレードホームページは現在5位です。



現在、このような変更の多くは、十分に確立されたテストプロセスを経ています。 世界中の何百人ものGoogle従業員が自宅のコンピューターでさまざまなクエリの結果を評価し、システムの変更が結果を改善または悪化させるタイミングに注目しています。 しかし、Googleには多数のテスターもいます。これらは、検索品質に関する絶え間ない実験に無意識のうちに事実上参加している数十億人のユーザーです。 エンジニアが変更をテストするたびに、少数のランダムユーザーに対して新しいアルゴリズムを実行し、それらを大きなコントロールグループとして使用します。 変化に関する研究が非常に多いため、Googleは従来の科学的原則を放棄しなければなりませんでした。一度に1つの実験のみを実行する必要があります。 「Googleへのほとんどのクエリでは、同時に複数の制御グループまたは実験グループに所属しています」と検索エンジンエンジニアのパトリックライリーは言い、「実際、すべてのクエリは何らかのテストに含まれています。」 つまり、Googleで何かを検索するたびに、あなたはモルモットになります。



柔軟性-新しい要素を追加し、コードを更新し、同時に結果をテストする機能-これにより、GoogleはBing、Twitter、またはFacebookとのあらゆる競争に耐えることができると主張できます。 実際、過去6か月間で、Googleは200を超える改善を導入しましたが、その一部は競合他社の提案の模倣であると思われます。 （Googleはこれは単なる偶然であり、新しい機能が長年にわたって定期的に追加されているという事実に注意を促しています）。 その1つはリアルタイム検索です。これは、Pageが数か月前にGoogleが毎秒インターネット全体をクロールすることを発表してからずっと待望されていました。 今、誰かが興味のあるクエリを入力すると、10個の青いリンクの中に、Googleが「最新の結果」のエリアを追加します。これは、ニュースリソース、ブログ、マイクロブログからの新しい投稿のスクロールリストです。 これを行うために、Googleは再び要因を使用して、継続的に更新されるストリームに最も関連性の高いエントリを追加します。 「ノートへの応答を観察し、何人の人がそれらを読んで、著者が誰であるかを判断します-人またはロボットです」とSingal氏は言います。「これを判断する方法は知っています。



Googleはリアルタイム検索に加えて、検索プロセスで携帯電話からの写真を分析するゴーグルと呼ばれるサービスを含む他の新機能を導入しました。 これは、人間の生活における検索の絶え間なく遍在的な存在への継続的な動きの一部です。 パターンと音声認識により、スマートフォンは目と耳になりました。 正しい要素が見つかった場合、検索の対象は何でもかまいません。



途方もない処理能力と帯域幅は、Googleに否定できない利点をもたらします。 一部のオブザーバーは、この利点により、新しいサービスがテストモードから動作モードに移行するのが非常に困難になると述べています。 しかし、Manberは、複数のインフラストラクチャがGoogleをリーダーにしたと述べています。「非常に、非常に重要な重要な要素は、適切な人材を募集していることです。」



すべての兆候から、 Ki Luはこれらの人々の一人を指します。 「私は彼をとても尊敬しています」と、48歳のコンピューターエンジニアであるYahooで働いていたManber氏は言います。 しかし、ルーは今年初めにMicrosoftに入社し、Bingチームを率いました。 ジーンズとBingのロゴシャツを着たミニチュアのルーである彼の目標について尋ねると、静かにそして慎重に次のように引用しています。「これは長い旅であることを覚えておくことが非常に重要です。」 同時に、彼は映画「キル・ビル」でウマ・サーマンのように見え、彼の全体の外観は「私は去るつもりはない」と言っています。



実際、過去10年間のブラウザー戦争で勝利した企業は、優れた検索の大きな可能性を秘めています。 同時に、これらの人々は超自然的な自信を持っており、Googleアルゴリズムが提供できる以上のものを求めています。 「パラダイムが変わらなければ、今日の勝利に対抗することは非常に困難になります」とマイクロソフトの検索エンジン開発責任者であるハリー・シャムは述べています。 「しかし、一方で、パラダイムは変わるかもしれません。」



何らかの方法で、このような変更が発生した場合でも、Googleアルゴリズムはそれに適応できます。 そのため、Googleは手ごわい敵であり、ほとんどすべての脅威を考慮に入れるのに十分な速さで自動車を製造しました。これまでのところ、競合他社は高品質のGoogle検索結果に反対するものがありません。 誰でも飛行機のチケットを購入する新しい方法を提案できます。 しかし、Mike Sivekを見つける方法を知っているのはGoogleだけです。