Soastaは、ウェブサイトの分析とテストのために多くのサービスを提供しています。 同社の専門家は、機械学習で分析システムによって収集された膨大なデータを使用して、人工知能が検出するさまざまな指標間の関係を判断しました。 SoastaのTammy EvertsとGoogleのPat Minanは、2016年9月にニューヨークで開催された2016 Velocityカンファレンスで結果を発表しました。
この調査は、サイトでのユーザーインタラクションの2つの最終結果-失敗と変換に関連して実施されました。 つまり、研究者たちは、さまざまな兆候に基づいて、ユーザーがアクションを実行せずにページを離れる（拒否）か、変換を行うかどうかに基づいて、人工知能を「推測」に高い確率で教えようとしました。
結論1：非常に限られた数のパラメーターのみが障害の割合に影響します。
当初、研究者はほとんどすべてのパラメーターが予測に重要であると想定していました。 これは間違っていることが判明しました。
以下のグラフは、70％で故障を予測する確率の所定の下限について、6つの要因の知識のみが予測の精度を大幅に改善することを示しています。 多数の要因が予測の品質に大きな影響を与えることはなく、約4分の1が予測にまったく影響を与えません。
結論2：DOM Readyイベントの速度とページの読み込み速度は、障害の最良の予測因子でした。
これらのパラメーターの知識により、89.5％の確率で、ユーザーがページで失敗するかどうかを予測できました。 予測精度が100％に達することは決してなく、50％の予測確率はコイントスとほぼ同等です。 したがって、50％を超えるものはすべて「予測の改善」と見なすことができ、89.5％は本当に良い予測確率です。
次のグラフは、DOM Readyイベントの速度とページの読み込みに応じたページ障害の確率を示しています。
明らかに、より長いページ読み込みは非常に大きな割合の失敗につながるので、どのサイトも4秒以内に読み込むことを目標として設定する必要があります。
もう1つの重要なポイント：失敗率の改善に関して、ダウンロード速度に下限はありません。 5秒から開始し、ダウンロード速度の低下に向かって、失敗の確率はほぼ直線的に減少します。
失敗の予測の精度への影響に関して3番目に、ページが表示を開始する速度（レンダリング開始イベント）でした。
結論3：変換の予測はより困難でした。 最大精度-81％。
以下のグラフに示すように、達成される最大精度は81％ですが、より多くの要因は変換にまったく影響しません。
結論4：ページ上のスクリプトが多いほど、変換は悪くなります。
この場合、スクリプトの数は、
<script>
始まる要素の数を指します。
以下のグラフは、
<script>
タグの数に応じた変換の確率を示しています。
結論5：DOM要素の数は、変換に大きく影響します。
以下のグラフからわかるように、最大のコンバージョンを含むページには、400〜700のDOM要素が含まれています。
ページが過負荷になる（2200を超えるDOM要素）ほど、変換が悪くなると自信を持って想定できます。
結論6：モバイルデバイスユーザーに関連する指標は、コンバージョンの予測因子ではありません。
たとえば、モバイルユーザー間のチャネル幅、デバイスタイプ、接続タイプなどのパラメーターは、変換予測の精度に影響しませんでした。
研究者は、これらの結果について以下の解釈に至りました。 彼らは、ユーザーがインターネットを頭の中で「モバイル」と「通常」に分割しないと信じています。 これらは、ページがすばやく読み込まれるという事実に慣れているため、ページを表示するデバイスに関係なくほぼ同じように反応します。
結論7：すべての結果が信仰に基づいているとは限らない。
機械学習は異なるデータポイント間の関係を決定しますが、結果は慎重に検討し、結果が常識に反する場合には解釈を求めるべきです。
例として、研究者は以下のグラフを引用します。これは、サーバー応答時間が8秒の注文ページが最もよく変換されることを示しています。
ただし、この結果は、チェックアウトページの動作が比較的遅いことを示唆しています。 通常、これらのページには、外部ソースを参照するカード番号の確認など、さまざまな追加スクリプトが含まれています。 また、ユーザーがアイテムを購入するという決定は、製品のカードまたはランディングページでかなり早く行われました。
結論として、これらの結果がSoastaサービスの顧客に従って得られたことは注目に値します。 おそらく、バウンスとコンバージョンの割合に対する前述の指標の影響は異なります。 ただし、Webサイトの高速化がクラッシュを減らし、コンバージョン率を改善するという事実に異議を唱えることは困難です。