もちろん、この投稿のタイトルは少し修辞的に見えます。 なぜなら：

1）すべての市場参加者（自動車事業、コンピューターハードウェア、またはスポーツ）に認識される方法と評価指標はありません。 これは、テスト結果の信頼性と妥当性を確保する主な問題です。 しかし、それは年をとるにつれて業界によってうまく対処されます。



2）ホリバーの問題はますます複雑になっています。 CMSはプラットフォームであり、プラットフォーム（純粋に技術的なものでさえも）は、人間文化の最も根本主義的で保守的で宗教的な概念です。 すべての技術的または精神的なプラットフォームの背後には生きている人々がいるからです。 そして、人々はプラットフォームの価値のプリズム（正統派プロテスタンティズム、自由主義的愛国者、iOS-Android、手続き型プログラミング-OOP、テンプレートのスパゲッティコード-​​MVCなど）を通して、世界を少し異なって認識します。



したがって、プラットフォームを比較しようとするところはどこでも、holivarは自動的に開始されます。 多くの人々は、プラットフォームの教義、価値、およびアイデアに矛盾する議論を受け入れることを単に拒否します。 今日、理学部の学生の意見に基づいて聖書とコーランの比較テストを公開する勇気のある研究者はいません。



それでも、CMSを正しく比較することは可能です。複数の学生にラボを提供するよりもはるかに高価で複雑です。 方法論、測定基準、テスト条件、裁判官、およびほとんどの市場専門家による認識における信頼性の問題。 さらに、適切な研究方法の場合、そのホリビズムは大幅に減少します-コアな熱狂者でさえ、明確で実証済みの事実で議論することはより困難になります。



こことここで書かれたすべての後、私は比較の方法と市場の多くの同僚によってサポートされた開発プラットフォームの選択についての私のビジョンをコミュニティの注意を向けるしかありません。

評価、テストまたは研究

評価は、市場に出回っているさまざまな製品の人気です。 すでに2つまたは3つの評価があり、結果はまったく異なります。 彼らは製品の人気について語っていますが、その品質については語っていません（ただし、品質と人気の間には相関関係があります）。



テストは、製品の消費者特性の比較です。 製品の人気については言及されていませんが、最も人気のあるものは常に比較されます。



市場にはCMSテストはありません。 サイト自体の各開発者または顧客は、独自のテスト結果に基づいて理解および選択する1つの手法に従ってCMSをテストします。



Web開発の経済性またはWebサイト所有権の経済性に対するさまざまなCMS の影響に関する包括的な研究 。 これは、開発者とその顧客が本当に必要としているものです。 彼らは最も有用な情報を運ぶでしょう。 そして、残念ながら、それらは整理するのが最も困難です。

全体または個別のプロパティ

技術的な品質に基づいて2つまたは3つの最高のユニバーサルCMSを比較し、 間違いなく最高の CMSを選択することはほとんど不可能です。 したがって、主要な製品は、個々の欠点を個々の利点で補い、その品質の点で他のリーダーに匹敵するため、リーダーです。 そして、リーダーを部外者と比較することは無意味です。



スコープごとにタスクを絞り込む（ブログ、ストア、クイックサイトに最適なCMS）か、個々のプロパティのテスト（パフォーマンス、開発速度、開発速度など）に分割する方が簡単で現実的です。

同情や指標

これは、Ovchinnikov氏との私の科学的議論の重要な瞬間です。 製品についての人々の意見に基づいて製品の技術的特性を評価することは不可能であると私は信じています（私だけではありません）。 それ以外の場合、製品の特性を比較する代わりに、製品の特性に関する意見の比較を取得します。

意見は世論調査で調査されますが、技術的なテストでは調査されません。

たとえば、アスリートのパフォーマンスの評価を行います（本質的に同じ比較テスト）。

1人のランナーが9.9秒で100メートル走り、もう1人のランナーが9.8秒で走った場合、人々（裁判官でさえ）の意見は結果に影響しません。

フィギュアスケートでは、指標の精度は低く、人々はマークを付けます。 しかし、不正確さは、多数の裁判官、異なる国への所属、そして最も重要なこと-彼らのプロフェッショナリズムによって減少します。 年金受給者と主婦はスケーターの製品の主な消費者ですが、退職者や主婦の意見や同情を調査し​​て勝者を選ぶことはありません。 また、CMSをテストするときに学生の意見に疑問を投げかけ、学生がCMSの消費者であることを正当化します。

適切な人とタスクの設定、適切なテスト条件を選択するだけで、人々の意見に影響を与えることは簡単だと言っているのではありません。 そして、テストの明確な記述を備えたデバイスの測定値は、挑戦するのがより困難です。



さまざまなスポーツと同様に、CMSには簡単に測定できるプロパティがあり、非常に抽象的なプロパティ（たとえば、インストーラーのデザインやアイコンのデザイン）があります。



CMSの測定品質を評価する方法は？ 実行中のように。

それらを機器とメトリックで測定するだけです。 デバイスは、ITトラッカー、ストップウォッチ、ビデオカメラです。 メトリックとは、タスクを完了するための時間とその他のコストです。



CMSの計り知れない品質を評価する方法は？ フィギュアスケートのように。

認められた独立した専門家の意見を聞きます。 専門家を募集する場所は、これに関する別の質問です。

便利さは測定可能です

それは私たちにとって便利であるように思えます。 これは、利便性の真の概念を大きく歪めます。 インク付きのプーシキンのガチョウの羽ペンは、おそらくテキストを操作するための便利なツールのようです。 そして、彼にWordを搭載したラップトップを見せてください。彼はその利点をほとんど認識しません。 しかし、プーシキンがラップトップの習得に時間と労力を費やした場合、ペンはもはやそのような便利なツールとは思えません。



利便性は抽象化ではないことは間違いありません。 また、CMSの利便性は相対的なものではなく、個人の好みや人の経験を除外することができれば、絶対的な（したがって測定可能な）パラメーターです。

したがって、「あなたにとって便利ですか」という意見の調査ではなく、測定によって利便性を評価する必要があります。



CMSの習得に要する時間（最初に会ったときにタスクを完了するのにかかる時間）、個々のユースケースを完了するための時間（アクション）（クリック）によって、CMSの利便性を測定できます。 研究方法論とユーザー事例は、ユーザビリティ学者によって開発されるべきです。



90年代に「ユーザビリティ」、「インターフェース」、「CMS」という言葉がまだわからなかったときに、「労働の科学的組織」という主題が本学で教えられ、会計士や巻き上げ用のコントロールパネルの職場を設計する際にこれらすべての原則が策定されましたクレーンで。



それ以来、インターフェイスの利便性を科学的に評価する方法に根本的に新しいものは登場していません。 アイトラッカーなどのデバイスが登場したばかりで、学生はもちろん、専門家よりも正確に利便性を評価できました。 ところで、私は前回のユーザーエクスペリエンスでこのエクスペリエンスについて話しました。 ただし、ITrackerがない場合は、測定用のストップウォッチと実験の進行状況を記録するビデオカメラで対応できます。

方法論

CMSリーダーの適切なテストは、その方法論と専門家が複数の市場関係者によって合意されているものです。

私が見るように：



1.テストには1-2の人気のあるオープンソースシステムと2-3の人気のある商用



2.テスト済みのCMS機能は個別にテストされます。

各テストでは、テストされたパラメーターに対する外部要因の影響が平準化されます。 つまり、サーバーの動作設定などの品質は、利便性や速度の測定に影響を与えません。 他のすべての要因は、テスト対象の各プラットフォームの要件に等しく、適切でなければなりません。



3.ターゲットオーディエンスは、個別のグループに分けられます。

• 役割別（サイト開発者、コンテンツマネージャー）。 開発者はプログラマーとコーダーに分けることができます。
• システム（初心者、経験豊富なユーザー）の習熟度に応じて。 システムの開発速度と、経験豊富なユーザーによるCMSの日常使用の品質を個別に評価する。
• 社会人口学的特性（人文科学と技術、老若男女、男性と女性）に応じて、さらに深くすることができます。

4.各受験者がいくつかのアクションを実行し、テスターはそれらに基づいて測定可能な結果を​​受け取ります。 すべてのテストは、測定がテスターまたは被験者の意見に依存しないように構成されています。 審査員（専門家）は測定結果を分析して要約します。



5.インターフェース設計のスタイルなどの抽象的な特性を評価する場合にのみ、テスト対象の意見が考慮されます。 すべてのテストの20〜30％を超えない、未測定の基準はほとんどありません。

これらの分野の専門家を巻き込んで抽象的な特性を評価することをお勧めします。

プラットフォームを使用する経済的効果。

経済的効果がなければ、技術的な成果は役に立たない。 サイトの開発または運用でパフォーマンスが向上しない場合、CMSの品質は役に立たない。



つまり、CMSの技術的品質（パフォーマンス、利便性、価格など）のすべての改善は、サイトの所有コストまたはサイトの開発コストのいずれかで明らかになります。 そして、経済的な観点からのみ、これらの技術的品質はビジネスの観点から価値があります。



さまざまな技術的特徴の経済効果を研究する方法論は、単なる技術的特徴よりもさらに複雑であることは明らかです。 しかし、それは実現可能です。



経済効果の研究には、主に2つの主題があります。

1. CMSに応じたサイトの総所有コスト（用語TCO、総所有コストは世界で使用されます）は、以下を考慮します。

• ホスティング費用
• サイトのサポートと開発コスト
• 追加サイトのコスト（ミラー、言語バージョン、デザインテンプレートなど）
• セキュリティ費用
• スタッフのトレーニングとモチベーションのコスト
• スタッフ交換費用
• サイトでの毎日の作業の作業時間の費用
• 品質サポートとドキュメント
• などなど

2）選択したCMSに応じて、 サイトの開発の総コストは次のとおりです。

• 開発者およびコンテンツマネージャーのトレーニングコスト
• 開発者の資格要件
• 必要な資格を持つ開発者の可用性とコスト
• 典型的な開発タスクを実行する複雑さ
• コードの標準化と、プロジェクトの開発プロセスにおける開発者の痛みのない変更の可能性（「すべてを削除してもう一度やり直す」ことなし）
• 品質サポートとドキュメント
• 顧客従業員のトレーニング費用
• などなど

そして、審査員は誰ですか？

テスト結果は、誰が組織したかによって異なります。 テストを信じるには、彼らは自分自身またはテストされた人のいずれかに何かを証明したくない、そしてテスト結果と感情的なつながりを持っていない権威ある中立の人々でなければなりません。



これは、このCMS上で実行されるWebスタジオからのCMSテストが、特に不透明または不適切なテスト方法論の背景に対して不正確になる2番目の重要な理由です。 Web開発市場の代表者からのテスト（これらはすべて、一般的なCMSの好みとベンダーとのビジネス関係を持っています）。 テスターは、自分自身と世界に自分の選択と好みの正しさを証明しようとするだけです。

1つのCMSの1つのアフィリエイトリーダーがそのパフォーマンスを独立してテストし、別のCMSの1つのアフィリエイトリーダーが独立したCMSの人気度をどのように評価したかはすでに見ました。 私たちが少し冷笑的な場合、UMIパートナーの1人が独自の調査を実施するか、独自の評価を行います。

独立した研究者は、実験方法論、Web開発全般、特にCMSについても深く理解する必要があります。

そのような人や会社はどこにありますか？ ありますか？ たぶん、彼らはHabréにいますか？

テストの結果に関係なく、私たちは彼らの専門的な仕事を完全にサポートする準備ができています。

結論

適切なテストにより、顧客と開発者はより多くの情報に基づいてCMSを選択し（広告の約束とブランド認知だけでなく）、CMSメーカーがそれぞれの長所と短所を明確に理解できます。



記事のデザインでは、アーティストのニコライ・コペイキンによる絵画が使用されました 。