写真を使用した1つのゲームのテストについて

ITに携わる多くの友人がいますが、ほぼ全員が私と私の部署が職場で働いていると確信しています。 参考のため、2009年11月からInnovaテスト部門を率いています。



「人間」ソフトウェアを開発する世界の住民にとってのgamedevの世界は、私が言うところの、理解できず素晴らしいものです。 ノームをテストし、エルフのバグを取得し、城の包囲のテスト環境をシミュレートします。 SQA 7日目について、ゲームのテストの詳細を説明しました（ブログにスライドキャストがあります）。



最近、大西洋を開始しました。 これは韓国の開発者NDoorsによるゲームであり、MMORPGとターンベースのバトルという2つの言葉で説明できます。



すべて、ゲーム自体についての詳細はありません。 そして、それをテストすることになるでしょう。



はい、このゲームは開発しませんでしたが、ローカライズ、リリース、サポートするだけでしたが、同様に多くのテストがありました。



ローカライズされたゲームで何をテストしますか？



すでにレポートで述べたように、ゲームのテストは、機能、コンテンツ、およびゲームプレイのテストに分かれています。 ローカライズされたゲームはすでに他の国（少なくとも韓国、大西洋の場合はヨーロッパとアメリカの両方で）で発売されているので、ゲームプレイは最もリスクの低い地域と考えています。 第一に、この部分は他の国の生産で実行されたためです。つまり、エラーの数が最も少なく、第二に、ゲームプレイのこれらのエラーはより効率的にプレイヤーのベータテスターに​​委ねられます。



したがって、コンテンツと機能をテストします。



なぜ機能するのかという疑問が生じます。 結局のところ、機能は他の国でもテストされています。 もちろん、元のゲームのリリース前であっても、コードレベルとユーザーテストの両方のレベルで、開発者によってテストされています。 しかし、ゲームには非常に多くの組み合わせがあり、各エンティティの同じ機能がモデル（またはインターフェイスダイアログ）、アニメーション、音声演技、テキストと組み合わされています。 クライアントアセンブリでエラーが発生する可能性が高くなります。

コンテンツテストと機能テストを組み合わせました。



はい、もちろん、レベル100のコンテンツをテストするために、何週間もスイングする必要がなく、フォレストでNPC（ 非プレイヤーキャラクター ）を探すために必要なクエストを取得する必要があることを別に言わなければなりません。 データベースに特定のプロパティを持つアカウントがあると、管理ツールにアクセスできます。これにより、ゲームの既存のコンテンツでほぼすべてを実行できます：座標のナビゲート、NPCの呼び出し、必要なアイテム、武器や衣服の取得、レベルの上げ下げ、パックでのスキルの習得などd。



テストに戻る



検証の一般的なチェックリストは次のようになりました（ゲームアイテムの例を使用）：



-アイテムが呼び出されます

-モデルがあります

-表示された名前は、呼び出されたアイテムに対応します

-名前にエラーが含まれていない

-表示時に名前が付けられます

-名前はモデルに対応しています

-アイテムがインベントリに表示されます

-アイテムに関する情報は名前に対応しています

-情報にエラーが含まれていない（文法）

-情報が正しく表示される（完全に、インターフェースに配置される）

-情報は対象の仕事に対応します（防御に+10と表示されている場合-防御に実際に+10を与えます）

-アイテムを使用できない場合の正しいメッセージ

-主題はキャラクターによって投げ出されます

-件名を投げるときの正しいメッセージ

-その他の関連記事



それはすべてExcelで次のように見えます：







これらのチェックリストを使用して、ゲームのコンテンツ全体をカバーしました。 ご覧のとおり、機能を見失うことはありません。

そのようなチェックリストは、赤、緑、黄色の色で塗りつぶされ、さらに美しく見えます。



数が少ない



テストを開始した大西洋のバージョンには、約2000個のNPCとモンスター、ほぼ7000個のアイテム、500個の場所、約800個のスキル、多くのインターフェイス、および多くのクエストが含まれていました。 私たち3人は、このボリュームを2か月でマスターしました（年末年始の休憩をとります）。



この間に、455個のローカライズエラーと101個のゲーム機能エラーが見つかり、修正されました。 実際、私にとってこれらのメトリックはより複雑です。重要度と再発見可能性の両方の観点から、修正の時点、およびエラーの所有者の最初の誤った識別までです。 しかし、これは見つかったエラーの例ほど興味深いものではないと思います。



私は貧しい農民の女性です、眠りにつけ、長い間走り続けます



ローカリゼーションエラーの最も単純な例は、性別の誤りです。 「私がローマにいたとき」、顔のないリソースファイルは翻訳者に言います。 「私がローマにいたとき」、画面上の文字は低音で教えてくれます。 しかし実際には、それは壊れやすい若い女性です。







ゲームテキストを翻訳するプロセスに関する小さな叙情的な余談。 それは2つの段階で行われます：最初に、ただ翻訳、そして編集。 さまざまな専門分野のさまざまな人々がこれらの活動に参加します。 ただし、両方とも最初はテキストのみで機能します。 レプリカ、「あなたは何を翻訳していますか、工業用？」は、実際には翻訳者にとってマイナスではなく、テストではマイナスであり、おそらくまったくありませんでした。

翻訳者も編集者も、「マンモス」という言葉が「マンモス」とは異なる方法で翻訳できることを知りませんが、テスターの目には明らかにバグが見えます。







または別の例：絵を見て、オブジェクトの目的を理解するだけで、スクロールが誤ってスタックと呼ばれ、接着剤がまったく治らないことを判断できます。







または、たとえば、テキストフィールドに正しい答えを入力することを意味するクエスト。



何らかの理由で、プログラムで受け入れられた答えはリソースファイルに取り出されず、コードに隠されていたため、質問に答える必要があるクエストは次のとおりです。 「最初に応答を受け入れた「 東京 」、これはロシア語を話すユーザーには完全に自明ではありません。



写真を翻訳してください！



多くのテキストは写真であることが判明しました。 翻訳し、ある種の写真をリクエストし、デザイナーがそれらを編集し、開発者がそれらをクライアントに挿入し、テストしました。

当然、このようなエラーを修正するサイクルは、テキスト内のエラーよりもはるかに長くなります。



ちなみに、修正は必ずしも単語の文字通りの意味でのエラーに当てられたわけではありません。 たとえば、議論の後の戦闘中の移行中にあなたのターンにメッセージがあなたのターンに変換されました。それはその時までに私たちのデザイナーの手によるゲームのスローガンになりました。







ボタンの長さを固定-ゲームテスターの頭痛



個別に、すべてのインターフェイスが実行され、インターフェイス要素上のラベルの正しい配置、ラベルの要素の意味への対応、異なる場所の要素の同じ名前がここでチェックされました。

最初のバージョンのゲーム情報ブックは次のとおりです。







インターフェース要素のサイズは厳密に固定されているため、そのようなテストの後、多くの略語がゲームに登場しますが、意味は保存する必要があることに注意してください。



解決できないケースがありました。 たとえば、「戦闘後に殺されたすべての敵から落ちたすべてのものを1つのアクションで収集する」という意味のボタンには、7文字しか割り当てられていません。 「Take All」を思いついた最短バージョンでさえ、9文字も含まれていました。 プレイヤーも適切なオプションを思い付くことができませんでした。 このアクションを「略奪者」と呼ぼうとしても、何も起こりませんでした。 その結果、このボタンは「すべて検索」と呼ばれ、率直に言って、碑文の対象となる領域には収まりませんが、わかりやすくするために美しさを犠牲にすることにしました。







あたりのルールがわかりません

あなたがいるアライグマのテキスト

何について？



最初は、ゲーム内のすべてのテキストが新しい行に移動すると、単に単語が引き裂かれました。 韓国語では、単語は音節（象形文字）で、ハイフンなしでどこにでも運ばれます。 ヨーロッパとアメリカでは、彼らがそのような移籍でプレーしていることを知って驚いた。 部分的な修正を達成しました。ゲームでは、NPCとのダイアログのテキストのハイフネーションが単語に従って実装されています。 しかし、私たちが見るように、どこでもありません。

だった	になっています

ちなみに、チャットルームのテキストと大西洋のシステムダイアログは、行末の文字でまだ引き裂かれており、修正できませんでした。



引用符は必要ありません



または、そのような場合：書籍「Mortal Shot」などの約500冊の本のリストがあり、それらを読んだ後、キャラクターはスキルを習得します。 テスト中にゲーム内のアイテムを呼び出すチームで、フルネームを入力します-名前に引用符のないアイテムを取得します。







私たちは、恐怖の編集者に行きます！ 翻訳者は引用符なしでファイルを入手し、ロシア語の規則に準拠するために、手で男がすべての名前に引用符を追加したことがわかりました。実際、それは目でよく認識されていました。 したがって、ゲームでは単一引用符ではありません。 開発者がビルドをビルドするためのファイルを取得するシステムをチェックインします-引用符があります。 ゲームには引用符はありません。 ゲームレベルでは、引用符が存在すると問題が発生するため、すべての引用符が削除されることがわかりました。



弱虫のリソースファイル！



大西洋には、ローカライザーとしての私たちにとって非常に大きな欠点があると言わなければなりません。 ローカライズされるはずのソフトウェアをどのように想像しますか？ まあ、明らかに：すべてのテキストはリソースファイルに取り出され、すべての共通要素は変数に入れられ、共通要素へのすべての参照はこれらの変数を参照します。 これには問題がありました。



ほとんどの場合、用語の各言及にはその名前が含まれており、変数への参照は含まれていません。 そして、同じコンセプト自体を異なる方法で翻訳することができます（複数の翻訳者がいます）：







または：







ローカリゼーションは翻訳だけではありません



特にロシアでのゲームのリリースでは、開発者はモスクワとサンクトペテルブルクに場所を作成しました。 おなじみの建築構造を簡単に認識できます。

ローカルNPCではより困難であり、署名なしでは推測が難しい場合があります:)







Kurbskyを識別するには、 facepalmの実行を停止するまで待つ必要があります。







テキストだけでなく



さらに、もちろん、各クライアントアセンブリの煙テスト（テキスト修正のみが含まれている場合でも）。 このような煙テストには、ゲームの基本的な機能のチェックが含まれており、1人で1〜2時間、グループゲームで30分かかります。



他の国で長い間機能しているのに、なぜゲーム自体をテストしているのかとよく聞かれます。 私は答えます：他の国ではバグがないとは思わないでください。 それらの多くがあります、信じてください。 したがって、テストは不要ではありません。



そして、これでさえ最も重要ではありません。 最も重要なのは、バグをビルドすることです。 次のビルドで、モスクワにNPCテクスチャを含むフォルダーを置くことを忘れないという保証はありません。プレイヤーは、少なくともクエストを提供する誰かを探して、人里離れた都市をさまようことはありません。

新しいビルドが正しくインストールされる保証はありません。 暗号化のわずかなエラーのため、チェックサムは収束せず、サーバーはコンポーネントの一部を認識しません。



またはそのようなことさえ：

ゲーム情報ブックでは、すべてのNPCの説明が1つ下に移動しました。 突然。 農民を見ると、旅行者に関する情報が表示されます。これは、NPCのリストの次です。 ところで、このバグは長い間修正できませんでした。 私が間違っていなければ、彼は1か月以上続きました。







ユーザーヘルプ



ゲームのテストは、内部テスト、クローズドベータテスト、オープンベータテストの3つの部分に分かれています。 ローカライズされたゲームのテストも例外ではありません。



また、プレCBTを追加し、アルファテストと呼んでいます。 大西洋の経験豊富なプレイヤーは、ヨーロッパのサーバーでプレイするよう招待され、発見後、喜んでロシア人に切り替えました。

これらの人たちは、翻訳の質を向上させるのに大いに役立ちました。 ロシア語の観点から正しいテキストに実際にセマンティックエラーが含まれていることがわかるのは、彼らだけです。







その結果、アルファテスト期間（2週間）で、ゲーム自体の95個のローカライズバグと31個のバグが発見され、修正されました。



バグを正しく説明するようユーザーに教える方法



また、ベータテスターとのコミュニケーションツールとしてフォーラムを選択したことに注意してください。 ビルドまたはエラーの種類によって分類されたトピックとエラーメッセージのハードフォーマットで閉じたブランチを分離します。 そして失敗しませんでした。 まず、フォーラムは理解しやすく使いやすいツールです。 これを行う必要のない人々があなたの仕事に役立つとき、彼らの通常の環境に最も近い環境を作ることが重要です。 第二に、追跡システムを選択した場合のように、フォーラムによって重複を解析する必要がなくなりました。



アルファテストから始まり、リリースまで、ベータテスターが発見したバグの再現（必要な場合）、処理、割り当て、追跡、およびバグ修正を含む新しいビルドのスモックおよび回帰テストを担当するテスターがプロジェクトに残っていました。



クローズドベータ



内部テストフェーズの終了後、登録したユーザーにアカウントを配り、パブリックサーバーを開き、PTAを開始しました。



PTAバージョンでは、+ 20レベルのコンテンツが開かれたため、テストされていない領域でエラーの大部分が発生しました。 ただし、完全になめられたバージョンをユーザーに公開するためにプロジェクトがPTAを遅らせるのは間違っています。 第一に、彼らは急いで行きたい、そして第二に、彼らは助けたいです！ このゲームの視聴者に適した、十分なものを選択することが重要です。

ベータテスターからのフィードバックから判断すると、かなり高い品質で彼らの期待に応えました。



PTA-これは、まだ多くのバグが存在するような段階です。 多数の法則のおかげです。 1000人のプレイヤーが同じものをくまなく調べた場合、1人が見逃したバグを見つける可能性は非常に高くなります。



サーバー構成のバグを特定できるようになったのはPTA段階です。たとえば、トーナメントは毎日18-00に始まり、10人の参加者がいない場合は5分後に終了します（各数字はパラメーターです）、または6でハンティング制限が解除されます特定の条件に一致する文字の場合のみAM。



PTAでベータテスターが発見したローカライズのバグは、主にクエストテキストに関係していました。 当然のことながら、1日の100番目のクエストを読んでいるテスターは、テストに積極的に参加するためにリリース後にゲーム内の馬を受け取ると主張するベータテスタープレーヤーの好奇心に満ちた視線が、目で見ていることはありません。



真珠がありました。 当然、年齢、教育レベル、プレイヤーの熱意のレベルを制限することはできません。そのため、フォーラムの「バグ」の多くはバグ追跡システムに移行していません。



ソフトサインが欠落している、とユーザーは私たちに言います-まあ、高い音節を持つ人は馴染みがありません：







しかし、ゲーマーのスタイルは別の言語です。 バグレポートとは何ですか：



-「 私は初心者ですが、写真の置き方はわかりませんが、「シーパレス」には最初のボス、提督が彼らに従う穴があり、そのうちの1人が穴のある場所に入ります」

-「メールは受け取りません。さまざまな解像度で試しましたが、とにかく」



つまり、開発者のバグをロシア語から英語に翻訳するだけでなく、ゲーマーから編集者のロシア語のバグに翻訳する必要がありました。



または、別の驚異的なレポートを次に示します。



-「 どこで、どこで走ったか覚えていない-近づくにつれて木の影が動くことに気づいた 」-ビデオなしで報告する。



PTA期間中に、93個のローカライズバグと22個のゲームバグが検出され、修正されました。



オープンベータ



CBTとMBTは、他のボリュームのプレーヤー向けに設計された新しいサーバーを準備していたため、短い休憩がありました。



MBTは、すべての人が既にプレイできる段階ですが、同時にゲームにはバグを含める権利があります。 そして、この時点でのゲームは完全に無料です。 彼女が月額料金のビジネスモデルを持っている場合、無料プレイモデルを持っている場合、人々はサブスクリプションを支払わず、ゲーム内アイテムを販売することで収入を得ます。この期間中、これらのアイテムは購入できません。 ストアはまだゲームに統合されておらず、課金に接続されていません。



もちろん、フォーラムでの非常に多くの投稿に対処することはすでに困難です。 ユーザーレポートを通常のチケットシステムに転送し、フォーラムはモデレーターとコミュニティマネージャーによって既に監視されていました。



ここでは、もちろん、マルチプレイヤーに重点を置いています。 氏族、ギルド、トーナメントは、単に数人でテストすることはできません。 社会的な方向性の複雑なゲームプレイは、実際にこれを理解している人々の助けを借りてテストする方が効果的です。



MBT期間中に、合計で36個のローカライズバグと9個のゲームバグが見つかりました。



テスト中の最高の大西洋のバグ



「 彼はAFCの夜釣りの魅力を残しました。 プロバイダーのIPアドレスの変更による切断がありました。 朝、私は入ることができず、サーバーに接続しようとしたときにログインウィンドウを破棄しました。

ゲームの人々は、私の呪文はオンラインであり、釣り続けていると言いました 。」



長い間、問題が何であるかを本当に理解できませんでした。 すでにそこに記念碑を置くか、韓国人にプレイヤーの名前でNPCゴーストフィッシャーマンとのクエストを依頼することを考えていました。



お金をテストする



ベータテスターが将来的に実稼働になるサーバー上で帝国を構築し始めた一方で、実稼働バージョンがテストサーバー上でテストされていました。 すでに利益を上げることを目的としたもの。 次に、課金システムに接続されたゲームストアが表示され、このストアのコンテンツ（プレイヤーが実際のお金を使うアイテム）がありました。 武器を備えたチェスト、テレポーテーションスクロール、動きを加速する馬があります。



ゲームの金銭的な部分も、大人になったのは初めてではありませんでした。 開発者は、12個以上のエラーを修正する必要がありました。 さらに、ほとんどすべての間違いは、当社と韓国の開発者の共同作業に関係していました。 結局のところ、統合のバグは常に一般的なものです。



お誕生日おめでとう



そして、ここにリリースがあります。 最初に、1つのサーバー、2週間後に2番目のサーバーが開かれました。

リリース後、テスターはベータテスターではなくユーザーであるため、プレーヤーと通信しなくなりました。 サポートサービスがそれらと通信します。 彼女は、ゲームのエラーに関連するユーザーリクエストを送信し、その後、バグに関する通常の作業を行います。



少し後に、アップデートのテストに役立つベータテスターのグループの選択と編成に関する作業が開始されますが、これは後で行われます。



おわりに



これは私のチームのInnovaでの最初のプロジェクトであり、十分にテストしたと言えます。



これは私のテストされた最初のゲームプロジェクトです。 非常に興味深い経験です。



ここでは、サイトのテスト、インストーラーのテスト、自動更新システムのテスト、Frostゲーム保護との統合のテスト、ファイル転送からのクライアントダウンロードのテスト、課金とのゲーム統合のテスト、設定テスト、紹介システムのテスト、構築については説明しませんでしたローカライザーおよび韓国の開発者と連携するプロセス。 これらはすべて一般的なものです。 それらについてプレイヤーに聞くのは面白いでしょう。 そして、私は彼らにありふれたものをあなたに話します。



もちろん、すべての問題を解決したわけではありません。 残っているもののいくつかを次に示します。



-クライアント内の多数のファイルがクイックジャンプに寄与しない：4ギグクライアントには300,000以上のファイルが含まれる

-チャットおよびシステムメッセージでのワードラップは、単純なワードブレイクによって引き続き実行されます。

-戦闘中に表示される一部のメッセージは翻訳されません：ボーナス、スキルアップ、経験値+など

-インターフェースにスペースが存在するにもかかわらず、ミッションの3行の説明は適合しません。







ゲームのいくつかのバグは、年末に予想される次のバージョンで修正される予定です。 クエストのテキストのタイプミスを修正するほど迅速にすべてが行われるわけではありません。



ゲーム開発への私の入り口のスレッドを務めたSashaとZhenyaに感謝します。最大のストレスの瞬間に現れたMaxとStepaに感謝します。プロジェクトをリリースしたMishaに感謝します。 あなたたちは素晴らしいです！