標準DO-178B / C（КТ-178В）、EN 50126、IEC 61508、ISO 26262、FDA、IEC 62304に準拠したソフトウェアテスト用の自動検証ツールの使用

投稿の著者からの紹介

8年以上にわたって重要なシステムのソフトウェア開発の経験があり、重要なシステム（航空宇宙、医療、輸送、産業）のソフトウェアの開発と検証に関連する資料をコミュニティに紹介したいと思います。 外国の同僚からの多くの興味深い記事の翻訳と改作に同意したので、このリソースを使用することにしました。 記事が私たちのコミュニティに興味があるなら、私はうれしいです。 この記事では、Vector Software、Incの資料を使用しています。 VectorCAST自動検証ツールの使用例を検討します。

この記事では、DO-178B / C（-178）規格に焦点を当てていますが、この記事は、EN 50126、IEC 61508、ISO 26262、FDA、IEC 62304規格に準拠した使用にも関連しています。

私はコメントまたはPMで質問に答えます。

はじめに

この記事では、DO-178BおよびDO-178C（CT-178B）標準のセクション6.0で定義されているソフトウェア検証プロセスの目標を達成するためにVectorCASTの組み込みソフトウェアテストプラットフォームを使用する方法について説明します。航空技術の認証のための機器とシステム。」 また、このドキュメントでは、セクション12「ツールの適格性確認プロセス」で2つの標準の違いを強調しています。

標準DO-178BおよびDO-178Cとは何ですか

DO-178Bは、1992年12月にRTCA、Incによって最初に公開されました。 この文書では、FAA、EASA、TransportCanadaなどの搭載機器や認証機関を開発する組織が適用する基本原則の概要を説明しました。 DO-178Bの開発は、RTCAとEUROCAEの共同作業の結果であり、後者はED-12Bと呼ばれる文書を公開しました。 証明機関のソフトウェア開発チーム（CAST）は、最初の公開後にサポートドキュメントを開発しました。



DO-178Cは、DO-178Bを主要文書として置き換えます。これにより、認証機関はソフトウェアを含むすべての商用航空宇宙システムを承認します。 文書DO-178Cは、航空電子工学の分野におけるソフトウェア開発の観点から収集された経験と情報に照らして、DO-178Bを改訂しています。 DO-178C（ED-12C）と呼ばれる新しい文書が2011年11月に作成され、2011年12月にRTCAによって承認され、2012年1月に使用可能になりました。



DO-178BとDO-178C（DO-178B / C）はどちらも、オンボードシステムを開発する際に従うべきプロセスを規制します。 DO-178B / C規格に準拠したソフトウェア検証プロセスの重要な要件の1つは、高レベルおよび低レベルのソフトウェアの要件のテストと組み合わせて、構造コードカバレッジを達成することです。



システムのセキュリティ評価に基づいて、障害状態のカテゴリが確立されました。 これらのカテゴリにより、アビオニクス分野での安全な運用に必要なソフトウェアの整合性のレベルが決まります。 ドキュメントDO-178B / Cは、システム全体の機能への影響に応じて、ソフトウェアを5つの重要度に分類します。 以下の表は、DO-178B / Cに準拠した故障状態カテゴリと構造的カバレッジ目標との関係を示しています。

レベル	故障検出	構造コーティングの種類
A	ソフトウェアはシステムと航空機の壊滅的な故障につながる可能性があります	条件とブランチの修正されたカバレッジ。 枝カバー; 指示の範囲;
B	ソフトウェアは、システムと航空機の緊急故障状態につながる可能性があります	枝カバー; 指示の範囲;
C	ソフトウェアは、システムと航空機の複雑な障害につながる可能性があります	指示の範囲;
D	ソフトウェアは、航空機の「複雑な飛行状態」などの障害状態につながる可能性があります	不要
E	ソフトウェアは、航空機の運用能力に影響を与えることなく、障害状態につながる可能性があります	不要

VectorCASTとは

VectorCASTのツールラインは、レベルAを含むDO-178B / Cで指定されたすべてのレベルでの構造コードカバレッジデータに関する情報の収集とレポートの作成、およびDO-178B / Cでの検証に必要なすべてのテスト成果物の作成をサポートします。 VectorCAST製品ラインは、5つの補完的なテクノロジーで構成されています。

• VectorCAST / C ++ / Ada-これらのツールは、Cで記述されたソースモジュールのテストプロセスを自動化し、
  
  C ++またはAda-単体テストと統合テストの両方。 カバレッジデータをVectorCAST /カバーデータと組み合わせて、100％のカバレッジを実現できます。
• VectorCAST / Cover -C、C ++、およびAdaの機能および/またはシステムテストの実行中にコードカバレッジアーティファクトを作成するように設計されています。
• VectorCAST / RGW-テストスクリプトVectorCASTでリンク要件を提供します。
• VectorCAST / RSP - VectorCAST / C ++またはVectorCAST / Adaを拡張し、ターゲットプラットフォームおよび/またはシミュレーション環境でリアルタイムアプリケーションをテストする機能を提供します。
• VectorCAST / Manage-単体テストおよび統合テストの回帰テストのアクティビティを自動化するために使用されます。

また、これらのツールは、低レベルのソフトウェア要件のテストの事実を確認するためのテストケースの作成と管理もサポートしています。

VectorCASTがDO-178B / Cをサポートする方法

ソフトウェア検証プロセスの目的は、DO-178B / C規格のセクション6.0で定義されています。

セクション6.4-「ソフトウェアテスト」

このセクションでは、3種類のテストを設定します。



ハードウェア/ソフトウェア統合テスト

このタイプのテストは、高度な要件を満たすために使用され、実行可能なプログラムの本格的なイメージを使用してターゲット機器で実行されます。 このタイプのテストはVectorCAST / Coverを使用します。これは、システムおよび/または機能レベルのテスト手順の実行中にコードカバレッジを登録します。



ソフトウェア統合テスト

ソフトウェア統合テストは、要素の相互接続性を確認します。 このレベルでのテストは、VectorCAST / C ++またはVectorCAST / Adaを使用して実行され、一度に多くのソフトウェアコンポーネントがテストされます。 このタイプのテストをサポートするための本格的なテストプログラムが自動的に生成され、ソフトウェア要件を個別のテストスクリプトでマークして、すべての要件がテストされていることを確認できます。



低レベルのテスト

低レベルの要件をテストするために使用され、通常は一連のユニットテストによって実行され、個別のソースコードモジュールを分離します。 このテスト段階では、VectorCAST / C ++およびVectorCAST / Adaが使用されます。

セクション6.4.1-「テスト環境」

このセクションでは、ソフトウェアテストの目標を達成するために複数のテスト環境が必要になる場合があることを示します。 ターゲットプラットフォームでのアプリケーションのテストは「理想的な」環境と見なされますが、完全に統合された環境での要件指向のカバレッジと構造的カバレッジの実装と収集は実行不可能な場合があります。 シミュレートされた環境の小さな分離コンポーネントでテストが必要になる場合があります。



VectorCASTは、ターゲットプラットフォームでのテスト、または通常コンパイラプロバイダーが提供するシミュレーターの使用を完全にサポートしています。 テストされた分離コンポーネントの構造コーティングは、完全な統合テスト中に収集されたコーティングと組み合わせて、コーティングメトリックの集約された表示を実証できます。



VectorCASTテストケースは、DDTテストアプローチのソースコードに関係なくサポートされます。 この手法を使用すると、開発者のマシン上、シミュレーター内、またはターゲットプラットフォーム上でテストを完全自動モードで直接実行できます。

セクション6.4.2-「要件に基づくテストケースの選択」

DO-178B / Cは、ソースコードに基づく検証ではなく、ソフトウェアの検証が要件に基づいていることを示します。 要件ベースのテストでは、テスターまたは開発者が入力コードを作成して、最初に要件を考慮するコードを実行する必要があります。 このタイプのテストには、入力値の許容範囲内のテストケースと堅牢なテストの2つの形式があります。

セクション6.4.2.1-「有効範囲内のテスト例」

通常の値の範囲をテストする目的は、通常の入力データと動作モードに応答するソフトウェアの能力を実証することです。 より正確には、入力データの実数値と整数値を確認する必要があります。 VectorCASTは、次の図に示すように、GUIまたはスクリプトを使用してこれらの値を設定する機能を提供します。



時間に関連する関数の場合、テストされた関数の特性の正確性を確保するために、複数のコードの反復を実行する必要があります。



VectorCASTは、時間をかけてテストを反復するためのシンプルで便利な方法を提供します。 この機能は「複合テスト」と呼ばれます。 テスターは、単一のテストを何度も実行したり、長期にわたって複数のテストを実行したりできるため、実行中にデータが一定に保たれます。



論理式で表される要件の場合、MC / DCが必要になる場合があります。 VectorCASTは、MC / DCカバレッジと等価マトリックスを提供します。

セクション6.4.2.2-「堅牢なテスト例」

堅牢なテストスクリプトの目的は、ソフトウェアが特定の範囲外の値や条件に応答する能力を実証することです。 VectorCASTは、あらゆるタイプの値または異常値の「範囲外」テストをサポートしています。 これを行うには、オプションを使用して、値の通常の範囲のチェックを無効にします。 次の図は、範囲外の値を設定する例を示しています。

セクション6.4.3-「要件テストの方法」

要件に基づいたテスト方法（テスト）の構成は次のとおりです。

• ハードウェア/ソフトウェア統合テスト
• ソフトウェア統合テスト
• 低レベルのテスト

VectorCASTは、3つのレベルのテストすべてをサポートしています。 ハードウェア/ソフトウェア統合テストの場合、VectorCASTはレベルA、B、およびCに開発するプロジェクトに構造カバレッジ機能を提供します。このテストは、ターゲットプラットフォーム上またはターゲットプラットフォームシミュレーターを使用して実行できます。



ソフトウェアの統合と低レベルのテストのために、VectorCASTは実行可能なテストプログラムを自動的に設計し、個々のコンポーネントまたはコンポーネントセットのテストを提供することを可能にします。 これらのテスト段階では、構造コーティングが組み立てられ、テストの完全性を評価するために単一のユニットに結合されます。

セクション6.4.4-「テストカバー分析」

テストカバレッジ分析には、構造コーティングおよび要件に基づいたコーティングの分析のテストが含まれます。 最初のステップは、テストケースを分析して、すべての要件が特定の/特定のテストケースに関連していることを確認することです。 次のステップは、要件に基づいてテストが完了したことを確認することです。



VectorCASTコードカバレッジ分析は、一連のテストケースデータによって実行されたソースコードの行（命令）、ソースコードの分岐（ブランチ）、または同等のペア（MC / DC）を決定します。 レポートには、テストスイートの完全性が示されます。 テストされていないコードを分析したら、簡単に戻って、コードのこれらの部分をテストするためのスクリプトを開発できます。

セクション6.4.4.1-「要件に基づくテストコーティングの分析」

VectorCAST / RGW（RequirementsGateway）を使用すると、ソフトウェア要件とテストケースの関係を追跡して、カバレッジ分析の要件を満たすことができます。



VectorCAST / RGW（RequirementsGateway）を使用すると、要件管理ツールとVectorCASTテストツール間のデータフローを作成できます。 シンプルで直感的なインターフェイスを使用して、開発者はVectorCASTテストスクリプトに要件をすばやく添付できます。



テストケースを少なくとも1回実行すると、トレーサビリティメトリックをVectorCASTまたは要件管理ツールから表示できます。 ユーザーは、VectorCASTが要件データベースに返す属性を完全に制御できます。 「テスト名」、「テスト結果」（成功/失敗/結果の欠如）などのデータは、ユーザーが選択した要件データベースの属性に関連付けることができます。

セクション6.4.4.2-「構造コーティング分析」

この分析の目的は、要件に基づいて、テスト中にコードのどの部分が実行されなかったかを判断することです。



VectorCASTを使用すると、テスト作業の効果を計算し、テストベースのテスト中にアプリケーションのどの部分が実行されたかを判断できます。 これは、テストの完全性を分析するための便利なツールであり、テストされていないコードでアプリケーションをリリースする可能性を排除します。 VectorCASTを使用すると、アプリケーションの任意の部分またはアプリケーション全体を分析できます。 VectorCASTは、分析されたファイルごとに、次の情報を含むソースコードビューアーを作成します。

• カバレッジサマリーは、ソースコードの色分けされたビューであり、コードが完全に、部分的に覆われているか、覆われていないかを判断します。
• メトリックの概要は、各ルーチンのソースコードの複雑度リスト（McCabe）と現在のソースコードのカバレッジステータスを提供します。
• 条件付きカバレッジ分析では、各サブプログラムのすべての制御パスが表示されます。
• MC / DCは、RTCA DO-178B / CレベルAソフトウェア用です。

MC / DC分析は、各サブ条件が条件全体の結果に独立して作用できることを示しています。 これを確認するには、条件の結果の値と各サブ条件の値を記録できる必要があります。 VectorCAST / Coverは、この情報を2つの形式で収集します。コメント付きのソースコードのリストと、各論理条件のペア比較のマトリックスです。

レベルAの構造カバレッジの違い

DO-178BとDO-178Cの規格には大きな違いがあります。これは、レベルAのソフトウェアの構造的カバレッジを指します。レベルAに関係しないすべての場合、構造コーティングの分析はソースコードを使用して実行されます。 レベルAでは、コンパイラがソースコード演算子に直接トレースされないオブジェクトコードを生成する場合、追加の検証を実行して、そのようなコードの正確性を確認する必要があります。



「追加の検証を実行する必要があります」というフレーズの意味は、DO-178BとDO-178Cでは異なります。 DO-178Bは、オブジェクトコードに対して追加の検証を実行する必要があると述べています。 DO-178Cはこの要件を削除し、追加の検証を実行する必要があると単に述べています。

セクション12.1.3-「アプリケーション条件または開発環境の変更」

以前に開発されたアプリケーションの使用および変更には、新しい開発環境、コンパイラ、ターゲットプロセッサ、または元のアプリケーションで使用されたもの以外のソフトウェアとの統合が含まれます。



異なるコンパイラまたは異なるコンパイラオプションのセットを使用すると、結果として異なるオブジェクトコードが得られ、以前のソフトウェアの検証結果は新しいアプリケーションに適さない場合があります。

ターゲットプロセッサまたはコンパイラの変更

VectorCASTで開発されたすべてのテストは、ターゲットプラットフォームに依存しないと見なされることに注意することが重要です。 VectorCASTテストは、アプリケーションが使用するデータに対応していますが、ターゲットプロセッサ自体には対応していません。 アプリケーションを新しいターゲットプロセッサに移植すると、VectorCASTテストを新しいターゲット環境で簡単に再実行できます。



新しいコンパイラを使用する場合も同じアプローチが適用されます。 VectorCASTの回帰テストメカニズムは、新しいクロスコンパイラを使用して実行中のすべてのテストプログラムを再構築し、既存のすべてのテストを再実行して、新しい環境でのテスト結果を検証します。 新しいターゲットプロセッサまたはコンパイラ環境では、新しい環境用のVectorCASTツールの再認定が必要になる場合があります。

ツールキットの資格

全体的なツール認定プロセスは変更されていませんが、ツール認定プロセスの説明にはDO-178BとDO-178Cの間にいくつかの違いがあります。



両方の規格は、ドキュメントで定義された検証プロセスが無視されるか、切り捨てられるか、未確認の出力のソフトウェアツールを使用して自動化される場合、ソフトウェア検証ツールの資格が必要であることを確立します。



VectorCASTは、DO-178BおよびDO-178Cで定義されている検証プロセスの自動化を指します。 ソフトウェアツールの認定は、DO-178BおよびDO-178C規格のセクション12.2によって承認されています。



セクション12.2.1 DO-178Cは次のように述べています。「ツールは、システムをサポートするプログラム認定アスペクト計画（PSAC）でツールを使用する意図が承認されている特定のシステムでのみ使用できます。 以前に1つのシステムに適したツールを別のシステムで使用する場合、別のシステムのコンテキスト内で再トレーニングする必要があります。

ツール資格の基準の違い

DO-178Bに従って検証ソフトウェアのツールを認定するためのガイダンスは非常に簡単です。 機器のサプライヤには、ツール操作要件（TOR）とツール認定データ（TQD）の2つの文書が必要です。 これらの文書は、通常の動作条件下でのソフトウェア要件、およびソフトウェア関連のテストとテスト結果を決定します。



DO-178Cの場合、ソフトウェアライフサイクルにおけるツールの影響を評価するには、最初にツールスキルレベル（TQL）を決定する必要があります。 12.2.2項では、機器の影響を決定する「基準レベル」を確立しています。 次の3つのレベルの基準が定義されています。

• 基準1：出力がオンボードソフトウェアの一部であるため、エラーが発生する可能性があるツール。
• 基準2：エラーを検出できない検証プロセスを自動化し、その出力を使用して例外または切り捨てを確認するツール：
  
  
  • ソフトウェアツールによる自動化以外の検証プロセス、または
  • 搭載ソフトウェアに影響を与える可能性のある開発プロセス。
• 基準3：使用目的の一部としてエラーを検出できない可能性のあるツール。

これらの基準レベルとソフトウェアレベル（AからD）に基づいて、以下の表に定義されているように資格レベル（TQL）を設定できます。



適格なソフトウェア検証ツール（VectorCASTなど）の責任は、通常、メインカウンターパーティとツールサプライヤの間で共有されます。 システムのセキュリティ評価に基づいて、障害ステータスのカテゴリが特定されました。 これらのカテゴリは、搭載電子機器の安全な動作に必要なソフトウェアの整合性のレベルを確立します。



ツールの認定プロセスをさらにガイドするために、DO-178Cと相互に関連するRTCA文書DO-330「ソフトウェアツールの認定に関する推奨事項」が開発されました。

VectorCASTツールの資格

VectorCASTをソフトウェア検証ツールとして認定するために、Vector Softwareはツールを使用する各プロジェクトについて次の情報を公開します。

ツールのパフォーマンス

機器性能要件文書（TOR）には以下が含まれます。

• 検証可能な要件におけるツール機能の説明
• プロジェクトの運営条件
• 構成管理プロセス
• VectorCASTがテスト要件を満たした検証を達成する方法

ツール認定データ

ツール認定データ（TQD）には以下が含まれます。

• テストデータとツールテスト結果

ツールの認定プロセスには、通常、認定ユーザーと適切な認証機関および/またはDERとのやり取りが含まれます。

VectorCASTツールの認定プロセス

VectorCASTは、資格資料の予備バージョンを顧客に提供します。 さらに、資格のあるユーザーがプロジェクトと同じ環境でテストを実行できるように、一連のテストが送信されます。 Vector Softwareには、必要に応じてドキュメントとテストの変更が含まれています。 Vector Softwareは、最終承認のためにTQDバージョン1.0を提出します。