ソフトウェアテストにおける
一般的なエラーの管理について

ソフトウェアテストを行う目的は、エラーを削除することにあります。ただし注意しなければいけないのは、テストは製品の仕様を満たしているかを確認することもソフトウェアテストの目的であるという点です。

ここでは、ソフトウェアテストのエラーを5つに分類してみました。それぞれのエラーについて詳しく紹介していますので、ぜひチェックしてください。

「本物の」エラー

ソフトウェアテストにおけるエラーは、要件と実際に行われた動作の相違があったことに焦点を当てます。色名を示す「グレー」と「グレイ」などの文字の混在もエラーとなりますが、もし非現実的なものがあったとしても指摘事項として報告しなければいけません。

すべてのエラー、不具合を報告することは広範囲なエラーの兆候を見逃さないことに繋がります。もちろん、これらのエラーが問題にならないこともありますが、テスト担当者がそれを判断するのは適切ではありません。

何か不具合が生じたときに権限を持つ担当者に報告することによって、機能の重要な部分に関するエラーを見逃さないメリットがあります。

システム仕様に問題が生じている場合のエラーは、次の3つに分類することもできます。

• 欠陥(Defect)
  …バグと呼ばれるものが、「欠陥」にあたる
  仕様やコードの不備の存在自体を意味する
• フォールト(Fault)
  …バグや欠陥と同義とされることもあるが、ソースコードの不備を指している
• 故障(Failure)
  …不具合が顕在化することにより仕様通りに動作し無、機能が発揮できないもの

これらのエラー種類を理解することにより、ソフトウェアの品質を客観的に評価できます。また、不具合の原因や傾向を可視化することにも繋がるでしょう。

戦術的なテストエラー

テストは失敗してもソフトウェアには問題がない偽陽性エラー、第1種過誤エラーとも呼ばれます。

これらのテストエラーが有益なケースとしては、以下が挙げられます。

• ハードウェアの違いで失敗する機能評価
• ユーザーにほとんど影響がない不一致を訴える自動GUIチェッカー

また、偽陰性エラーや第2種過誤エラーも起こる可能性があります。これは存在する不具合がテストで発見されなかったものであり、エラーとはみなされません。ユーザーが指摘するまで判明しなかったエラーが該当します。

サポート部門はこれらのエラーを検証して製品の責任者に伝えます。これがテスト部門や品質管理部門に伝わる仕組みにはなっていないこともあり、その場合はテスト部門を始めとして組織として第2種過誤エラー自体を把握できないケースもあります。

戦略的なエラー

テスト担当者がテストに関わっていない人がエラーだと気づけない間違いに気付くこともあります。

例を挙げると、今は完璧に動作していても今後技術的な負債が積み重なることによって動作が難しくなると考えられるものです。

このようなシステムの脆弱性もエラーの1つとなりますが、テスト担当者が短期的に気付けるものではありません。

戦略的エラーが生じる要因としては、ライセンスが切れているツールを使用する、移行先の環境にライセンスが対応していないなどが挙げられます。

運用上のエラー

システム運用の際にエラーが起こることがあります。

• ファイルシステムがいっぱいになる
• DNSがオフラインになる
• セキュリティ証明書の期限が切れる

これらの運用上エラーが生じたときにどうするかを明示的に定めているケースもあり、テスト担当者はソフトウェアがリソースの枯渇に正しく対応することを確認しなければいけません。

運用上エラーはテスト担当者にとって重要視されているものではなく、エラー発生時にエンドユーザーにエラー画面を表示することにより通知する、とすることも多く、エンドユーザーに表示される内容について予測できないと報告すれば十分だとも考えられます。

運用上エラーは通常のテストで判明する者ではありません。環境の変化によって発生するものであるということを認識しておきましょう。

ユーザーエラー

ソフトウェア品質分野では、エラーは「間違った結果を生む出す人間の行為」という定義があります。主な内容としては、ソースコード作成における記述ミス、要件提示や設計、実装などの工程における理解不足や見落としなどによって生じるエラーです。

システムの性質ではなく、開発者や設計者の判断やシステム仕様が誤っているものがユーザーエラーなのです。

ユーザーエラーについては製品チームや品質管理チームが協力してあらかじめ考えておくものですが、製品チームが考慮できなかったユーザーエラーはリリース間際にテスト担当者によって発見されてしまうことが多くなってしまいます。できるだけ早くユーザーエラーを発見し、正しく処理するために、ユーザーエラーの記述、追跡する時間を作りましょう。

人間の判断が誤ったこと以外の要因によって引き起こされるエラーは、欠陥(バグ)や障害、故障と呼ばれます。

テスト作業で生じるエラーを前もって認識することが大切

ソフトウェアテストを行うにあたり、様々なエラーが生じる可能性があります。事前にどのようなエラーがあるかをチェックすることにより、テスト担当者が注意・管理することが可能です。

ソフトウェアプログラムでは、必ずエラーが生じるものだと考えてください。そのような不具合をできるだけ早く軽決するために効果的な手段をとることが求められるのです。

ソフトウェアの品質を高めるためにも、エラー管理についての知識を身につけ、役立てましょう。

無償ツールでテストを自動化する場合の注意点を見る

⽇本語のサポートが⼿厚い！
UIテスト自動化ツールを比較