Pega テストカバレッジの目標値とゲート設計|『実行率100%』の罠

テストカバレッジ率を KPI にした途端、チームは『率を上げること』に最適化しはじめる。だが Pega のカバレッジが測るのは実行されたルールの割合であって、アサーションで振る舞いを検証したかどうかではない。数字が緑でも品質が担保されない理由と、率をどう扱えば意味ある品質ゲートになるかを、LSA の視点で整理する。

結論から:カバレッジ率は「監視指標」、合否は「アサーション品質」で決める

Pega でテスト自動化を運用しはじめると、多くのチームが「テストカバレッジ率」を品質の代表値として扱い、やがて「率を上げること」自体が目的になっていきます。しかし、ここには落とし穴があります。

結論を先に言います。

Pega のテストカバレッジ率が測るのは「どの実行可能ルールが実行されたか」であって、「そのルールの振る舞いがアサーションで正しく検証されたか」ではありません。だから率は品質そのものではなく監視指標として扱い、合否(ゲート)は「クリティカルな判断ルールへの到達+アサーション必須」で決める二層構成にします。

「カバレッジ100%だから安心」は、多くの場合、偽の安心です。本記事では、カバレッジが何を測っているのかを正確に押さえたうえで、率をどう扱えば意味ある品質ゲートになるかを、実案件での判断基準として整理します。

カバレッジ率だけのゲートと二層ゲートの比較 全体率に一律しきい値を課すだけのゲートは偽の安心を招く。率を監視指標とし、クリティカルな判断ルールへの到達とアサーションを必須にする二層ゲートが推奨。 カバレッジをどう品質ゲートにする? 合否を「率だけ」で決める? / 「率+アサーション」で決める? 率だけで合否 率+アサーション 一律しきい値ゲート 合否=全体カバレッジ率のみ ・ルールを1回通せば「カバー済み」 ・アサーションの有無を見ない ・率の gaming・偽の安心を招く ・数字が緑でも品質は未検証 二層ゲート(推奨) 率=監視、品質=レビューで担保 ・率は監視指標(低下を検知) ・重要な判断ルールへの到達を必須 ・そのルールにアサーション必須 ・振る舞いの正しさをレビューで確認 迷ったら問う ― その緑は「実行した」だけか、「振る舞いを検証した」か?
図:全体率だけを合否条件にすると偽の安心を招く。率を監視指標に留め、クリティカルな判断ルールへの到達とアサーションを必須にする二層ゲートが推奨。

Pega のテストカバレッジは何を測っているのか

Pega のテストカバレッジは、「実行可能ルール(Pega の用語で executable rules)のうち、テスト実行時に実際に実行された(通過した)ルールの割合」 を示す指標です。アプリケーション単位のカバレッジセッションを開始して操作を記録したり、自動テストの実行時に収集したりして、どのルールが実行されたかを集計します(複数ユーザー・複数セッションの結果を束ねるのがアプリケーションレベルのカバレッジレポートです)。

ここで最も重要なのは、カバレッジが測っているのは 「どのルールが動いたか(実行されたか)」であって、「その振る舞いが正しいと検証されたか」ではない という点です。Pega の公式ドキュメント自身が「ルールはテスト中に一度でも実行(invoke)すればカバー済みとみなす(A rule is covered if you invoke it at least once during the testing)」と定義しており、見ているのは実行の有無だけです。ルールが1回でも実行経路に乗れば、そのルールは「カバー済み」としてカウントされます。結果が正しかったかどうか、期待値と一致したかどうかは、カバレッジ率には一切反映されません。

つまりカバレッジ率は「テストがコードのどこに触れたか」の地図であって、「テストがコードを正しいと保証したか」の証明ではありません。この区別が、以降のすべての判断の土台になります。

「実行率100%」の罠

カバレッジ率が品質の代理指標として危ういのは、次の構造があるからです。

  • アサーションが無い/弱いテストでも率は上がる。 ルールを一度通すだけで「カバー済み」になるため、期待値の検証(アサーション)を一切書かなくても、操作を一通りなぞれば率は跳ね上がります。
  • 率の最大化を目的化すると「偽の安心」を生む。 ダッシュボードが緑(例:カバレッジ90%超)でも、その裏で振る舞いが検証されている保証はどこにもありません。「緑だからリリースしてよい」という判断が、検証されていないロジックを本番に流してしまいます。
  • 数字は上げやすい。 網羅的にクリックして回るテストや、単に画面を開くだけのシナリオを足せば率は上がります。これは品質を上げる作業ではなく、率という数字を上げる作業です。

例を挙げます。ある与信判定の Decision ルールに「スコア≧700なら承認、未満なら却下」というロジックがあるとします。テストがこのルールを一度実行しさえすれば、カバレッジ上は「カバー済み」です。しかし、境界値(699 と 700)で期待どおりに分岐するかをアサーションで検証していなければ、境界のバグは緑のまま素通りします。カバレッジ率は、この最も危険な見落としをまったく検知しません。

カバレッジの「分母」を理解する — 対象外のルールがある

もう一つの誤解は「常に100%を目指すべき」というものです。Pega のカバレッジは すべてのルールタイプを対象にしているわけではなく、計測の対象は「実行可能ルール(executable rules)」に限定されます。 つまり率の分母は「アプリ内の全ルール」ではなく、Pega がカバレッジ対象として扱う実行可能ルール種別だけです。非実行系のルールはそもそも分母に入りません。

分母の意味を理解しないまま100%を追うと、次のような無駄が生じます。

  • 本質的に検証価値の低いルールにまで、率のためだけのテストを量産する
  • そもそも対象外のルールを気にして、達成しようのない100%に消耗する
  • 「率が満たない=品質が低い」と短絡し、意味の薄いテストで数字だけ埋める

目指すべきは分母全体の100%ではなく、「業務上クリティカルな判断ロジックが、到達され、かつアサーションで検証されている」状態です。どのルールタイプがカバレッジ対象になるか、レポート UI で何がどう表示されるかは Pega Platform のバージョンによって異なるため、導入版の公式ドキュメントで対象範囲を必ず確認してください。

カバレッジ対象のルール種別・レポート画面・ゲート設定の手段はプラットフォーム版により差があります。「100%」という数字の意味は、その版の分母定義に依存します。

ゲート化するなら:一律しきい値より「到達+アサーション」

カバレッジをリリース可否の条件(品質ゲート)に使うこと自体は有効です。問題は「使い方」です。ありがちな失敗は、「全体カバレッジ率が X% 未満ならリリース不可」という一律しきい値だけをゲートにすることです。前述のとおり、率はアサーションの有無を見ないので、この方式は「率を満たすためだけの無意味なテスト」を誘発します(=gaming)。

推奨するのは、次の二層構成です。全体率は「時系列で下降していないか」を見る監視指標として横に置き、合否そのものは重要ロジックの検証状態で決めます。

観点一律しきい値ゲート(アンチパターン)二層ゲート(推奨)
合否条件全体カバレッジ率が X% 以上かクリティカル判断ルールへの到達+アサーション
率の位置づけ合否そのもの監視指標(低下の検知に使う)
アサーション見ない必須(レビューで担保)
招きやすい挙動率の gaming・偽の安心振る舞いの検証にインセンティブが向く
対象範囲全ルール(対象外まで分母で悩む)業務上重要な判断ロジックに集中
数字が緑のとき品質は未検証のことがある重要ロジックは検証済み

一律しきい値を「全体率」に課すのをやめ、クリティカルな判断ルール(When/Decision/Flow/Activity など、業務の意思決定を担うルール)に絞って「到達(カバー)されていること」と「アサーションで振る舞いが検証されていること」の両方を必須にする——これが実務での型です。どのルールを「クリティカル」とみなすかは、業務上の分岐・金額・権限・外部連携に関わる判断ロジックを起点に、チームで明示的にリスト化しておきます。

Deployment Manager にどう組み込むか

Pega の CI/CD を Deployment Manager 等で組む場合、カバレッジをパイプラインのマージ/デプロイ条件に組み込めます。ここでやってはいけないのは、繰り返しになりますが 「率だけを合否条件にする」 ことです。パイプラインが率で止まる/通る設計にすると、開発者の関心は自然と「率をどう満たすか」に最適化され、アサーションの質は問われなくなります。

実際、Deployment Manager には標準で「Validate test coverage」タスクが用意されており、アプリケーション/データタイプ/ケースタイプごとにカバレッジ率のしきい値(Infinity ‘25 時点の既定値は 70%)を設定し、実測がそれを下回ればパイプラインを失敗させられます。ただしこのタスクが判定するのは あくまでカバレッジ率であって、アサーションの有無や質は一切見ません。つまり標準のゲート機構そのものが「率ベース」である以上、これを唯一の合否条件にすれば、前述の gaming をそのまま招きます。

安全なのは、機械と人でレイヤーを分ける二層構成です。

  • 率は監視指標としてパイプラインで可視化する。 前回より大きく下がっていないか、クリティカルな領域のカバレッジが確保されているかを機械的にチェックする。数字の追跡はここまで。
  • アサーションの品質はレビューで担保する。 「このテストは何を検証しているのか(期待値の検証があるか、境界値を突いているか)」は人間のコードレビュー/テストレビューで確認する。ここは数字では代替できません。

率という機械的な監視と、アサーション品質という人間のレビュー——この二層に分けることで、gaming を招かずにカバレッジを活かせます。なお、Deployment Manager でカバレッジをゲート化する具体的な設定手段はバージョンによって異なるため、導入版のドキュメントで確認してください。

よくある失敗

失敗1:カバレッジ率100%を KPI にする

率をチームの目標数値に据えた瞬間、チームは「率を上げること」に最適化します。アサーションの薄いテストが量産され、ダッシュボードは緑になり、しかしバグは減りません。率は結果として見る監視指標であって、追いかける目標にした瞬間に意味を失います。

失敗2:アサーション無しのテストで率だけ埋める

「とりあえずカバー率を上げたい」という理由で、ルールを通すだけ・画面を開くだけのテストを足すパターン。これはテスト資産が増えたように見えて、実際には保守対象(脆いテスト)を増やしただけで、品質は1ミリも上がっていません。1本のテストを足す前に「これは何をアサートするのか」を必ず言語化します。

失敗3:分母を理解せず対象外ルールに消耗する

カバレッジ対象外のルールがあることを知らずに「なぜ100%にならないのか」と悩み、無理に数字を埋めようとするパターン。分母の定義(どのルールタイプが対象か)を導入版のドキュメントで押さえれば、追うべきは全体100%ではなく重要ロジックの検証だと分かります。

まとめ

  • Pega のカバレッジ率が測るのは 「実行されたルールの割合」 であって、「振る舞いが検証されたか」ではない。ルールを1回通せば「カバー済み」になる。
  • だから 「実行率100%」は偽の安心を生みやすい。率の最大化を目的化すると、アサーションの薄いテストが量産される。
  • カバレッジには 対象外のルールがある。分母を理解せず100%を追うと、意味の薄いテストの量産につながる。
  • ゲート化するなら 一律しきい値ではなく「クリティカルな判断ルールへの到達+アサーション必須」。全体率は監視指標に留める。
  • Deployment Manager では 率=機械的な監視、アサーション品質=人のレビュー の二層構成にすると gaming を招かない。
  • 対象ルール種別・レポート UI・ゲート設定手段は バージョン依存。導入版のドキュメントで確認する。

カバレッジは「テストが触れた範囲の地図」です。地図が広いことと、目的地に正しく着けることは別の話。率を賢く監視しつつ、品質はアサーションとレビューで担保する——この切り分けが、意味あるテスト戦略の分かれ目になります。


Pega のテスト戦略・品質ゲート設計でお困りの際は、Pega DevOps/CI-CD 導入支援 や Pega Platform 開発支援 をご利用ください。Pega 認定資格の最高位 LSA(Lead System Architect)を保有するコンサルタントが、カバレッジの扱い方から CI 組み込みまでご支援します。

関連リンク

このテーマの記事をまとめて読む: Pega の DevOps・テスト・品質 用語は Pega 用語集 で引けます

関連記事

Pega Process AI の予測をケースに組み込む判断|適応モデルと決定ルールの使い分け

ケースの振り分けや優先度づけを「予測に任せるか、ルールで決め切るか」は、多くの実装で迷う分岐点です。本記事では Pega Process AI の予測をどこに、どう組み込むべきかを、モデル選定・フォールバック設計・運用監視の観点から整理し、実装者が具体的に判断できる形にまとめます。

記事を読む

Pega 日時・タイムゾーン設計|DateTime と Date の使い分けと UTC 保存の落とし穴

「登録日が1日ずれる」「バッチの集計時刻が合わない」——多言語・多地域展開の Pega アプリで LSA が必ず直面するのが日時とタイムゾーンの設計だ。DateTime を UTC で保存し表示で現地時刻へ変換するモデルを理解せず、暦上の日付まで DateTime にしてしまうと、タイムゾーン変換で日付が前後する。プロパティ型の選択基準から整理する。

記事を読む

Pega ケース移行の設計判断|進行中ケースを移すか切替後に新規作成か

「旧システムの進行中案件をPegaへそのまま移せますか?」— レガシー移行で必ず出るこの問いに、LSAは安易に頷けない。過去フローの完全再現はほぼ不可能で、現在ステージと業務データの再現に絞るのが定石だ。本記事はオープンケース移行と切替後新規作成の分岐、SLA・アサインメント・監査履歴の扱い、段階移行とビッグバンの判断を、失敗例とともに整理する。

記事を読む

設計標準と設計レビューのご相談

判断の理由と適用範囲まで書いた設計標準をもとに、設計レビューと内製化を支援しています。