Skip to content

実画像によるserver E2EをCIに追加する #38

Closed

Description

@samunohito

目的

検査用の実画像をビルド済みの apps/server に渡し、実モデルの予測が画像の内容に合っていることをCIで確認する。

既存の apps/server/test/detect-images.integration.test.ts は実モデル・実HTTP通信を使っているが、入力は単色PNGで、画像内容に対する予測の回帰までは検証していない。

対応内容

  • 再配布可能な通常画像とセンシティブ画像を選定する。
  • 299×299に正規化したPNGを、出典・ライセンス・各画像の期待クラスとともにリポジトリへ同梱する。CI実行時の外部画像取得は不要にする。
  • ビルド済みserverを別プロセスで起動し、Bearer認証付きの POST /v1/detect-images で画像を送信する。
  • 各画像について、成功応答、期待クラスが最大確率になること、5クラスの確率が有限値かつ0〜1であることを検証する。確率の完全一致は要求しない。
  • モデル・画像が欠落している場合はCIを失敗させる。E2Eをskipして成功扱いにしない。
  • 画像とHTTP応答の検証処理を、後続のDocker検証でも再利用できる形にする。
  • pnpm test:e2e を追加し、既存CIへ独立したE2Eジョブを追加する。
  • 起動待ちは最大120秒、各HTTPリクエストは最大60秒とし、タイムアウト時は失敗させる。
  • 成功・失敗のどちらでもserverプロセスを終了させる。

CIの実行契機

  • Pull request
  • mainへのpush
  • 手動実行(workflow_dispatch)

完了条件・検証

  • 実画像を入力し、実モデルから期待する予測が返ることをCIで確認できる。
  • 期待クラスと異なる予測、モデル・画像の欠落、起動・HTTP通信のタイムアウトを検出して失敗する。
  • 成功時・失敗時ともserverプロセスが残らない。
  • 既存の単体・統合テスト、型チェック、lintが通る。

対象外

  • 公開APIと本番の判定仕様の変更。サービスは引き続き5クラスの予測確率を返し、センシティブかどうかの最終判定は追加しない。
  • モデル全体の精度評価。固定画像による回帰検証を対象とする。
  • リリース時のDockerイメージ公開処理の変更。

対応順

本Issueを先に対応し、後続のDockerビルド・起動・画像推論のCI(#39)で、ここで追加した画像と検証処理を再利用する。

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Type

    No type

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions