A guard that detects contamination in AI-generated content, and an operating rule that never treats regeneration alone as "done"

この文書の適用条件

そのまま実行できるコマンド

# 対象: テキスト生成パイプラインの出力ファイル・ログ
# 権限: 出力ファイルの読み取り権限
# 変更作業: なし（参照のみ）
# Production実行: 可能
#
# 既知の拒否・謝罪定型文、指示文の漏れ込みを出力テキストからスキャンする（例）
grep -RniE "(申し訳ございません|as an ai|以下の指示に従って|I cannot fulfill)" ./generated-output/

# 期待される末尾構造（結語・フッタ等）が欠けている＝途中切断の疑いがあるファイルを洗い出す
for f in ./generated-output/*.md; do
  tail -c 200 "$f" | grep -q "《期待する末尾の文言》" || echo "TRUNCATION SUSPECT: $f"
done

# 対象: 生成→配信の間に挟むゲート処理
# 権限: 生成パイプラインの設定・コード変更権限
# 変更作業: あり（配信前に検証ステップを追加し、失敗時は再生成をトリガーする）
# Production実行: 可能（自動再生成の上限回数を設定した上で）
#
# 1. 生成が終わったら、配信・保存の前に既知パターンのスキャンを実行する
# 2. 検出されたら配信をブロックし、プロンプトを調整して再生成する（上限N回）
# 3. 上限に達しても解消しない場合は人間のレビューに回す（自動配信しない）
# 4. 再生成が成功した場合も、処理ログの成功だけで完了と判断せず、
#    出力された本文を直接確認してから完了とする（ここが最も見落とされやすい）

結果の読み方

こういう状況で使います

• Scheduled reports sometimes contain text not meant for the reader — apology boilerplate, fragments of instructions
• Generation sometimes gets delivered/stored while cut off mid-way
• Regenerating the same section sometimes fixes it, sometimes does not
• Nobody notices the contamination until a human reads the body directly

考えられる原因（可能性の高い順）

1. 01

   The assumption that "regenerating fixes it" was operated on without ever being verified

   The regenerated output was never checked directly — only whether processing completed normally was checked, and that was treated as "done." In reality the same contamination pattern can recur, or a different one can appear.

2. 02

   There was no mechanical check between generation and delivery

   The LLM's output was always treated as well-formed, correct text and delivered/stored as-is.

3. 03

   Contamination patterns are not uniform

   Refusal text, mid-generation cutoffs, leaked instructions, mixed-language contamination — there are multiple distinct types, and no single simple check covers them all.

4. 04

   With unattended scheduled execution, no human is present to notice anomalies

   Periodic batch jobs are not watched by a human right after they run, so the structure itself guarantees the problem is noticed only later.

確認手順

1. 1

   Compile the known contamination patterns

   参照のみ

   Gather real past examples of refusal text, mid-generation cutoffs, leaked instructions, and mixed-language contamination as the basis for detection rules.

2. 2

   Check whether scanning is feasible right after generation, before delivery

   参照のみ

   Since noticing after delivery means more rework, check where in the pipeline a check can be inserted.

3. 3

   Check whether the operation actually reads the body directly after regeneration

   参照のみ

   "It re-ran" and "it's fixed" are different things. Check whether the procedure looks at the actual text, not just the processing log.

対応方法

バージョン・環境による違い

これで解決しない場合に確認すること

• Look back at recent "resolved" calls and check whether they actually involved checking the output

  Check for cases where something was marked done based only on a successful processing log.

• Check whether the same guard exists on other generation pipelines

  A problem found in one pipeline is likely to be common to similar generation processes elsewhere.

• Check whether the guard's trigger rate can be tracked over time

  If it cannot be tracked, you will be slow to notice a regression in the model or prompt.

この文書の根拠と限界

よくある質問

この文書がカバーする質問

• How to guarantee the quality of automatically generated AI reports
• How to deal with instruction fragments leaking into LLM output

リスク表示の意味

• 参照のみデータと設定を変更しません。
• 低影響は限定的ですが、権限と負荷の確認が必要です。
• 中性能・ロック・コストに影響する可能性があります。
• 高障害・データ損失・復旧作業が発生する可能性があります。
• 専門家レビュー必須本番適用前に別途レビューが必須です。

GIIPの対応範囲

For periodically generated reports and other AI-generated content, GIIP runs a check before delivery that detects known contamination patterns; when one fires, it triggers automatic regeneration and only marks the job done after directly checking the regenerated body. The policy is to include this check by default whenever a similar generation pipeline is newly built.

関連サービス

• AI運用パイプラインのレビューを依頼する
• 自動化ジョブの承認・ロールバック設計を相談する