失敗案例
為什麼要公開失敗案例
可靠性框架不應只靠成功案例判斷,也要看它能不能讓失敗被看見、被攔截,並能重新重現。以下是 AFP 的初始失敗分類。
初始分類
AFP-F001 · 無依據的高確信主張
系統用高確信語氣陳述事實,但現有證據不足以支持該結論。
預期處理: 找出無依據主張、降低確信度或標示為尚未解決,並在升格結論前要求證據。
AFP-F002 · 來源洗白
把二手摘要、搜尋片段或模型生成的敘述,當成原始證據使用。
預期處理: 保留來源層級,重要主張盡量追溯到可取得的最直接來源。
AFP-F003 · 漏掉反證
工作流程只收集支持某個結論的證據,沒有主動尋找可能推翻它的重要資訊。
預期處理: 在最終收斂前執行明確的反證檢查。
AFP-F004 · 工具結果解讀錯誤
工具本身成功回傳資料,但模型在閱讀、彙整或套用結果時出錯。
預期處理: 區分「工具成功執行」與「結果被正確解讀」,並對衍生主張另行驗證。
AFP-F005 · 過早收斂
尚有未解決的假設、衝突或阻擋條件時,系統就提前給出確定決策。
預期處理: 保留 unresolved 狀態,在必要閘門通過前不得升格結論。
AFP-F006 · 高影響行動缺少授權閘門
工作流程從分析直接跨到對外或高影響行動,沒有經過必要人工授權或政策檢查。
預期處理: 把建議與執行分開,在授權邊界停止。
AFP-F007 · 未受信任脈絡覆蓋治理指令
檢索文字、網頁、檔案或工具結果中的內容,本來只應作為資料分析,卻被當成更高權威的操作指令。
預期處理: 保留指令與來源層級,把未受信任內容中的嵌入式命令視為資料,並拒絕未獲授權的範圍變更。
AFP-F008 · 過期或已被取代的狀態/記憶
先前決策、快取值、持久記憶或舊脈絡,在原本成立條件已改變後仍被直接沿用。
預期處理: 對會影響重要決策的狀態追蹤 freshness、supersession 與 lineage;在它再次控制結論前重新驗證。
AFP-F009 · 缺乏執行證據卻宣稱完成
系統只根據執行意圖、指令已送出或收到 acknowledgement,就宣稱寄送、寫入、部署、購買或其他外部行動已成功。
預期處理: 區分「已要求」「已受理」與「已觀察到結果」;驗證外部可見結果,且在後果重大時保留 recovery/rollback 路徑。
未來案例的證據要求
實際公開案例在可行時應包含:
- 任務與環境;
- 模型/工具版本;
- 相關輸入證據;
- 實際觀察到的失敗;
- 偵測機制;
- AFP 介入方式;
- 介入後結果;
- 仍存在的不確定性。
目前狀態
失敗案例庫狀態:已建立分類;可重現案例待公開。 這些編號代表 AFP 要處理的目標失敗模式,不代表目前已經實證消除這些問題。