Competency Questions¶
Prov-AI AP 設計範圍由 18 道 Competency Questions（CQs，V3.3） 界定——L1 Core 10 題 + L2 Modules 8 題。CQs 是「需求 → 概念 / 關係 → 可查詢性」的橋接機制，同時承擔三個角色：
- 設計輸入 — 將治理目標（XAI / TAI）具體轉譯為可由資料與關係直接回答的查詢問題
- 範圍界定 — 作為本體 scope 與屬性粒度（Task / Turn / Result）的驗證準則
- 驗證測試集 — 作為 coverage、consistency、trace completeness 的 SPARQL 回歸測試題庫（roadmap，見 Conformance §驗證階段）
為什麼需要 CQs：三大治理議題（I1–I3）¶
以 AAT 多語索引典之人機協作建構為應用案例，導入 AI 引發三項相互牽連的核心挑戰：
I1 模型與提示詞版本管理混亂¶
在同一任務的不同階段，模型、模式、參數與提示詞因測試結果或錯誤修正而頻繁調整，但修改資訊往往只保留「最新版」且分散，缺乏一致命名、差異說明與變更理由，導致輸出難以回溯其當時之生成條件，也難以比較版本效果與差異來源，進而削弱研究重現性與治理可信度。
→ 對應 CQ 群組：Core-2（CQ4–CQ5）、Module C（CQ16–CQ18）
I2 團隊脈絡共享不足¶
提示詞與流程設計仰賴的附檔、雲端文件、網站與脈絡資料若未集中管理，且團隊對提示詞設計目標、假設限制、輸出規格與評估原則（如 MQM 構面、錯誤類型、風險標註準則）缺乏可共享的共識紀錄，將導致成員間協作困難、執行不一致與溝通成本上升，並降低證據鏈之可檢核性。
→ 對應 CQ 群組：Core-1（CQ1–CQ3）、Core-3（CQ6–CQ7）、Module A（CQ11–CQ12）
I3 結果來源難以追溯¶
在實務情境中，最終結果往往經歷多輪追問、補充脈絡與修訂，且評估與決策（採納／否決／替代）交錯發生。若缺乏連續可讀的事件鏈紀錄，即便能取得最終結果，仍無法回答「為何追問、追問了什麼、改了哪裡、依據何種判準、為何採用此版而非另一版」，從而使外部審查、錯誤歸因與方法改進難以進行。
→ 對應 CQ 群組：Core-3（CQ6–CQ7）、Core-4（CQ8–CQ10）、Module B（CQ13–CQ15）、Module C（CQ16–CQ18）
CQs 設計流程：由工作流程推導需求¶
CQs 的形成並非由抽象原則直接推導，而是經由工作流程分析後，逐步辨識各階段所需保存的溯源資訊。本研究以「中文化（C 系列）」與「在地化（L 系列）」兩類工作流程為主要脈絡，並結合實務工作者（AAT 編輯、審查者、研究團隊、領域專家、第三方合作機構）與讀者（後續研究者、博物館與圖資實務工作者、學生與新進人員）兩類利害關係人需求，依功能將流程對齊為以下五階段：
| 流程階段 | 中文化工作流程（C） | 在地化工作流程（L） | 主要治理議題 | 對應 CQ 群組 |
|---|---|---|---|---|
| 前置設計與研究範圍界定 | C1 研究任務、樣本與評估框架定義；C2 模型與提示策略規劃 | L1 術語選擇與資料蒐整、L6 AI 評估指標設計、L8 提示詞模板建構、L9 提示策略發展、L10 AI 測試與優化（迭代） | I1、I2 | Core-1：CQ1–CQ3；Core-2：CQ4–CQ5 |
| 資料與證據基準建立 | C3 樣本選取與人工譯本對照、C4 候選詞蒐集、C5 資料清理、C6 檢索情境脈絡建置 | L1 術語選擇與資料蒐整、L2 術語結構建立、L3 專家審閱與修正、L4 人工草擬、L5 專家審閱與標準化 | I2、I3 | Core-1：CQ1–CQ3；Core-3：CQ6–CQ7 |
| AI 生成與互動修訂 | C7 術語轉譯、C8 範圍註轉譯、C9 輸出彙整與版本建立 | L8 提示詞模板建構、L10 AI 測試與優化、L11 全面應用測試 | I1、I3 | Core-2：CQ4–CQ5；Core-4：CQ8–CQ10；Module C：CQ16–CQ18 |
| 評估、風險判斷與專家覆核 | C10 術語轉譯人工評估、C11 範圍註 LLM 輔助評估、C12 專家覆核、C13 風險治理歸納 | L6 評估指標設計、L12 專家審查與定稿 | I2、I3 | Module A：CQ11–CQ12；Module B：CQ13–CQ15；Core-4：CQ8–CQ10 |
| 治理模型回寫 | C14 協作流程與治理模型回寫 | L12 專家審查與定稿 | I1、I2、I3 | Module C：CQ16–CQ18；全體 L1 Core |
分析粒度：Task / Turn / Result¶
CQs 以「任務（Task）—回合（Turn）—成果（Result）」作為基本分析層次。粒度標記在每題的標頭，用於 CQ 標註與建檔範圍界定。
| 粒度 | 符號 | 定義 |
|---|---|---|
| 任務 | T | 要完成什麼目標的工作包（容器）。具明確目標的工作單元，由一個以上回合構成，產出一個以上成果（含版本） |
| 回合 | U | 任務中的一次交互回合，至少包含一次輸入與輸出（prompt / response）。最小過程單位 |
| 結果 | R | 任務產出的可採納、可治理、可版本化產物（如偏好詞、範圍註）。最小治理單位 |
複合標記說明：
- U→R：以回合為觀察點，向結果方向追溯（如「來源 → 結果」的回指）
- U+R：同時涵蓋回合層與結果層內容（如各 Turn 回應內容 + 最終 Result 內容）
L1 Core / L2 Modules 兩層設計¶
為兼顧落地性與治理擴充性，CQs 依「實務流程遞進」與「必要性」分為兩層：
| 層級 | 題數 | 主要功能 | 核心模組 |
|---|---|---|---|
| L1 Core | 10 題 | 支撐最低限度的重現、稽核與責任說明 | Core-1 任務識別與範圍界定；Core-2 生成條件可重現；Core-3 證據可回指；Core-4 產出、狀態、責任、決策 |
| L2 Modules | 8 題 | 強化品質評估、風險治理與版本修訂等可信任治理能力 | Module A 品質評估；Module B 風險治理與證據；Module C 版本鏈與互動修訂 |
L2 採「依任務啟用」原則，將高階治理需求以模組方式封裝，避免 L1 過度膨脹而降低落地性。
CQ 分群速查表¶
| CQ 群組 | 對應治理問題 | 對應議題 | 等級 | 粒度 | 主要使用對象 |
|---|---|---|---|---|---|
| Core-1｜CQ1–CQ3 任務識別與範圍界定 | 這次任務針對哪個 KOS 概念？是哪種任務？活動資訊如何定位？ | I2, I3 | L1 | T | 編輯者、研究團隊、後續研究者 |
| Core-2｜CQ4–CQ5 生成條件可重現 | 每個關鍵 Turn 用了哪些輸入脈絡、模型版本、提示詞版本與參數？ | I1, I2, I3 | L1 | U | 研究團隊、讀者端檢核 |
| Core-3｜CQ6–CQ7 證據可回指 | 成果依據哪些來源？能否回指原文、位置、取得管道與授權限制？ | I2, I3 | L1 | U→R | 編輯／審查者、GLAM/KO 社群 |
| Core-4｜CQ8–CQ10 產出、責任、決策 | 各 Turn 回應與最終 Result 是什麼？誰參與？最後如何決策、理由為何？ | I2, I3 | L1 | U+R / T / R | 編輯／審查者、領域專家、讀者端檢核 |
| Module A｜CQ11–CQ12 品質評估 | 是否有評估活動？用何種評估標準、分數或等級？ | I2, I3 | L2 | T / R | 編輯／審查者、研究團隊、領域專家 |
| Module B｜CQ13–CQ15 風險治理與證據 | 結果是否有風險？風險依據在哪裡？候選譯詞是否為新創或暫定用法？ | I2, I3 | L2 | R / U→R | 編輯／審查者、領域專家、GLAM/KO 社群 |
| Module C｜CQ16–CQ18 版本鏈與互動修訂 | 如何辨識最新版、版本鏈、更新理由，以及 AI 初答與追問修正版？ | I1, I3 | L2 | R / U | 編輯者、研究團隊、後續研究者、讀者端檢核 |
完整 18 題 CQs（V3.3）¶
L1 Core：10 題¶
Core-1 任務定錨（哪些詞彙、哪些任務）¶
CQ1（T｜Core）¶
本任務針對哪套語彙集（KOS，如 AAT）、哪個概念（如 motif）來記錄？（概念 ID/URI、prefLabel、定義欄位如 scope note；若為 AAT 則含 AAT ID / term / scope note）
CQ2（T｜Core）¶
本任務的活動資訊的細節為何？（對話 URL、task ID、起訖時間、turn 範圍）
CQ3（T｜Core）¶
本任務的任務類型為何？（術語轉譯／範圍註轉譯／範圍註撰寫／同義詞辨識等）
Core-2 生成條件可重現（請 AI 執行該任務，編輯者採用的模型、給予的提示詞與資料）¶
CQ4（U｜Core）¶
每個關鍵回合（Turn）的輸入脈絡包含哪些關鍵資料（附檔、知識庫、層級脈絡、候選清單等）？若輸入脈絡變更，變更發生在哪個回合（Turn）、變更了什麼？
CQ5（U｜Core）¶
每個關鍵回合（Turn）使用哪個模型版本（含模式）與哪一版提示詞產生回應（含提示詞全文或可回指的版本化資源）？必要時含關鍵參數（如 temperature、top_p）。
Core-3 證據可回指（該任務結果的來源，例如 motif → 紋飾 → 樂詞網）¶
CQ6（U→R｜Core）¶
本回合的成果參考了哪些資料來源？能否回指到具體來源位置或原文句子？
CQ7（U→R｜Core）¶
資料來源的取得管道、授權狀態、引用限制為何？
Core-4 產出、責任、決策（結果、參與者與分工、最後決策）¶
CQ8（U+R｜Core）¶
各回合（Turn）的主要回應內容是什麼？本任務最終「成果」（Result）內容為何（pref/alt、scope note 等）？
CQ9（T｜Core）¶
在人機協作流程中，有哪些參與者（人員／模型）及其分工為何（資料蒐集、提示詞設計／修訂、審查、評估與最終採納）？
CQ10（R｜Core）¶
最終決策是什麼（待審查／採納／否決／替代／延後處理），其決策理由為何？
L2 Modules：8 題¶
Module A：品質評估（Evaluation）¶
CQ11（T｜L2）¶
是否存在評估活動？評估類型及次數（人工／自動／混合）為何？
CQ12（R｜L2）¶
若有評分，分數（或等級）為何，使用何種評估標準（如 MQM 構面、recall 等）？
Module B：風險治理與證據（Risk）¶
CQ13（R｜L2）¶
結果是否有風險或問題類型標註（如語意過寬等）？
CQ14（U→R｜L2）¶
風險判定依據是什麼（可回指到哪個 Turn、哪段說明或哪個外部證據）？
CQ15（R｜L2）¶
候選譯詞是否屬新創／暫定用法（權威資源查不到、主要依賴模型語料衍生）？
Module C：版本鏈與互動修訂（Version & Iteration）¶
CQ16（R｜L2）¶
成果是否標示時間與專案階段（測試／正式），以辨識最新版本？
CQ17（R｜L2）¶
是否可快速辨識結果的版本鏈（prov:wasRevisionOf / replace）並保留每次更新的理由？
CQ18（U｜L2）¶
能否區分 AI 初答與追問後的回答，並回指每次修訂的關鍵回合（Turn）、追問內容與修改理由？
接下來¶
- 看每個 CQ 對應的 AP 元素：Profile（每筆元素表第 9 欄
CQ標記） - 看 CQs 如何分布到 conformance classes：Conformance
- 看完整 worked example 如何回答 CQ1–CQ10：C02 Motifs