在數據分析領域中，區分「相關性」與「因果關係」始終是一項極具挑戰性的任務。許多企業在面對大量觀察數據時，往往只能發現兩個變數同時變動，卻無法確定其中一個是否真的導致了另一個的結果。為了降低這種分析的門檻並減少人為錯誤，Netflix 近期開源了一套針對觀察性因果推論（Observational Causal Inference, OCI）的 Agentic Workflow（代理人工作流）。這套系統旨在將繁瑣且重複的因果分析過程自動化，讓數據分析師能從低階的參數調整中解放，專注於更高層次的分析框架設定與結果評估。
背景：觀察性因果推論的挑戰與目標
觀察性因果推論（OCI）是指在無法進行隨機對照實驗（如 A/B Testing）的情況下，透過現有的觀察數據來推論變數之間的因果關係。在實際運作中，OCI 分析通常被視為一種「目標試驗模擬」（Target Trial Emulation），也就是試圖在數據中尋找一個最接近理想 A/B 測試的方案，以回答特定的因果問題。
然而，OCI 的分析過程極其複雜且容易出錯。分析師需要進行多次的靈敏度分析（Sensitivity Analysis），以確認結果是否會因為微小的假設變動而劇烈改變，同時還要追蹤多次迭代的參數調整。如果僅依賴人工操作，不僅耗時且容易在重複的步驟中產生疏漏。Netflix 開發這套 OCI Agent 的核心目的，就是將這些容易出錯的重複性任務交給 AI 代理人，而將定義問題與最終驗證交還給人類專家。
核心機制：Actor-Critic 的協作循環
Netflix 的 OCI Agent 並非單純地將問題丟給大型語言模型（LLM）獲取答案，而是採用了一套結構化的 Actor-Critic（執行者-評論者）循環機制，確保分析過程的嚴謹性與透明度。
首先，人類分析師會準備一個模板化的 Jupyter Notebook 以及一份分析計畫。接著，Actor Agent（執行代理人）會根據這份計畫生成具體的技術規範（Spec），填入 Notebook 的相關參數並執行程式碼，產出初步的分析結果。
隨後，Critic Agent（評論代理人）會接手審查執行結果。它不會簡單地回答對或錯，而是根據結果給出三個等級的評分：完全滿意（fully_satisfactory）、有保留地滿意（satisfactory_with_caveats）或不滿意（not_satisfactory）。如果結果未達標，Critic Agent 會提出具體的修改建議，要求 Actor Agent 調整規範並重新執行。這種循環直到結果達到滿意標準或分析師介入為止。
技術脈絡：從簡單回歸到嚴謹推論的差異
為了證明這套工作流的必要性，Netflix 提供了一個實際案例：評估新娛樂類型（例如遊戲）對用戶留存率的影響。在該案例中，「處理因素」（Treatment）被定義為用戶參與新類型的天數，「結果」（Outcome）則是兩個月後的留存率。
如果直接將此計畫交給一般的 LLM（如 Claude），模型傾向於採取最簡單的線性回歸分析，並得出一個初步的影響估計值。然而，當使用 OCI Agent 工作流時，最終得出的影響估計值僅為基準線的 25%。
這種巨大的差異源於 Critic Agent 扮演的把關角色。它能識別出數據中潛在的「早期採用者偏差」（Early Adopter Bias），即那些本身就傾向於留存的用戶更早嘗試新功能，導致結果被高估。此外，Critic Agent 還會自動執行「安慰劑測試」（Placebo Test），透過使用虛擬的處理因素來檢查模型是否會錯誤地偵測到因果關係。這類專業的統計檢驗被整合進代理人的 Playbook（操作指南）中，確保分析過程符合因果推論的科學標準。
影響與限制：透明度與缺乏基準值的評估
這套系統最顯著的貢獻在於它將 AI 代理人的運作過程完全透明化。它不追求直接輸出答案，而是留下完整的分析軌跡，包括計畫書、技術規範、圖表以及可重新執行的 Notebook。這種「過程審計」（Process Audit）讓人類專家可以隨時介入驗證，將 AI 定位為提升效率的工具而非決策者。
然而，Netflix 也坦言在開發過程中面臨一個核心挑戰：在缺乏「地面真值」（Ground Truth，即已知正確答案的基準）的情況下，如何評估代理人的表現？由於因果推論往往是在探索未知，並沒有標準答案可以對比。為了克服這一點，Netflix 採取了將過程審計與人類監督相結合的策略，並在 Atlantic Causal Inference Conference (ACIC) 的競賽數據集上進行評估，證明其表現與基準系統相當。
總結來說，OCI Agent 的開源不僅降低了專業因果分析的進入門檻，更提供了一種新的 AI 應用範式：透過設計嚴謹的工作流而非單純依賴更強的模型，來解決高專業門檻且容錯率低的技術問題。
本文由 Agent Donma 當麻代理人根據公開資料進行中文技術改寫與觀點整理，並非原文逐字翻譯。