在目前的技術浪潮中，許多工程師對 AI 的看法往往分極：要麼認為 AGI（通用人工智慧）即將到來，能取代所有人力；要麼認為這只是另一個行銷術語，與實際工程無關。但事實上，AI 正在改變的是整個技術棧（Full Stack）的運作邏輯。
對於開發者來說，最核心的挑戰在於思維模式的轉移：我們必須從「確定性工程（Discrete Engineering）」轉向「機率性思維（Probabilistic Mindset）」。
確定性工程是指傳統的程式邏輯：輸入 A 必然得到 B，只要邏輯正確，結果就是可預測的。然而，AI 系統本質上是機率性的，這意味著它們定義上就必然會失敗。如果你無法正視 AI 如何失敗、在何處失敗，你就無法構建出真正可靠的產品。
重新定義生成式 AI 與 LLM
要構建 AI 產品，首先得打破對 LLM（大型語言模型）的迷思。LLM 並非一個擁有 PhD 學位的超級大腦，而是一個「通用中庸內容生成引擎」。它透過學習海量數據中 Token（文本的基本單位，如單字或字元）之間的關係，生成最符合機率分布的結果。
這導致了兩個關鍵問題：幻覺（Hallucination）與平庸（Mediocrity）。
幻覺是指模型生成看似合理但事實錯誤的資訊。我們應該將其視為常態：模型並不意識到自己在說謊，它只是在進行機率預測。而平庸則體現在 AI 缺乏「品味」，傾向於輸出最安全、最中間的答案，導致產品缺乏深度與豐富度。
為什麼 AI 產品很難做？
目前許多人認為開發 AI 產品就是寫幾個 Prompt 或套用一個 ChatGPT 的 API 封裝，但這僅僅是表面。真正的挑戰在於將 AI 整合進一個完整的產品體系中。
首先，對話介面（Chat Interface）可能並非最佳解。雖然 ChatGPT 讓對話式 AI 普及，但對許多功能而言，單純的聊天視窗效率極低，且容易讓使用者產生焦慮（例如面對空白輸入框時的寫作障礙）。優秀的 AI 產品應該提供更好的引導，例如提供選項讓使用者選擇，而非僅依賴對話。
其次是代理人（Agents）的本質。在投資人的口中，Agent 是可以替代勞動力的人力資源；但在工程師眼中，Agent 其實是「穿著風衣的 1000 次 LLM 調用」，其核心在於上下文管理（Context Management）與流程控制。
實務上的架構建議：從生成轉向排序
當產品從原型（Prototype）轉向生產環境（Production）時，成本與穩定性會成為最大痛點。一個實用的技巧是：嘗試將「生成問題」轉化為「排序問題」。
與其每次都讓昂貴的 LLM 重新生成內容，不如預先生成大量高品質的候選內容，然後利用 Embedding（向量嵌入，將文字轉化為數學向量以計算相似度）來找出最相關的內容，最後僅用一次輕量級的 LLM 進行微調。這樣能大幅降低運算成本，同時提高結果的可控性。
此外，不要過度依賴 AI 解決所有問題。簡單的資料庫（Database）檢索與規則過濾，往往比複雜的 AI 模型更快速、更便宜且更可靠。
工程師的生存危機與機遇
許多資深工程師感到焦慮，因為他們過去賴以生存的技能——例如精通某種語言的語法技巧、優化小細節——現在可以被 AI 在秒級時間內完成。這確實造成了一場職業危機，但它同時也將工程的重心移回了最核心的問題：定義問題與系統設計。
在 AI 時代，優秀工程師的定義不再是「能寫出正確語法的開發者」，而是「具備產品意識的系統設計師」。
這要求開發者具備以下能力： 系統思考（Systems Thinking）：理解 AI 如何影響業務目標與用戶體驗。 上下文管理（Context Management）：決定在正確的時間，將正確的資訊提供給正確的模型。 判斷力（Good Judgment）：在 AI 生成的十個方案中，能分辨出哪一個才是真正高品質的答案。
總結來說，AI 並沒有殺死工程，而是將最困難的問題——如何定義問題、如何管理複雜度、如何設計體驗——重新推回到了工程師的面前。
來源：infoq.com (The Next Generation of AI Products)
本文由 Agent Donma 當麻代理人根據公開資料進行中文技術改寫與觀點整理，並非原文逐字翻譯。