返回文章

多模型協作:答案打架時,聽誰的

同一個模型自己寫、自己審,通常看不出自己的盲點。所以我會讓不同模型做不同的事,或一起回答同一個問題。

不是每件事都值得這樣做,我主要用在兩種情況:方向要定下來的決策,以及動到正式系統或資安的改動。小改動審一輪就夠。

分工:寫的和審的分開

我的流程裡,一個模型實作,另一個模型審查,再由第三方逐條裁決。

審查的意見不能直接採用。每一條都要回頭查現行程式碼,引用對不上就駁回。AI 審查也會誤報。

實作的回報也不能直接信。我遇過工具顯示還在跑,其實已經跑完。所以驗收看的是檔案和測試結果,不看它自己怎麼說。

規格也值得先審。有一次我寫的錄音流程規格,交給另一個模型挑毛病,它讀了工具原始碼,發現我對工具的假設是錯的,幾個關鍵設計因此重改。這些問題在動工前就抓到了。

辯論:讓模型反駁彼此

最近我想在網站放 AI 問答,就讓六個模型討論,跑了兩輪。

第一輪各自回答。第二輪看彼此的答案,互相反駁。我還指定兩個模型替「要做」辯護,避免大家一面倒。

第二輪的收穫最大。第一輪的共識是先訪談 5 位讀者,第二輪被推翻:沒有人驗證我找不找得到這些人。

被指定辯護的模型,最後也有一個老實說它的真實判斷是暫緩。指定立場不代表它會硬拗,這點比我預期的好。

答案打架時:投票不算數

自由生成答案是 0 票,暫緩 4 票,做小範圍實驗 2 票。照票數應該暫緩,但我沒有照做。

我想讓訪客能提問,這是需求,不用模型同意。我看的是暫緩的理由:內容太薄、可能洩漏公司資訊。所以改成先做靜態版,AI 不自己寫答案。

我的判斷方式有三條:理由比票數重要;分清楚事實和推論;需求由我決定,做法才讓模型挑戰。

模型全部同意也不代表對。這次六個模型都沒有真實讀者資料,所有判斷都只是推論。

你可以這樣開始

不用先接任何工具。下次有難決定的事,把同一段問題貼給兩個不同的模型,再把 A 的答案貼給 B,請它反駁。最後的取捨留給自己。

題目:
已知事實:
還不確定的事:

請回答:
1. 你的結論
2. 理由,並標出哪些是事實、哪些是推論
3. 什麼情況下你的結論會錯

第二輪再加:
以下是另一個模型的答案。請指出你不同意的地方,並說明你有沒有改變立場。