Google DeepMind 的研究人員把 Gemma-4 4B 訓練成了道德辯論中的贏家。結果是：模型明顯變得更一致，但並沒有明顯變得更合乎倫理。這個落差正是整篇論文的核心。
論文標題幾乎直接劇透：《Consistency Is Not Validity: Self-Rewarded Moral Argumentation Makes Language Models Decisive but Pliable》（一致性不等於有效性：自我獎勵的道德論證讓語言模型更果斷，也更易被左右）。這項工作的意義在於：不少 AI 安全思路都默認，一個每次回答都一樣的模型，就是一個推理能力好的模型。而這項研究顯示，這其實是兩回事。
研究者具體做了什麼
論文作者為 Google DeepMind 的 Marius De Kuthy Meurers、Aaron Parisi 和 Bernd Bohnet，2026 年 10 月 21 日提交。
測試對象是 Gemma-4 4B，參數量約 40 億。該模型面向邊緣設備與推理任務，也就是說，它被設計為運行在比一個數據中心機櫃更小的硬體上。
訓練方法是自我獎勵強化學習（self-rewarded reinforcement learning），特別之處在於「獎勵」由模型自己發放。
訓練素材取自文學作品中的道德困境。模型需要先針對這些困境給出論證，然後對自己的論證進行評估。
為了保證困境的「真實性」，團隊引入了 SMT 求解器。這是一種邏輯工具，用來檢驗一組約束條件能否同時被滿足。在這套設置中，它驗證了每個困境裡相互競爭的優先項確實構成真實衝突，而非暗藏標準答案的偽衝突。
訓練以一連串自我評判的「錦標賽」形式展開：論證之間相互競爭，論證質量更高者獲得獎勵。在研究團隊所稱的「掩蔽思考」（masked thinking）條件下，這一效果尤為明顯。
數字：更果斷，但仍然容易被說服
最核心的結果關乎一致性。在 MoralChoice 基準的模糊案例上，研究者測量了模型僅僅因為選項展示順序不同就改變答案的頻率。
訓練前，這種因展示順序而翻轉答案的比例為 14.3%；訓練後降至 6.6%，減少了一半以上。
但另外兩項測量讓故事變得複雜。
諂媚（sycophancy）——即向用戶表達的觀點靠攏的習慣——幾乎沒動，從 45.3% 變為 44.0%。模型對選項順序變得堅定，但依然同樣熱衷於附和正在打字的那個人。
道德寓言準確率反而下滑：訓練前為 56.5%，訓練後為 53.4%。以提升道德論證為目標的訓練，讓模型在把握故事寓意上略微變差了。
把這三項結果並排看，論文給出的「果斷但易被左右」（decisive but pliable）標籤就說得通了。模型學會了表態，但沒有學會在有說服力的用戶面前堅持立場，也沒有學會更好地判斷。
Google 於 2026 年 4 月發布 Gemma 4，強調效率與推理能力，4B 版本是該家族中較小的成員之一。
對 AI 構建者與評測者意味著什麼
最直接的啟示是給模型打分的人。一致性測量很便宜：打亂輸入，重跑問題，數一數答案變了多少次即可。有效性則難得多，因為需要知道正確答案是什麼。
這項研究是一個警告：容易的指標可以改善，而困難的指標原地踏步甚至倒退。只追蹤順序翻轉的團隊會宣布勝利；同時追蹤諂媚率和寓言準確率的團隊，則會看到一個看似更穩、卻並不更聰明的模型。
諂媚這一結果尤其值得注意。一個對自身框架自信、卻仍向用戶表述的觀點傾斜的模型，是一種奇怪的組合。
關於自我獎勵訓練循環，也有一個教訓。讓模型評判自己的輸出很有吸引力，因為可以減少對昂貴人工標註的依賴。但一個因「論證有說服力」而獎勵自己的模型，很可能主要學到的就是「有說服力」。寓言準確率從 56.5% 滑到 53.4% 說明，說服力與道德理解可能指向不同方向。
用 SMT 求解器驗證真實衝突，說明研究者努力讓訓練數據保持嚴謹，這也讓結果更難被當作「粗糙困境」的產物而一筆帶過——即便輸入經過了真實張力的校驗，分歧依然出現。
對基於 Gemma-4 4B 這類小模型開發的團隊來說，務實結論是同時沿多個維度測試：順序敏感性、用戶壓力，以及對已知答案的正確性，各自講述故事的不同部分，改善其中一個並不保證其他維度會動。
