我是怎麼把 t0 成本降到原本的 1/50，同時提升體驗與速度

說實話，一開始真的沒想到 t0 的 API 成本會這麼高。第一版上線第一天，我看著後台有點嚇到，沒想到一兩天內就有一萬則以上的對話，花的錢對於我這個大學生來說，有點快撐不下去了哈哈。那時候我才開始認真思考：如果這是一個要長期陪伴使用者思考的產品，還是要活下去吧！

所以我開始動手分析整個流程，把所有可能可以優化的地方慢慢分析。

最後這兩個改動，讓我把成本從原本的天價，壓到只有 1/50，而且發現使用者的體驗反而更自然、更穩定。

起源

開發的時候，我一直沒辦法讓 t0 有我想要的感覺（能用「第一性原理」和「問題重構」的方法幫助使用者），直到我發現一個超級神奇的模型 chatgpt-4o-latest，注意，他不是 gpt-4o，是兩個不一樣的模型！

chatgpt-4o-latest 是 ChatGPT 這個 App 本身使用的最先進的模型，他往往更自然，因為他是經過人的反饋調整過的模型。

所以我毅然決然地「必須要讓大家體驗這個模型」。

但，這個模型是 gpt-4o 的兩倍貴，也是 gemini-2.5-flash 的 50 倍！

所以...

要知道的是，模型都有所謂 Bias（偏誤），這是一直以來都有的問題，這是因為訓練資料不平均而導致的，你很難根本地去解決，所以往往要透過 Prompt Engineering 控制輸出結果。

但很大的問題在於，有時候他就是不聽話。

我開始研究 gemini-2.5-flash 的個性，發現他根本就是工程師腦，好處是「有邏輯」，但壞處是不夠「善解人意」，那怎麼做？

我把 Prompt 很大一部份再做一件事：規定他不要給結論、不要重複使用者的問題、不要假設立場，以及「講話自然一點」。

可以想像的是「工程師」往往你可以告訴他「不要做什麼」，而「要做什麼」卻很難講清楚。

但同時，模型都有 Bias，那還是跳不出去怎麼辦？換一個模型吧！

於是我透過隨機的方式，偶爾改成使用 chatgpt-4o-latest，這樣一來，就可以很自然地達到「換個角度思考」甚至不用特別去改 prompt，也能吃到一點好模型的想法。

如此一來，他就同時是一個有邏輯、又有人性的 AI 了。

這種混合用法的好處是：體驗不變，成本大降。對話過程中其實沒有人感覺得出模型有切換過，甚至還更自然，而我自己在後台看，每次請求的 token 成本差非常多。

不是用最好的模型就一定最好。每個模型都有自己的「個性」，你可以根據它的行為風格去調整提示詞。有的模型邏輯性強、有的語氣自然、有的反應保守，只要搭配對的 prompt，往往比單純堆最強模型還有用。

像 Gemini 2.5 Flash 就比較偏理性分析，講話比較直接；ChatGPT-4o 則在語氣上更有彈性，也比較擅長模仿人類對話的細膩感。所以我會根據模型的風格，微調 prompt 的寫法、用詞甚至結構，無論如何，以下這些都是每個時候都可以遵守的：

小而美： 短的提示詞往往比長的提示詞更有效，我認為最有效的方法是你去市面上找「最好的模型」，請他幫忙「壓縮提示詞」，一次改一點，慢慢你就會有跟原本一樣但用詞更精簡的提示詞了。
明確透過範例規定「不能做什麼」： AI 被訓練時其實為了讓他像人，往往你叫他做什麼，他會給你其他的答案，這是為了讓他更像人，解決這個的方法其實很簡單，你必須告訴他「不能做什麼」。
切換模型，提示詞就要根據他的「個性」調整： 每個模型都有自己的「個性」，你可以根據它的行為風格去調整提示詞。有的模型邏輯性強、有的語氣自然、有的反應保守，只要搭配對的 prompt，往往比單純堆最強模型還有用。

這點可能會讓一些做 AI 應用的人感到意外。

很多人會想辦法把歷史對話摘要、壓縮，怕超過 context 長度會出問題。但我實測過後決定完全不壓縮。

因為現在的模型（像 Gemini）context window 已經越來越長，不壓縮反而讓整段對話更有連貫性，也更能抓到使用者的思緒邏輯。

與其節省一點點 context 成本，讓 AI 一直忘記事情，不如乾脆讓它好好「記住一切」。

這整套調整下來，t0 不只變便宜，也變得更穩定、回覆更有溫度。

我一直覺得，很多時候不是資源不夠，而是還沒設計好。只要你願意在細節裡下功夫，其實很多 AI 產品都能降本增效。

如果你也在做類似的 AI 產品，或是想知道我怎麼設計的，可以來找我聊聊，我想要和你們交換經驗 🙌

如果你對這些優化技巧感興趣，或想親自體驗 t0 如何幫助你思考，歡迎：

🤔 體驗 t0: Think Better — 親自感受 AI 如何透過提問幫你釐清思緒

🧵 在 Threads 上追蹤我 — 我會持續分享產品開發心得與 AI 應用技巧

📧 寫信給我 — 如果你也在做 AI 產品，想交流經驗或合作

期待與更多有想法的人一起探索 AI 的可能性！