Token Panic:當AI幫你寫程式,帳單卻先幫你「爆肝」
這不是危言聳聽,矽谷已經有人破產式燒token
先說個真實案例:Uber營運長Andrew Macdonald最近在X上一段發言,觀看次數衝破200萬——他坦言,公司內部完全看不出token用量跟生產力提升之間有什麼「明確關聯」。更誇張的是,據The Information報導,Uber今年前四個月就把整年的AI預算燒光了。
AI 程式開發工具的費用管理,真正困難的地方並不是設定一個「每月最多花多少錢」,而是要分辨:這筆支出究竟是高價值產出,還是自動化流程失控? Databricks 的實務經驗顯示,單一月度上限很容易造成兩種問題:正常使用者頻繁被攔截,而偶發的自動化失控卻未必能及時被發現。更合理的做法,是把「短時間內異常暴增」與「長期高額使用」視為兩種不同事件,分別設計防護機制。
勁采小學堂
為什麼Token帳單會像雪球一樣越滾越大
Databricks在自家部落格《Managing AI Coding Costs at Scale》裡點出一個很殘酷的真相:agentic coding(也就是讓AI代理人自主執行多步驟任務的編碼方式)確實讓開發速度飆升,某些團隊甚至有數量級的產出提升,但成本曲線是「指數型成長」,如果放著不管,遲早會追上甚至超過營收增長。
這個問題的根源其實很直觀,主要卡在三個地方:
- 模型本身太貴:前沿模型(像是最新版的Claude、GPT系列)雖然聰明,但每次呼叫的成本遠高於次一級模型,而很多任務根本不需要動用「最強大腦」。
- 上下文視窗越餵越肥:AI編碼工具常常會把整包程式碼、對話紀錄都塞進上下文,隨著專案越大、對話越長,重複傳送的token量也跟著暴增。
- 工具與模型的「鎖定效應」:像Claude Code、Cursor、Codex這類工具(業界稱為harness)常常跟特定模型深度綁定,一旦養成使用習慣,想切換到更便宜的模型,切換成本反而變得很高,等於被工具「軟性鎖住」。
這股現象有個很貼切的稱呼:tokenmaxxing(極大化token使用量)。企業一邊瘋狂鼓勵員工「用越多AI越好」,把token消耗量當成導入AI成效與工作積極度的象徵,一邊卻搞不清楚燒掉的錢到底換來了什麼。連《大賣空》原型人物、知名投資人Michael Burry都跳出來警告,這種瘋狂燒token的風氣可能只是「短暫又倉促的階段」,甚至可能讓輝達股價面臨劇烈修正。
Databricks的四招省錢心法:不是斷糧,是「聰明分配」
Databricks訪談了Stripe、Coinbase、Uber、Ramp等多家公司後,總結出一套能同時兼顧「廣泛開放使用」與「控制總成本」的雙重目標的作法。核心邏輯很簡單:硬預算(直接斷網式的用量上限)幾乎是所有受訪企業的最後手段,原因很現實——一旦工程師被斷了AI存取權,生產力直接腰斷,而且那些「花費最高」的用戶,往往正是靠AI創造出驚人產出的人,硬砍預算等於自打嘴巴。
取而代之的是漸進式的管控機制:
| 手法 | 做法說明 | 效果 |
|---|---|---|
| 即時成本回饋 | 讓開發者看到自己的即時用量與費用,甚至清楚知道換用哪個模型能省多少。 | 提升自覺,減少無意識浪費 |
| 分層警示(Spend Gate) | 用量超過某個門檻時跳出警告,可自行清除,作為「提醒」而非懲罰。 | 防止意外或無意識的暴衝 |
| 降級處理(Downshifting) | 超過警示門檻後,自動切換到成本較低的模型,而非完全斷線。 | 保留生產力同時省錢 |
| 最終斷線(Suspension) | 極端情況下才會真正停止存取,通常是暫時性措施,並開啟一場「如何更有效用 AI」的對話。 | 最後防線 |
給工程師與主管的實戰筆記
如果你是每天泡在Claude Code、Cursor裡的工程師,或是要幫團隊管帳的主管,這幾個做法已經被證實能立即見效:
- 開啟提示詞快取(Prompt Caching): 對重複出現的上下文內容,快取後的input token成本可降低最多90%,通常一到兩次快取讀取就能回本。
- 依任務難度配對模型: 不是每個問題都需要動用旗艙模型,簡單任務丟給輕量模型就好。
- 保持上下文視窗輕量化: 定期清理對話歷史、避免把整包不相關的檔案塞進去,能有效壓低token消耗。
- 移除閒置帳號、開啟用量提醒: 這是最快見效但常被忽略的「基本功」,很多企業浪費的預算其實來自沒人在用的帳號。
- 必要時導入開放權重模型: 對某些任務而言,開放權重模型(open-weight model)的表現已經夠用,成本卻大幅降低。
寫在最後:Token不是敵人,失控才是
回頭看整件事,矽谷這波「token焦慮」本質上跟當年企業學著管理AWS雲端帳單一模一樣——重點從來不是「用不用」,而是要不要建立起像管理雲端資源那樣的「歸因分析」與「預算治理」文化,替不同團隊設定合理額度、揪出異常用量。
Databricks那句話說得挺到位:AI編碼成本的指數成長,不是命運,而是一個可以被解決的工程與治理問題。企業真正該追逐的不是「智能前沿」(永遠用最貴最強的模型),而是「效率前沿」(用最划算的資源達成同等產出)。與其在AI浪潮裡瘋狂燒錢裸奔,不如先把儀表板打開,看清楚錢到底花在哪——這才是駕馭AI浪潮,而不是被浪潮吞掉的第一步。