安いAIから順に使うと、本当に安くなるか――再処理率と振り分け費用で決める併用の採算
問い合わせの下書きを作るAIを、安い候補へ切り替えた。難しい依頼だけ高性能な候補に回すので、費用は下がるはずだった。ところが確認のために二つ目のAIを呼ぶ案件が増え、請求は期待ほど減らない。最初の回答を待ってからやり直すため、利用者の待ち時間まで伸びている。
この場面で問いたいのは、どのAIの単価が安いかだけではありません。安い候補を先に通すことで、高い候補の呼び出しをどれだけ省けるのか。それを見分けるために、何を余分に支払うのか。併用は、この差額が残るときに初めて節約になります。
この記事の目次
二つを順番に呼ぶ方法と、先に一つを選ぶ方法
低コストのAIから回答を取り、判定を通過した回答はそのまま使い、通過しなかった依頼だけ次のAIへ送る。これは逐次的な呼び出しです。最初の回答を見てから判断できる一方、再処理する案件では最初の利用料も残ります。
もう一つは、依頼文の特徴から送り先を決め、最初から一つのAIだけを呼ぶ方法です。二重の生成を避けられますが、回答を見る前に難しさを判別しなければなりません。長い依頼が常に難しく、短い依頼が常に簡単とは限らないため、文章の長さだけで正しく分けられるとはいえません。
ここでは前者の採算を中心に考えます。単体のAIが業務に適するかは、公開ベンチマークと業務上の誤りを分ける記事で扱っています。両方の候補が用途に適することと、順番に使うことが安いかは、別の判断です。
研究は節約の可能性を示すが、どの仕事でも成功したわけではない
2023年のFrugalGPTは、回答を採点して次のAPIを呼ぶ方式を、金融見出しの分類、判例文の分類、質問応答で評価した研究です。日本企業の現場実験ではなく、学習用の正解例を用いるデータセット実験でした。著者は学習例と利用時の依頼の分布が近いこと、学習の初期費用、待ち時間などの未評価要素を限界として挙げています。価格表も2023年3月時点です。プレプリントの結果であり、現在の料金を比べた調査ではありません。原論文、第3～5節
事前に送り先を選ぶRouteLLMのICLR 2025論文では、匿名の回答比較への投票を使った学習と、公開課題での評価を行っています。学習データは英語中心で、測ったのは課題の正答や回答の評価です。日本の業務の完了数や利益ではありません。会話の比較データだけで学習した振り分けは、知識課題では手法によって結果が分かれ、算数課題では無作為な振り分けを下回りました。評価に近いデータの追加で改善しています。節約できた課題だけを見て採用することはできません。原論文、第5.1節
研究チームの公式実装も、受け取る依頼が変われば各モデルへ送る割合が変わるため、実際に近い依頼で調整するよう説明しています。これは同じ研究の運用資料で、独立した追試ではありません。送り先の比率を狙いどおりにすることと、回答の品質を保つことも別です。
この二つから組み立てる編集上の提案は、併用を採用する前に「この種類の依頼は低コスト候補だけで完了する」と確認できる範囲を決めることです。モデルに自信があるかと聞くだけで、その範囲を確定したことにはしません。
20％を再処理する仕事と、90％を再処理する仕事
以下は仕組みを説明する仮定です。実在するサービスの料金や、研究で測った再処理率ではありません。同じ長さ・品質条件の依頼について、高性能候補を直接呼ぶ費用を1件30円、低コスト候補を3円、最初の回答の判定を2円とします。判定費はすべての依頼にかかり、追加処理では高性能候補の30円を支払うと仮定します。
20％を再処理するなら、平均の変動費は3＋2＋0.2×30＝11円です。直接呼ぶ30円との差は1件19円。1,000件なら1万1,000円と3万円になります。低コスト候補だけで受け入れる回答も、直接呼ぶ案と比べて必要な品質を満たすことが前提です。
条件を変え、90％を再処理するなら3＋2＋0.9×30＝32円です。今度は最初から30円の候補へ送る方が安くなります。最初のAIの単価が10分の1でも、多くの案件をやり直せば併用案の方が高くなるのです。
この仮定での境界は、3＋2＋30×再処理率が30より小さいこと、つまり再処理率が5/6未満となることです。約83.3％という値は、この料金設定から計算した結果にすぎません。実際の契約に適用する共通基準にはなりません。
追加処理の入力に最初の回答も付けるなら、その分の料金が増える場合があります。長い依頼ほど再処理されやすいなら、件数の割合に一律30円を掛ける計算も粗くなります。本番の採算では、案件の長さと経路ごとの請求を対応させて集計する必要があります。
再処理率を下げるだけでは、比較を壊す
判定を緩めれば、二つ目のAIを呼ぶ件数を減らせます。しかし誤った回答を受け入れているだけなら、それは同じ品質での節約ではありません。高性能候補へ送った案件の成績だけを見ると、低コスト候補のまま止めた案件の見逃しが比較から落ちます。
そこで試行では、追加処理した群と、そのまま受け入れた群の両方から、業務上の正しさを独立に確かめます。例えば問い合わせの下書きなら、文章の読みやすさだけでなく、契約条件を勝手に約束していないかを確認します。直接呼ぶ案も完全な正解ではないため、そちらの回答を無条件の採点基準にしません。
編集上の提案として、まず判定基準をそろえ、許容できない誤りが増える経路を採算比較から外します。そのうえで、必要な確認と修正を終えた依頼に対して、どの費用が発生したかを比べます。「安く出力できた」と「安く使える回答を得た」を分けるためです。
差額19円が残っても、件数が少なければ回収できない
先ほどの20％の例に戻ります。仮に振り分けの整備・点検に、直接呼ぶ案より月8万円の追加費用がかかるとします。他の費用が同じなら、1件19円の差で埋めるには、8万円÷19円を超える月4,211件以上が必要です。月1,000件では変動費を1万9,000円減らしても、追加費用8万円の方が大きくなります。これは仮定の損益比較で、研究が示した回収件数ではありません。
この費用に何を含めるかも明示します。正解例の作成、振り分けの更新、障害対応が追加作業なら比較へ戻します。一度限りの整備費と毎月の運用費は分け、使う予定の期間で回収を考えます。反対に、すでに共通の振り分け基盤があるなら、今回の用途へ全額を再計上する必要があるかを確かめます。
小さな用途では、単純に一つの候補へ送る方が、整備も説明も容易な場合があります。低コスト候補だけで十分な種類は最初からそこへ送る、明らかに難しい種類は高性能候補へ送る。二段構成を増やす前に、この単純な案と比べる価値があります。
再処理が多い用途から、直接呼ぶ案へ戻す
必要な品質を満たし、低コスト候補だけで完了する案件が多く、判定費と運用費を差し引いても差額が残る用途では、逐次呼び出しを試す理由があります。反対に、再処理が多い用途、件数が少なく整備費を回収できない用途、二つの回答を待つ遅延を許せない用途では、直接呼ぶ案を優先します。これは研究の一律の結論ではなく、本稿の費用構造から導く選び方です。
運用中は、再処理が増えた依頼の種類を見ます。新しい契約や商品が増えて難しい案件の割合が変わったなら、過去に成立した差額がそのまま残るとは限りません。用途ごとに送り先を変更し、節約できない二段処理を残し続けないことが、AI併用の採算を守ります。