こんにちは、フリーランスエンジニアのmohです。
OpenAI の軽量モデル gpt-6-luna が出ました。単価は gpt-5.6-luna の約半分です。一方で、SNS で見かけたコーディングエージェントのリーダーボードでは、gpt-6-luna の正答率が gpt-5.6-luna より低く出ていました。
https://x.com/gosrum/status/2102549735039283626
安くなったけど頭は悪くなったのか。自分の用途で確かめるために、動画編集アプリに組み込んでいる AI エージェントで、両方に同じ指示を出して台本を書かせました。
結論
- 台本の文章は gpt-6-luna の方が明らかに良かったです。gpt-5.6-luna はありふれたブログの文章っぽく、gpt-6-luna はちゃんとした企業の文章っぽく読めます
- エディタへの編集命令(JSON)の正しさは、今回の範囲では差が出ませんでした。本計測ではどちらも 15 回すべて適用できています
- 代わりに gpt-6-luna は遅くなります。応答の中央値は 5.4 秒から 7.4 秒、最長は 8.4 秒から 14.0 秒になりました
- 1 回の原価はほぼ同じです。gpt-6-luna は出力トークンが倍以上に増えますが、単価の安さで相殺されます
コーディングのベンチで負けていても、人に聞かせる文章を書く用途なら gpt-6-luna を選ぶ価値があります。
比べた条件
エージェントは、ユーザーの話した内容から台本を書き、エディタの状態を書き換える編集命令のリストを JSON で返します。1 回の指示につき LLM を 1 回呼ぶだけで、ループは回しません。
- gpt-5.6-luna: reasoning effort は low(本番と同じ)
- gpt-6-luna: reasoning effort は指定しない(API の既定)
gpt-6-luna の effort を既定にしたのは、別のアプリで effort を下げたときに表記のルールが崩れたからです。gpt-6-luna は effort を下げない前提で比べています。
指示は 5 種類で、それぞれ 3 回ずつ、合計 30 回投げました。
- 商品紹介を話し言葉のまま一気にしゃべった 337 字の発話から、台本を起こす
- 「バスケットボールの告知」の一言だけ
- 社内向けに、経費精算システムの切り替えを 30 秒で案内する
- 2 人の掛け合い(店員と客)で、カフェの春限定「桜ラテ」を 40 秒で紹介する
- 硬い既存の台本を、親しみやすい話し言葉に直す
秒数を指定したのは 3 と 4 だけです。プロンプトには話す速さの目安(1 秒あたりの文字数)を渡し、「発話に秒数があればそれに従い、無ければ内容から判断する」と書いています。1・2・5 の長さはモデルに任せた結果です。
実際の台本
指示ごとに、3 回のうち 1 回目の出力を代表として載せます。左が gpt-5.6-luna、右が gpt-6-luna です。台本の文はモデルの出力のままで、手を入れていません。推定秒数は文字数から出した目安です。
1. 自由発話からの台本化
元の発話です。
えーっと、今日はですね、うちの新しいプロテインバーの話をしたくて。名前はグリーンバーっていうんですけど、えっと、なんだろう、とにかく甘くないんですよ。普通のプロテインバーってチョコみたいに甘いじゃないですか、あれが苦手な人けっこういて、私もそうで。で、これは抹茶と黒ごまの味で、甘さ控えめで、たんぱく質が一本で二十グラム入ってます。あ、あと砂糖不使用ですね。えー、ちょっと話それるんですけど、開発のときに試作を三十回くらいやって、最初はぼそぼそしてて全然おいしくなくて。でも今のはしっとりしてて、朝ごはん代わりにもいけます。値段は一本二百八十円で、六本セットだと千五百円。今週から公式サイトで買えるので、リンクはプロフィールに置いておきます。よかったら試してみてください。
| gpt-5.6-luna | gpt-6-luna |
|---|---|
| 今日は、新しいプロテインバー「グリーンバー」をご紹介します。 プロテインバーはチョコのように甘いものが多いですが、甘さが苦手な方もいますよね。グリーンバーは、そんな方にもおすすめの商品です。 味は抹茶と黒ごま。甘さ控えめで、砂糖は使っていません。 しかも、1本でたんぱく質を20グラム摂ることができます。 開発では、約30回の試作を重ねました。最初はぼそぼそしていて、正直あまりおいしくありませんでした。 そこから改良を重ね、今はしっとりとした食感に。朝ごはん代わりにも食べやすく仕上がっています。 価格は1本280円、6本セットなら1,500円です。 今週から公式サイトで販売しています。リンクはプロフィールに載せていますので、ぜひ一度試してみてください。 (推定 52 秒) | (場面 1) 甘いプロテインバーが苦手な方へ。新商品の「グリーンバー」は、抹茶と黒ごまの風味を生かした、甘さ控えめのプロテインバーです。砂糖不使用で、たんぱく質は1本あたり20グラム。 (場面 2) 開発では約30回試作を重ね、ぼそぼそした食感を改良しました。今はしっとり仕上がっていて、朝ごはん代わりにもおすすめです。 価格は1本280円、6本セットは1,500円。今週から公式サイトで販売中です。リンクはプロフィールから。ぜひお試しください。 (推定 33 秒) |
gpt-6-luna は短くまとめる傾向がありました。3 回とも推定 33〜38 秒で、gpt-5.6-luna は推定 46〜54 秒です。発話には長さの指定が無いので、どちらが正しいとは言えません。gpt-5.6-luna は「最初はぼそぼそしていて、正直あまりおいしくありませんでした」のような話し手の人柄が出る一文を残し、gpt-6-luna は「ぼそぼそした食感を改良しました」と事実に丸めていました。
2. 「バスケットボールの告知」の一言だけ
| gpt-5.6-luna | gpt-6-luna |
|---|---|
| 熱戦必至のバスケットボール大会を開催します!迫力あるプレーとチームの熱い戦いを、ぜひ会場でお楽しみください。友達やご家族と一緒に、応援に来てください!皆さんのご来場をお待ちしています。 (推定 15 秒) | バスケットボールを思いきり楽しもう!初心者も経験者も大歓迎。仲間とパスをつないで、シュートを決める爽快感を一緒に味わいませんか? 参加方法や開催情報は、案内をご確認ください。みなさんのご参加をお待ちしています! (推定 17 秒) |
3. 経費精算システムの切り替え案内(30 秒)
指示は「社内向けに、来月から新しい経費精算システムに切り替わることを案内する台本を30秒で作って。申請はスマホからできるようになること、紙の領収書は写真で出せばいいこと、旧システムは今月末で閉じることを入れて」です。
| gpt-5.6-luna | gpt-6-luna |
|---|---|
| 社員の皆さんに、経費精算システム切り替えのお知らせです。来月から、新しい経費精算システムの利用が始まります。 新システムでは、スマートフォンからいつでも申請できます。紙の領収書は、スマホで写真を撮って添付するだけで提出可能です。 なお、現在の旧システムは今月末で閉鎖されます。今月分の申請は、期限までに旧システムで完了してください。 詳しい操作方法や利用開始日は、社内ポータルをご確認ください。新しい経費精算システムへのご協力をお願いいたします。 (推定 36 秒) | 社内の皆さんにお知らせです。来月から、新しい経費精算システムに切り替わります。 新システムでは、スマートフォンからいつでも申請できるようになります。紙の領収書は、スマホで写真を撮って添付すれば提出完了です。 なお、現在の旧システムは今月末で利用できなくなります。申請中の経費がある方は、月末までに手続きを済ませてください。 切り替えにご協力をお願いします。 (推定 29 秒) |
4. 2 人の掛け合い(40 秒)
指示は「2人の掛け合いで、カフェの春限定メニュー『桜ラテ』を紹介する台本を40秒くらいで作って。女性が店員、男性がお客さん役で」です。
| gpt-5.6-luna | gpt-6-luna |
|---|---|
| 店員「いらっしゃいませ。春限定メニューの桜ラテはいかがですか?桜のやさしい香りと、ふんわりミルクの味わいが楽しめる、この季節だけのおすすめです。」 客「桜ラテですか?見た目も春らしくて、気になります。どんな味なんでしょう?」 店員「ほんのり甘い桜シロップに、まろやかなエスプレッソと温かいミルクを合わせています。仕上げには桜色のフォームを浮かべました。」 客「それはおいしそうですね。甘すぎないなら、仕事の合間にもぴったりそうです。」 店員「はい、やさしい甘さでほっとひと息つけます。桜の香りを楽しみながら、ひと足早い春を味わってみてください。」 客「では、桜ラテをお願いします。春限定なら、今しか飲めませんね!」 (推定 46 秒) | (場面 1) 店員「いらっしゃいませ!春限定の桜ラテが始まりました。桜のやさしい香りと、ミルクのまろやかさを楽しめる一杯です。」 客「桜ラテって、甘さはしっかりめですか?コーヒーの味も感じられるとうれしいな。」 店員「エスプレッソのコクに、桜の風味をふんわり重ねています。甘さは控えめで、後味はすっきりですよ。」 (場面 2) 客「それなら飲みやすそう!見た目も春らしくて、気分が上がりますね。上のトッピングは何ですか?」 店員「桜色のフォームをのせて、花びらをイメージしたトッピングを添えました。写真にもぴったりです。」 客「一口飲むと、桜の香りが広がる!これ、春のお散歩のお供にしたいな。」 店員「ありがとうございます。桜ラテは期間限定です。ぜひ春のうちに、お店で味わってみてくださいね!」 (推定 49 秒) |
差がいちばん出たのがここです。gpt-5.6-luna の客は、店員の説明を受けて丁寧にうなずく役にとどまっています。gpt-6-luna の客は自分の好みを先に言い、トッピングについて自分から質問し、飲んだ感想まで口にします。動画で人に聞かせるなら、後者の方が聞いていて楽しいです。
5. 硬い台本の書き直し
元の台本です。
本日は、弊社の新製品であるプロテインバー「グリーンバー」についてご説明いたします。
本製品は抹茶および黒ごまの風味を有し、甘味を抑えた設計となっております。
一本あたりのたんぱく質含有量は20グラムであり、砂糖は使用しておりません。
価格は一本280円、6本セットは1,500円にて、公式サイトにて販売しております。
指示は「この台本、硬すぎるからもっと親しみやすい話し言葉に直して。内容は変えないで」です。
| gpt-5.6-luna | gpt-6-luna |
|---|---|
| 今日は、弊社の新商品「グリーンバー」についてご紹介します。 抹茶と黒ごまの風味で、甘さは控えめに仕上げています。 1本にたんぱく質が20グラム入っていて、砂糖は使っていません。 価格は1本280円、6本セットは1,500円で、公式サイトからご購入いただけます。 (推定 20 秒) | 今日は、弊社の新商品、プロテインバー「グリーンバー」をご紹介します。 抹茶と黒ごまの風味で、甘さは控えめにしています。 1本あたりたんぱく質は20グラムで、砂糖は使っていません。 価格は1本280円、6本セットなら1,500円です。公式サイトで販売しています。 (推定 20 秒) |
どちらもです・ます調のままで、差はほとんどありませんでした。
数字
本計測の 3 周、各モデル 15 回の集計です。
| gpt-5.6-luna (low) | gpt-6-luna (既定) | |
|---|---|---|
| 編集命令がエディタに適用できた | 15/15 | 15/15 |
| 応答時間の中央値 | 5.4 秒 | 7.4 秒 |
| 応答時間の最長 | 8.4 秒 | 14.0 秒 |
| 出力トークンの平均 | 392 | 847 |
| うち推論トークン | 50 | 489 |
| 1 回の原価の平均 | $0.00055 | $0.00047 |
台本の長さは、指示ごとに次のとおりです。推定秒数は台本の文字数から出した目安で、3 回分を並べています。
| 指示 | 秒数の指定 | gpt-5.6-luna | gpt-6-luna |
|---|---|---|---|
| 1. 自由発話からの台本化 | なし | 52 / 54 / 46 秒 | 33 / 35 / 38 秒 |
| 2. バスケットボールの告知 | なし | 15 / 14 / 17 秒 | 17 / 16 / 23 秒 |
| 3. 経費精算システムの案内 | 30 秒 | 36 / 31 / 33 秒 | 29 / 31 / 31 秒 |
| 4. 桜ラテの掛け合い | 40 秒 | 46 / 38 / 35 秒 | 49 / 42 / 43 秒 |
| 5. 硬い台本の書き直し | なし | 20 / 21 / 20 秒 | 20 / 19 / 19 秒 |
秒数を指定した 3 と 4 では、gpt-6-luna の方が 3 回のぶれが小さく出ました。3 は 29〜31 秒で指定の 30 秒にほぼ収まり、4 は 42〜49 秒で 3 回とも指定の 40 秒を超えています。gpt-5.6-luna は 3 が 31〜36 秒、4 が 35〜46 秒で、指定の上下どちらにも外れました。
単価は公式の料金ページ(2026-09-23 時点、100 万トークンあたり)で、gpt-5.6-luna が input $0.20 / output $1.20、gpt-6-luna が input $0.10 / output $0.50 です。
本計測の前に動作確認で 1 周だけ流した回では、両方に失敗が出ています。gpt-5.6-luna は 1 回、返事では「3 幕に分けました」と言いながら編集命令を出しませんでした。gpt-6-luna は 2 回で、1 回は同じく編集命令を出さず、もう 1 回は話し手のいない幕にセリフを入れて弾かれました。5 回中の 1〜2 回なので、失敗しやすさの差を言える量ではありません。どちらを使う場合でも、編集命令が出なかったときと弾かれたときの扱いは必要です。
使い分け
- 人に読ませる・聞かせる文章が出力の中心なら、gpt-6-luna を試す価値があります。effort は下げずに使います
- 応答の速さが体験を左右する場面では、中央値で 2 秒、最長で 6 秒ほど遅くなるのを受け入れられるかを先に決めます
- 判定や分類のように文章の良さが効かない用途は、gpt-5.6-luna のままで困りません
ベンチの順位は、自分の用途に近い課題で測るまでは参考にとどめるのがよさそうです。今回は 30 回、API 料金は数セントで判断できました。