AI相棒ノート
記録一覧へ
制作の記録約 6 分で読めます

AIの相棒が新型になったので、今までの相棒と対決させてみた（まさかの3対0）

新しいAIモデル（Fable 5）が使えるようになったので、今までの相棒（Opus 4.8）と『同じ仕事』を目隠しで競わせてみました。審判は私。ベンチマークでは新型が上のはずが、結果は3対0で今までの相棒Opus 4.8の勝ち。数字の強さと『自分に合う』は別物でした。実験のやり方も全部公開します。

先に結論：新しいAIモデル（Fable 5）と今までの相棒（Opus 4.8）に同じ仕事を3つ頼み、どちらが書いたか伏せたまま私が判定しました。結果は3対0で、今までの相棒の勝ちでした。 テストの点数では新型が上と報じられているのに、です。「性能が高い」と「自分に合う」は、どうやら別物でした。 新しいAIが出るたびに乗り換えるか迷っている方の、選び方のヒントになればうれしいです。

こんにちは、アイランドネームです。

今日、私の使っているClaude Codeで、新しいAIモデル「Fable 5（フェーブル・ファイブ）」が選べるようになっているのに気づきました。

ニュースでは、プログラムの修正能力を測るテストで、今までの最上位モデル「Opus 4.8（オーパス）」を大きく上回る点数だと報じられています。

ワクワクしますよね。「新型に乗り換えたら、もっとすごいことができるのでは？」と。

でも、ここで一度立ち止まりました。

このサイトの約束は「数字も失敗も正直に」です。それなら、乗り換える前に確かめたほうがいい。新型は本当に、私にとって良い相棒なのか？

というわけで、新旧の相棒に同じ仕事をさせて、目隠しで判定する対決をやってみました。

対決のルールは「公平さ」が命です

比べ方が雑だと、結果に意味がなくなってしまいます。そこで、次のルールにしました。

  • 同じ仕事を3つ用意して、両方のモデルにまったく同じ文面でお願いする（一字一句同じ）
  • 同時にスタートさせる（片方だけ有利にしない）
  • 結果は「A」「B」とだけ名前を伏せて、私が読み比べて判定する
  • 判定が終わるまで、どちらがどのモデルか私には知らされない

いわば、ラベルを隠した味比べです。ラベルが見えていると、どうしても「新しいほうがおいしいはず」と思いながら食べてしまいますから。

面白いのは、この対決の進行役を、新型のFable 5自身にやってもらったことです。

新型が司令塔になって、6体のAI（3つの仕事×2モデル）を同時に動かし、結果を集めて、名前を伏せた比較表を作ってくれました。

私がやったのは、「こういう実験をしたい」と伝えて、最後に読み比べて判定しただけです。（審判なのに、いちばん楽な係でした）

出した3つのお題は、ふだん頼んでいる仕事です

お題は、私が普段AIに頼む仕事から選びました。

  1. 記事の下書きを書く（このサイトの新記事を1本、丸ごと）
  2. 過去の記事を読んでダメ出しする（AIに上手に頼むコツ5つのレビュー）
  3. アクセスの数字を分析して「次の一手」を提案する（昨日公開したGoogle検索の数字を渡して）

文章力、読む力、考える力。相棒に求める3つの力を、それぞれ試すイメージです。

結果は、まさかの3対0でした

読み比べて、私はぜんぶ「A」を選びました。

そして答え合わせをしたら——Aは今までの相棒、Opus 4.8でした。

お題 私の判定 正体
記事の下書き A Opus 4.8（今までの相棒）
記事のダメ出し A Opus 4.8
数字の分析 A Opus 4.8

新型のFable 5は、まさかの0勝です。

テストの点数では上のはずなのに、私の心には、今までの相棒の文章のほうが響いたのです。

たとえば記事の下書き。Aの文章は長めのじっくり型で、「なぜそうするのか」の理屈と失敗談が厚く書かれていました。読んでいて「わかる、そうなんだよ」と頷けました。

Bも簡潔で良かったのですが、私が「自分のサイトの声」に近いと感じたのは、Aのほうです。

ちなみに、このお題で2つのAIが書いた下書きは、勝った方を土台に、負けた方の良いところを合体させて、「AIに記事を書いてもらう、私の頼み方」として公開しました。対決の副産物まで、無駄なく使っています。

でも、新型が負けっぱなしだったわけではありません

ここからが大事なところです。

判定は3対0でしたが、細かく見ると、新型にも確かな勝ち点がありました。

  • ダメ出しのお題で、新型は過去記事に実際にあった誤字を2種類も発見しました。今までの相棒は同じ記事を「誤字なし」と判定していて、これは明らかな見落とし（あとで確認したら、新型の指摘はぜんぶ本当でした）
  • 記事の下書きは、新型のほうが3割ほど速く仕上がりました

そして正直に書くと、両方ともミスをしています。

今までの相棒は、分析の冒頭になぜか英語の一文を混ぜてきました。新型は、日本語の記事の中に「answers」という英単語をポロッと混入させました。

新旧どちらも、完璧ではないのです。

いちばん面白かったのは、正反対のアドバイスでした

数字の分析のお題では、もっと面白いことが起きました。同じデータを見たのに、2つのAIが正反対の助言をしたのです。

  • 今までの相棒「記事のタイトルを検索向きに書き直そう」
  • 新型「書き直しこそ今やってはダメ。表示4回では効果を測れない。観客が4人しかいない舞台で衣装を悩むようなものだ」

「えっ、どっちを信じればいいの？」と思いますよね。

でも、よく読むと、どちらの言い分にも理屈が通っています。

AIの答えは「正解」ではなく「意見」なんです。

2つ並べてはじめて、自分はどちらに納得するかを考えられる。1つのAIの答えを鵜呑みにするのは危ない、といういい教訓になりました。

この結果を、どう受け止めたか

学びは3つです。

  • テストの点数と「自分に合う」は別物。新型はプログラム修正の点数が高くても、私が求める「サイトの声に合う文章」では旧型が好みだった
  • 目隠しで比べる価値は大きい。「新しいほうがすごいはず」という思い込みを外せる
  • 適材適所でいい。文章はじっくり型の旧相棒、誤字チェックや急ぎの作業は新型、と使い分ければ、対決は共存になる

ちなみに、この記事の下書きは、負けたほうの新型（Fable 5）と一緒に書いています。

自分が3対0で負けた実験の記事を、本人が正直にまとめる。ちょっと不思議で、でもこのサイトらしい風景だなと思います。

まとめ

  • 新型AIが来たので、今までの相棒と目隠し対決をさせた（同じお題・同じ文面・同時スタート）
  • 判定は3対0で今までの相棒の勝ち。ただし新型も誤字発見や速さで勝ち点あり
  • 同じデータから正反対の助言が出た。AIの答えは「意見」。決めるのは人間
  • 乗り換えるかどうかは点数でなく、自分の仕事で試してから決めればいい

「新しいAIが出た」というニュースは、これからも次々来ると思います。そのたびに慌てなくて大丈夫です。

今回のような小さな対決は、AIに進行役を頼めば、非エンジニアでもできます。

次に新しいAIが気になったら、いつも頼んでいる仕事をひとつ選び、同じ文面で両方に頼んで読み比べるだけでも十分です。

今日も読んでいただき、ありがとうございました。また次の記録で。

次に読む