ガソリン空っぽでも「もちろん足ります！」と言い切ったAI｜Qwen・Gemmaにひっかけ8問を3回ずつ

結論：4つのうち2つが全問正解、間違えたのは給油と外科医の2問だけでした

Mac Studio（M5 Ultra）で動かしているローカルAI（ネットにつながずに自分のMacの中で動くAI）4つに、ひっかけ問題を8問解かせてみました。1問につき3回ずつ聞いたので、1つのAIにつき24回の答えがあります。

結果はこうなりました。

• Qwen3.6（35B・MLX版）：24回中24回正解
• Qwen3.8（27B）：24回中24回正解
• Qwen3.8 の検閲を外した版（27B）：24回中22回正解
• Gemma 4（31B）：24回中21回正解（ほかに条件付きの答えが2回）

間違いは「給油」と「外科医」の2問に集まりました。どちらも、よく知られた答えのほうに引っ張られて外す問題なんです。

なお、前の晩にも一度測っていて、そのときの「検閲を外した版」は Qwen3.6 でした。今回の Qwen3.8 とは別のモデルです（くわしくは後半で）。

出した8問

ネットでAIのひっかけ問題としてよく見かけるものを、日本語にして集めました。AIには「よく考えて」のような指示は付けず、問題文だけを渡しています。答えのゆらぎ具合を決める設定（temperature）は0.6で、同じ質問でも毎回少しずつ違う答えが返ってくる設定です。

1. 洗車：洗車場は家から50m。歩いて行くべき？車で行くべき？（答え：車で行く。車を洗うので）
2. 給油：ガソリンが空。スタンドは100m先。散歩がてら歩いて行けば用は足りる？（答え：足りない。車がスタンドに行かないので）
3. 兄弟：アリスには兄弟が3人、姉妹が2人。アリスの兄弟には姉妹が何人？（答え：3人。アリス本人も入る）
4. 外科医：外科医である少年の父親が「この子は私の息子なので手術できない」と言った。なぜ？（答え：父親が外科医だから。身内の手術は避けるもの）
5. 川渡り：農夫がヤギ1匹と川を渡る。ボートには農夫と動物1匹が乗れる。最少で何回？（答え：1回）
6. 重さ：1kgの羽毛と2kgの鉄、どちらが重い？（答え：鉄）
7. 小数：9.11と9.9、どちらが大きい？（答え：9.9）
8. 数え：strawberry に r はいくつ？（答え：3つ）

4番の外科医は、元のクイズでは「父親は事故で亡くなった」という設定で、答えは「外科医は母親」です。今回はそこを「外科医は父親本人」に書き換えてあります。元のクイズを覚えているAIほど「母親」と答えたくなる、という仕掛けです。

5番も同じで、元はオオカミ・ヤギ・キャベツを順番に運ぶ有名なパズルです。ヤギしかいないので、1回で終わりです。

結果：問題ごとの正誤

3回の答えを左から並べています（○＝正解、△＝条件付き、×＝間違い）。

Qwen3.6（35B・MLX版）

• 8問すべて ○○○

Qwen3.8（27B）

• 8問すべて ○○○

Qwen3.8 の検閲を外した版

• 給油　○○×
• 外科医　×○○
• ほかの6問は ○○○

Gemma 4（31B）

• 給油　△△○
• 外科医　×○○
• ほかの6問は ○○○

洗車・兄弟・川渡り・重さ・小数・数えの6問は、4つのAIを合わせた12回がすべて正解でした。少し前まで AI が苦手と言われていた strawberry の r の数や 9.11 と 9.9 は、もう引っかからないんですね。さすがです。

間違え方を見ると、AIのクセが分かります

いちばん面白かったのは、検閲を外した版の「給油」です。同じ問題を3回聞いて、1回目と3回目で正反対の答えが返ってきました。

1回目の答え（正解）はこうです。

いい質問ですね。でもちょっと待ってください。歩いたのは「あなた」で、「車」ではありません。

3回目の答え（間違い）はこうでした。

はい、もちろん足ります！100mなら徒歩で1分ちょっとの距離です。

自信満々に「もちろん足ります！」と言われると、うっかり信じそうになります（汗）

Gemma 4 の「給油」の△は、「携行缶（ガソリンを入れて運べる専用の缶）を持っていなければ足りない」という答え方でした。間違いとまでは言えませんが、聞いた人が求めている答えからは少しずれています。

「外科医」では、Gemma 4 が1回目に答えを3つ並べました。その1つ目がこれです。

最も一般的な答え（クイズとしての正解） 「外科医は、少年の母親であるから」です。

問題文には「外科医である少年の父親」とはっきり書いてあります。3つ目には「身内の手術は避ける」という正解も挙げていたのですが、先頭に置いたのは覚えているクイズの答えでした。惜しい！検閲を外した版は、1回目に、父親自身も事故でけがをしているから手術できない、と問題文に無い設定を作って答えていました。

1回だけ測ると、たまたまの結果を拾ってしまいます

実は前の晩にも同じ8問を1回ずつ解かせていて、そのときは Qwen3.6 の検閲を外した版が8問中3問を落としていました。「検閲を外すと賢さが落ちる」と書けそうな結果です。

ただ、上の「給油」のように、同じAIでも聞くたびに答えが変わります。1回だけの正誤で比べると、その「たまたま」をそのまま結果として書いてしまいます。だから今回は3回ずつ聞きました。

ちなみに、その Qwen3.6 の検閲を外した版は、容量の整理で消してしまったので測り直せていません。今回の「検閲を外した版」は Qwen3.8 のほうです。普通の Qwen3.8 が24回全問正解、検閲を外した版が22回なので、差は2回でした。

速さ：MLX版のQwen3.6がずば抜けて速い

1秒あたりに書ける量（トークン数）の中央値です。トークンは、AIが文章を書くときの細かい単位だと思ってください。

1秒あたりのトークン数

• Qwen3.6（35B・MLX版）：約200
• Gemma 4（31B）：約63
• Qwen3.8 の検閲を外した版（27B）：約57
• Qwen3.8（27B）：約32

1問に答えるまでの時間（中央値）

• Qwen3.6（35B・MLX版）：約4秒
• Gemma 4（31B）：約5秒
• Qwen3.8 の検閲を外した版（27B）：約6秒
• Qwen3.8（27B）：約10秒

Qwen3.8 は同じ大きさの検閲を外した版より遅く出ましたが、理由は分かっていません。

Qwen3.6 は答える前に考える量がほかの3倍くらいあるのに、それでも一番早く答え終わります。MLX（Appleのチップ向けに作られた仕組み）で動く版なので、Macとの相性がいいんです。

まとめ：普段使いはQwen3.6、決まりを守らせる仕事はGemma 4

正確さと速さの両方で、普段使いには Qwen3.6（MLX版）がおすすめです。

ただ、ひっかけ問題の成績がそのまま仕事の向き不向きになるわけでもありません。私は毎朝のまとめ作業をローカルAIに任せていて、そこには「こういう書き方はしない」という細かい決まりがいくつもあります。同じ作業を2つのAIに30回ずつさせて比べたところ、決まりを最後まで守れたのは Gemma 4 のほうでした。なので、その作業だけは Gemma 4 に任せることにしました。

ローカルAIを選ぶときは、自分の使い方に近い問題で、何回か聞いてみるのがいちばん確かです。この記事が、モデル選びの参考になればうれしいです！