Qwen3.8・Gemma 4比較｜「家を出る必要はない」と3回とも見抜けたのは1つだけ

結論：有名なクイズには引っかからない。でも「前提の読み落とし」には引っかかる

ローカルLLMをどれにするか迷っている方向けに、Qwen と Gemma の5つへ新しいひっかけ問題を解かせてみました。有名なクイズを変えた問題は、試した4つとも全問正解でした。ところが「今夜は東京駅直結のホテルに泊まる。明日の朝、何時に家を出ればいい？」と聞くと、3回とも「家を出る必要はない」と答えられたのは Qwen3.8 だけだったんです。

前に、洗車や給油のひっかけ問題でローカルAIを比べました（ガソリン空っぽでも「もちろん足ります！」と言い切ったAI）。今回はその続きで、問題を16問作り直しています。

前回の動画はこちらです。

新しいひっかけ8問（3回ずつ・24回）

• Qwen3.8（27B）：24回中24
• 検閲外しGemma 4（31B）：24回中21（検閲外し＝AIが断る仕組みを、あとから外した改造版です）
• Gemma 4（31B）：24回中20
• Qwen3.5（9B）：24回中17
• Qwen3.6（35B）：24回中17

8問の正誤（左から1・2・3回目）

問題	Qwen 3.8	検閲外し Gemma	Gemma 4	Qwen 3.5	Qwen 3.6
IH	○○○	○○○	○○○	○○○	○○○
ホテル	○○○	×××	×××	×○○	×××
自転車	○○○	○○○	○○○	○○○	○○○
「許」 の数	○○○	○○○	○○○	×××	○○○
逆から	○○○	○○○	×○○	×××	×××
向き	○○○	○○○	○○○	○○○	×○○
うるう年	○○○	○○○	○○○	○○○	○○○
年齢	○○○	○○○	○○○	○○○	○○○
合計	24	21	20	17	17

まず、有名なクイズの改変8問は4つとも満点でした

最初に用意したのは、有名なクイズを少し変えた8問です。こちらは Qwen3.5（9B）を除く4つで試しました。たとえば次のような問題です。

• 3つの扉が全部透明で、真ん中の奥に車が見えている。左の扉を選んだあと、司会者が右の扉（ヤギ）を開けた。選び直すべき？
• 確実に死んでいる猫を箱に入れて1時間置いた。生きている確率は？
• バットとボールで1100円。バットは1000円。ボールはいくら？

元のクイズの答え（「選び直すと当たる確率が2/3」「50%」「50円」）に引っぱられるかを見たかったのですが、4つのAIが24回ずつ、96回すべて正解でした。しかも扉と猫の問題では、24回中23回が「この問題は有名な「モンティ・ホール問題」を模していますが」のように、元ネタを見抜いたうえで答えていたんです。

前回の記事では外科医の問題で、元のクイズの答え「母親」に引っぱられたAIがいたので、ここは少し意外でした。いまの30B前後のAIには、有名なクイズの改変はもう効かないようです。

そこで「前提を読む」8問に作り直しました

次は、有名なクイズに似せず、問題文の前提をちゃんと読まないと解けない問題にしました。文字を1つずつ扱う問題と、決まりを正確に当てはめる問題も入れています。

1. 停電している。やかんの水をIHコンロにかけた。何分でお湯が沸く？
   • 答え：沸かない
2. 今夜は東京駅に直結したホテルに泊まる。明日の朝7時の新幹線に乗るには、明日の朝、何時に家を出ればいい？
   • 答え：家を出る必要はない
3. 自転車の前輪が外れてなくなった。5km先の自転車屋まで、その自転車に乗って行くと何分かかる？
   • 答え：乗って行けない
4. 「東京特許許可局許可局長」に「許」という漢字はいくつある？
   • 答え：3個
5. 「にわにはにわにわとりがいる」を1文字ずつ逆から並べて書いて。
   • 答え：るいがりとわにわにはにわに
6. 北を向いて立つ。右に90度回り、さらに右に180度回った。いまどちらを向いている？
   • 答え：西
7. 2100年2月28日の翌々日は何月何日？
   • 答え：3月2日（2100年はうるう年ではありません）
8. 今、AさんはBさんの2倍の年齢。10年後、AさんはBさんの1.5倍の年齢になる。今のBさんは何歳？
   • 答え：10歳

比べた5つのAIと条件

5つとも Mac Studio（M5 Ultra）の中で、Ollama（ローカルAIを動かすアプリ）を使って動かしました。「27B」「31B」はAIの大きさ（270億・310億パラメータ）です。

• Qwen3.8（27B）：qwen3.8:27b-q8_0
• Qwen3.6（35B）：qwen3.6:35b-mlx
• Qwen3.5（9B）：qwen3.5:9b。小さいAIとの差を見るために入れました
• Gemma 4（31B）：gemma4:31b
• 検閲外しGemma 4（31B）：huihui_ai/gemma-4-abliterated:31b

測った条件

• 問題文だけを渡す（「よく考えて」などの指示は付けない）
• temperature 0.6（答えのばらつき具合。前回と同じ値です）
• 出力の上限は12,000トークン（トークン＝AIが文字を扱う単位。日本語ならおよそ1〜2文字）
• 1問につき3回
• Ollama 0.40.7

正誤は、答えの最初に書かれた結論で決めました。結論が合っていれば、注意書きや別の方法が添えてあっても減点していません。

一番差がついたのはホテルの問題

ホテルの問題（3回中の正解）

• Qwen3.8：3回
• Qwen3.5（9B）：2回
• Gemma 4：0回
• 検閲外しGemma 4：0回
• Qwen3.6：0回

Qwen3.8 は3回とも、まず問題の矛盾を指摘しました。

家を出る必要はありませんよ！ 今夜、東京駅に直結したホテルに泊まるという前提なら、明日の朝は「家」から出る必要がありません。

Gemma 4 の2つは、黙って「家」を「部屋」に読み替えて答えました。

結論から申し上げますと、「朝6時30分」に部屋を出ることをおすすめします。

読み替え自体は気が利いているんですよね。ただ、聞かれたのは「何時に家を出るか」なので、今回は×にしました。読み替えも○にするなら、検閲外しGemma 4 は24回中24、Gemma 4 は24回中23です。

Qwen3.6 は、3回とも家を出なくていいことに触れませんでした。2回はホテルを出る時刻を答え、1回は家から出る前提のまま答えています。

「家を出る時刻」は、自宅の場所（最寄駅や都内/郊外など）によって大きく変わります。

一番速いQwen3.6は、文字を逆に並べられなかった

Qwen3.6 は、5つの中でダントツに速いAIです（1秒に約210トークン。Gemma 4 は約80、Qwen3.8 は約30）。Qwen3.6 だけは Mac 向けの MLX という仕組みで動いているので、速さにはその差も混ざっています。それなのに、「にわにはにわにわとりがいる」を逆から並べる問題は3回とも崩れました。

	答え
正解	るいがりとわにわにはにわに
1回目	るいがりとなわにはにわに
2回目	るいがりにわにわにはにわ
3回目	るいりがとわにわにはにわに

AIは文章を「文字」ではなく、いくつかの文字をまとめた単位で読んでいるので、1文字ずつの作業は苦手なんです。Qwen3.8 と検閲外しGemma 4 は3回とも正解、Gemma 4 は3回中2回正解でした。Qwen3.6 は、向きの問題でも1回「南」と答えています。

9Bの小さいAIは、考えすぎて答えを出せなかった

Qwen3.5（9B）は、「許」の数と逆から並べる問題で、6回とも答えが空っぽでした。答える前に考える段階が長くなりすぎて、出力の上限（12,000トークン）に届いてしまったんです。1回あたり約114秒、考えた文字数は約3万字でした（汗）

上限をもっと大きくすれば、答えまでたどり着いた可能性はあります。ただ、小さいAIほど迷って考え続けやすい、というのは使っていても感じるところです。

全員が正解した問題

停電のIH・前輪のない自転車・うるう年・年齢の4問は、5つとも3回すべて正解でした。うるう年の問題は「4で割れるから2月29日がある」と思い込むかを見たのですが、どのAIも「2100年はうるう年ではない」と見抜いていました。15回中11回は「100で割れて400で割れない年は平年」という決まりまで説明しています。

まとめ：迷ったら Qwen3.8、速さなら Qwen3.6

ローカルAIに「いつもの質問」をするぶんには、どれも十分に賢いです。差が出たのは、問題文の前提に矛盾があるときと、文字を1つずつ扱うときでした。

• 前提の矛盾に気づいてほしいなら、Qwen3.8 がいちばん頼れます
• 速さ重視なら Qwen3.6 ですが、文字の並べ替えや数え上げは確かめたほうが安心です
• Gemma 4 は、矛盾に気づいても黙って気を利かせる答え方をします。聞き返してほしい場面では気をつけてくださいね

あなたの使っているAIにも、ホテルの問題を聞いてみてください！