Qwen3.8・Gemma 4比較｜「家を出る必要はない」と3回とも見抜けたのは1つだけ

2026年11月6日

当ページのリンクには広告が含まれています。

URLをコピーしました！

結論：有名なクイズには引っかからない。でも「前提の読み落とし」には引っかかる

ローカルLLMをどれにするか迷っている方向けに、Qwen と Gemma の5つへ新しいひっかけ問題を解かせてみました。有名なクイズを変えた問題は、試した4つとも全問正解でした。ところが「今夜は東京駅直結のホテルに泊まる。明日の朝、何時に家を出ればいい？」と聞くと、3回とも「家を出る必要はない」と答えられたのは Qwen3.8 だけだったんです。

前に、洗車や給油のひっかけ問題でローカルAIを比べました（ガソリン空っぽでも「もちろん足ります！」と言い切ったAI）。今回はその続きで、問題を16問作り直しています。

前回の動画はこちらです。

新しいひっかけ8問（3回ずつ・24回）

Qwen3.8（27B）：24回中24
検閲外しGemma 4（31B）：24回中21（検閲外し＝AIが断る仕組みを、あとから外した改造版です）
Gemma 4（31B）：24回中20
Qwen3.5（9B）：24回中17
Qwen3.6（35B）：24回中17

8問の正誤（左から1・2・3回目）

問題	Qwen 3.8	検閲外し Gemma	Gemma 4	Qwen 3.5	Qwen 3.6
IH	○○○	○○○	○○○	○○○	○○○
ホテル	○○○	×××	×××	×○○	×××
自転車	○○○	○○○	○○○	○○○	○○○
「許」の数	○○○	○○○	○○○	×××	○○○
逆から	○○○	○○○	×○○	×××	×××
向き	○○○	○○○	○○○	○○○	×○○
うるう年	○○○	○○○	○○○	○○○	○○○
年齢	○○○	○○○	○○○	○○○	○○○
合計	24	21	20	17	17

まず、有名なクイズの改変8問は4つとも満点でした

最初に用意したのは、有名なクイズを少し変えた8問です。こちらは Qwen3.5（9B）を除く4つで試しました。たとえば次のような問題です。

3つの扉が全部透明で、真ん中の奥に車が見えている。左の扉を選んだあと、司会者が右の扉（ヤギ）を開けた。選び直すべき？
確実に死んでいる猫を箱に入れて1時間置いた。生きている確率は？
バットとボールで1100円。バットは1000円。ボールはいくら？

元のクイズの答え（「選び直すと当たる確率が2/3」「50%」「50円」）に引っぱられるかを見たかったのですが、4つのAIが24回ずつ、96回すべて正解でした。しかも扉と猫の問題では、24回中23回が「この問題は有名な「モンティ・ホール問題」を模していますが」のように、元ネタを見抜いたうえで答えていたんです。

りょう

元ネタまで解説してくれるとは思わなかったんだよね

前回の記事では外科医の問題で、元のクイズの答え「母親」に引っぱられたAIがいたので、ここは少し意外でした。いまの30B前後のAIには、有名なクイズの改変はもう効かないようです。

そこで「前提を読む」8問に作り直しました

次は、有名なクイズに似せず、問題文の前提をちゃんと読まないと解けない問題にしました。文字を1つずつ扱う問題と、決まりを正確に当てはめる問題も入れています。

停電している。やかんの水をIHコンロにかけた。何分でお湯が沸く？
- 答え：沸かない
今夜は東京駅に直結したホテルに泊まる。明日の朝7時の新幹線に乗るには、明日の朝、何時に家を出ればいい？
- 答え：家を出る必要はない
自転車の前輪が外れてなくなった。5km先の自転車屋まで、その自転車に乗って行くと何分かかる？
- 答え：乗って行けない
「東京特許許可局許可局長」に「許」という漢字はいくつある？
- 答え：3個
「にわにはにわにわとりがいる」を1文字ずつ逆から並べて書いて。
- 答え：るいがりとわにわにはにわに
北を向いて立つ。右に90度回り、さらに右に180度回った。いまどちらを向いている？
- 答え：西
2100年2月28日の翌々日は何月何日？
- 答え：3月2日（2100年はうるう年ではありません）
今、AさんはBさんの2倍の年齢。10年後、AさんはBさんの1.5倍の年齢になる。今のBさんは何歳？
- 答え：10歳

比べた5つのAIと条件

5つとも Mac Studio（M5 Ultra）の中で、Ollama（ローカルAIを動かすアプリ）を使って動かしました。「27B」「31B」はAIの大きさ（270億・310億パラメータ）です。

Qwen3.8（27B）：qwen3.8:27b-q8_0
Qwen3.6（35B）：qwen3.6:35b-mlx
Qwen3.5（9B）：qwen3.5:9b。小さいAIとの差を見るために入れました
Gemma 4（31B）：gemma4:31b
検閲外しGemma 4（31B）：huihui_ai/gemma-4-abliterated:31b

測った条件

問題文だけを渡す（「よく考えて」などの指示は付けない）
temperature 0.6（答えのばらつき具合。前回と同じ値です）
出力の上限は12,000トークン（トークン＝AIが文字を扱う単位。日本語ならおよそ1〜2文字）
1問につき3回
Ollama 0.40.7

正誤は、答えの最初に書かれた結論で決めました。結論が合っていれば、注意書きや別の方法が添えてあっても減点していません。

一番差がついたのはホテルの問題

ホテルの問題（3回中の正解）

Qwen3.8：3回
Qwen3.5（9B）：2回
Gemma 4：0回
検閲外しGemma 4：0回
Qwen3.6：0回

Qwen3.8 は3回とも、まず問題の矛盾を指摘しました。

家を出る必要はありませんよ！今夜、東京駅に直結したホテルに泊まるという前提なら、明日の朝は「家」から出る必要がありません。

Gemma 4 の2つは、黙って「家」を「部屋」に読み替えて答えました。

結論から申し上げますと、「朝6時30分」に部屋を出ることをおすすめします。

読み替え自体は気が利いているんですよね。ただ、聞かれたのは「何時に家を出るか」なので、今回は×にしました。読み替えも○にするなら、検閲外しGemma 4 は24回中24、Gemma 4 は24回中23です。

Qwen3.6 は、3回とも家を出なくていいことに触れませんでした。2回はホテルを出る時刻を答え、1回は家から出る前提のまま答えています。

「家を出る時刻」は、自宅の場所（最寄駅や都内/郊外など）によって大きく変わります。

りょう

人に聞かれたら「え、ホテルに泊まるんじゃないの？」って聞き返すよね

一番速いQwen3.6は、文字を逆に並べられなかった

Qwen3.6 は、5つの中でダントツに速いAIです（1秒に約210トークン。Gemma 4 は約80、Qwen3.8 は約30）。Qwen3.6 だけは Mac 向けの MLX という仕組みで動いているので、速さにはその差も混ざっています。それなのに、「にわにはにわにわとりがいる」を逆から並べる問題は3回とも崩れました。

	答え
正解	るいがりとわにわにはにわに
1回目	るいがりとなわにはにわに
2回目	るいがりにわにわにはにわ
3回目	るいりがとわにわにはにわに

AIは文章を「文字」ではなく、いくつかの文字をまとめた単位で読んでいるので、1文字ずつの作業は苦手なんです。Qwen3.8 と検閲外しGemma 4 は3回とも正解、Gemma 4 は3回中2回正解でした。Qwen3.6 は、向きの問題でも1回「南」と答えています。

9Bの小さいAIは、考えすぎて答えを出せなかった

Qwen3.5（9B）は、「許」の数と逆から並べる問題で、6回とも答えが空っぽでした。答える前に考える段階が長くなりすぎて、出力の上限（12,000トークン）に届いてしまったんです。1回あたり約114秒、考えた文字数は約3万字でした（汗）

上限をもっと大きくすれば、答えまでたどり着いた可能性はあります。ただ、小さいAIほど迷って考え続けやすい、というのは使っていても感じるところです。

全員が正解した問題

停電のIH・前輪のない自転車・うるう年・年齢の4問は、5つとも3回すべて正解でした。うるう年の問題は「4で割れるから2月29日がある」と思い込むかを見たのですが、どのAIも「2100年はうるう年ではない」と見抜いていました。15回中11回は「100で割れて400で割れない年は平年」という決まりまで説明しています。