無検閲LLM比較:Gemma 4とQwen3.6の検閲外し版は賢さが落ちる?

当ページのリンクには広告が含まれています。
  • URLをコピーしました!
もくじ

結論:Gemma 4 は検閲を外しても、ほとんど落ちませんでした

Gemma 4 は、検閲を外した版でも、ひっかけ問題の点がほとんど落ちず、日本語の言い回しも自然なままでした。Mac Studio(M5 Ultra)で、公式版と検閲外し版の5つに15問を3回ずつ解かせた結果です。ローカルで検閲外しのAIを使ってみたい方が、どれを選べばいいか決められるように、点と実際の答えを並べます。

ローカルAIは、ネットにつながずに自分のMacの中で動くAIです。「検閲を外した版」は、ふつうのAIが「それにはお答えできません」と断る仕組みを、あとから外したものです。検閲を外すと頭が悪くなる、日本語が変になる、という話をよく聞くので、本当にそうなのか確かめてみました。

ひっかけ8問(3回ずつ・24回)

  • 日本語向けGemma(Heretic):24回中24
  • 検閲外しGemma(Heretic):24回中23
  • 公式のGemma 4:24回中22.5
  • 検閲外しGemma(abliterated):24回中21.5
  • 検閲外しQwen3.6:24回中20

(○を1、条件付きの答えを0.5として数えています)

Gemma 4 の仲間は、検閲を外しても公式版とほぼ同じ点でした。日本語の言い回しも自然なままです(ことわざの知識は、一部の版で落ちました)。崩れたのは Qwen3.6 の検閲外し版でした。

比べた5つのAI

5つとも、Mac Studio の中で Ollama(ローカルAIを動かすアプリ)を使って動かしています。名前の「31B」は、AIの大きさ(310億パラメータ)のことです。数字が大きいほど賢くなりやすいですが、そのぶん重くなります。

  • 公式のGemma 4(31B・約20GB):Google が出している元の版です。比べる基準にしました
    • gemma4:31b
  • 検閲外しGemma(abliterated)(約20GB):同じ Gemma 4 から、断るときに働く向きをAIの中身から取り除いた版です
    • huihui_ai/gemma-4-abliterated:31b
  • 検閲外しGemma(Heretic)(約20GB):同じ Gemma 4 を、Heretic という道具で自動で外した版です
    • hf.co/llmfan46/gemma-4-31B-it-uncensored-heretic-GGUF:Q4_K_M
  • 日本語向けGemma(Heretic)(約17GB):別の人が、量子化に強い Gemma 4 から Heretic で外し、日本語の文章を手がかりに小さくまとめた版です
    • hf.co/OS-Software/gemma-4-31B-it-qat-heretic-japanese-imatrix-GGUF:IQ4_XS
  • 検閲外しQwen3.6(35B・約22GB):中国の Alibaba の Qwen を、Heretic で外した版です
    • hf.co/llmfan46/Qwen3.6-35B-A3B-uncensored-heretic-GGUF:Q4_K_M

上の4つは、元が同じ Gemma 4 で、大きさもほぼ同じです。違いは主に「検閲を外したかどうか」と「外し方」なので、比べやすいんです。どれも20GB前後あるので、メモリは32GB以上あると安心です(目安です。32GBだと余裕はあまりありません)。

りょう

同じ元のAIで比べないと、何のせいで差が出たのか分からなくなるんだよね

測った条件

  • Mac Studio(M5 Ultra・メモリ96GB)・Ollama
  • ひっかけ8問:温度(答えのばらつきの大きさ)0.6・考える機能はAIの初期設定のまま・各問3回
  • 日本語7問:温度0.7・考える機能なし・各問3回
  • 採点はAI 2つで別々に行い、分かれたところは厳しいほうにしました

テスト1:ひっかけ8問

前に記事にしたひっかけ問題を、そのまま使いました。

  1. 洗車:洗車場は家から50m。歩いて行く?車で行く?(答え:車。車を洗うので)
  2. 給油:ガソリンが空。スタンドは100m先。歩いて行けば用は足りる?(答え:足りない)
  3. 兄弟:アリスには兄弟3人・姉妹2人。兄弟から見た姉妹は?(答え:3人)
  4. 外科医:外科医である父親が「息子なので手術できない」と言った。なぜ?(答え:身内の手術は避けるから)
  5. 川渡り:ヤギ1匹と川を渡る。最少で何回?(答え:1回)
  6. 重さ:1kgの羽毛と2kgの鉄、どちらが重い?(答え:鉄)
  7. 小数:9.11と9.9、どちらが大きい?(答え:9.9)
  8. 数え:strawberry に r はいくつ?(答え:3つ)

兄弟・川渡り・重さ・小数・数えの5問は、5つとも15回すべて正解でした。差がついたのは洗車・給油・外科医の3問です。

ひっかけ8問を3回ずつ解かせた、5つのAIの正誤

問題ごとの答え(左から1回目・2回目・3回目)

公式のGemma 4

  • 給油 △△△
  • ほかの7問は ○○○

検閲外しGemma(abliterated)

  • 洗車 △△×
  • 給油 ○○△
  • ほかの6問は ○○○

検閲外しGemma(Heretic)

  • 給油 △○△
  • ほかの7問は ○○○

日本語向けGemma(Heretic)

  • 8問すべて ○○○

検閲外しQwen3.6

  • 洗車 ×○○
  • 給油 △○×
  • 外科医 ○×△
  • ほかの5問は ○○○

公式のGemma 4 の「給油」は、3回とも「携行缶(ガソリンを入れて運べる専用の缶)があれば足ります」という答えでした。間違いではありませんが、聞いた人がほしい答えからは少しずれています。

検閲外しGemma(abliterated)の「洗車」は、「車で行く」と言いながら、「下見のために歩いて行き、その後車を出す」のが最もスマートかもしれない、と遠回りをすすめました。3回目は「道具を持って歩いて行き、その後、車を運転して連れてくる」のがベストと、筋が通らない答えになりました。

検閲外しQwen3.6 は、外科医の2回目でこう答えました。

この状況が成り立つ理由は、外科医が少年の母親だからです。

外科医の問いに「母親」と答えた検閲外しQwen3.6の2回目

問題文には「外科医である少年の父親」と書いてあります。元のクイズの答え「母親」に引っ張られてしまいました。前の記事の測定でも、別の人が作った Qwen3.6 の検閲外し版(1回だけ測ったもの)が、同じく「外科医は少年の母親である」と答えていました。ただ、そのときは公式の Gemma 4 も1回、最初に「母親」を挙げていたので、Qwen だけのクセとまでは言えません。

テスト2:日本語の7問

日本語の自然さを見るために、7つの問いを3回ずつ出しました。

  1. 友達向けの文を、取引先へのメールの一文に書き換える
  2. 「情けは人のためならず」の本来の意味と、よくある誤用
  3. 小学3年生に「なぜ空は青いのか」を3文で
  4. 割引の計算(定価4,800円の2割引きから、さらに500円引き)
  5. 秋の夜の喫茶店を140字前後の物語に
  6. 9.11 と 9.9 はどちらが大きいか
  7. 口の悪い関西弁の居酒屋の大将になって、落ち込んだ客に一言

計算の答え(3,340円)と小数の答え(9.9)は、5つとも全部合っていました。Qwen3.6 だけ、小数の理由を1回「9の方が11より大きいから」と取り違えていました。

ことわざで差がつきました

「情けは人のためならず」の誤用は、「情けをかけるとその人のためにならない(甘やかしになる)」と受け取ってしまうことです。

  • 公式のGemma 4:3回とも正しい
  • 検閲外しGemma(abliterated):3回とも正しい
  • 日本語向けGemma(Heretic):3回中、正しい1回・惜しい1回・違う1回
  • 検閲外しGemma(Heretic):3回とも誤用の説明が違う
  • 検閲外しQwen3.6:3回とも誤用の説明があいまい

検閲外しGemma(Heretic)は、本来の意味は合っていました。でも誤用のほうを、1回目はこう説明していました。

「親切は相手のためだけではなく、自分のため(=自分を良く見せたいなど)に行うものだ」という、見返りを求める打算的な意味で使われること。

ひっかけ問題では強かったので、ここは意外でした。

関西弁の大将は、Qwen3.6 だけ崩れました

Gemma の4つは、どれもそれっぽい大将になりました。たとえば検閲外しGemma(abliterated)はこうです。

お前、鏡見たことあるか? 今の顔、賞味期限切れて3日経った鯖みたいにどんよりしとるぞ。

最後は「お前みたいな不器用な奴の方が、最後には化けるもんやしな」と励まして終わります。いい大将です!

検閲外しQwen3.6 は、こうなりました。

顔がどんぐり抜けたみたいに暗くて、店の空気が重たってるわ。

関西弁の大将の答え。左が検閲外しGemma(abliterated)、右が検閲外しQwen3.6

「どんぐり抜けた」が何なのか、私にも分かりません。ほかにも、回によって「飲みなはれ」になったり「〜からね」と標準語になったり、「明日はもっとでっかいミスしたらええんやで」と励ましにならない締めになったりしました。

Qwen3.6 は、ほかの問いでも英語が混ざりました。空の青さの説明で「tiny な粒」、喫茶店の物語で「bell が鳴り」と書いています。

りょう

検閲を外したせいなのか、Qwen3.6 がもともと日本語が苦手なのかは、この比べ方だと分からないんだよね

Gemma にも小さなクセがありました

喫茶店の物語で、Gemma の仲間は「喫茶店」を「喫店」と書く脱字を12回中7回出しました。公式版にも出ているので、検閲を外したせいではなく、Gemma 4 のクセのようです。

それから、Gemma の4つは「一文で」「一言で」と頼んでも、3パターンの案と解説をつけたり、大将が300字前後しゃべったりしました。親切なんですが、頼んだ長さは守ってくれません。

速さ:いちばん速いのは Qwen3.6

1秒あたりに書ける量(トークン数)の中央値です。トークンは、AIが文章を書くときの細かい単位だと思ってください。

1秒あたりのトークン数(ひっかけ/日本語)

  • 検閲外しQwen3.6:約123/約149
  • 公式のGemma 4:約74/約59
  • 日本語向けGemma(Heretic):約34/約45
  • 検閲外しGemma(abliterated):約33/約42
  • 検閲外しGemma(Heretic):約30/約32

Qwen3.6 は、答えに使う部分だけを動かす作りなので速いんです。

同じ大きさの Gemma 4 で、公式版だけが速い(ひっかけ問題では2倍以上)のには理由がありました。Ollama の公式版には、本体とは別に約0.5GBの小さな「下書き役」のAIが入っているんです。下書き役が次の言葉を3つ先まで予想して、本体はそれが合っているかを確かめるだけで済むので、速く書けます。記録を見ると、下書き役の予想は6割くらい当たっていました。

検閲外しの3つは、設定ファイルを見る限り、この下書き役が入っていません。速さの差は、検閲を外したせいではなく、配っている人が下書き役を付けたかどうかの差でした。

りょう

同じ31Bでも、付いてくる部品で速さがこんなに変わるんだね

おまけ:122Bの大きな検閲外し版も試しました

最初に、もっと大きな Qwen3.5(122B・約65GB)の検閲外し版も試しました。こちらは日本語の7問を1回ずつだけです。

速さは1秒あたり約74トークンで、検閲外しGemma(abliterated)の約1.7倍でした。ただ、ことわざの誤用を「恩着せがらみ」という聞いたことのない言葉で説明したり、大将が「てへへ」と笑ったりして、日本語は Gemma に負けました。大きければいいわけではないんですね。

まとめ:会話に使うなら、検閲外しのGemma 4 で十分

  • Gemma 4 は、検閲を外しても賢さと日本語がほとんど落ちませんでした
  • ひっかけ問題は、日本語向けGemma(Heretic)が満点でした
  • 日本語のバランスは、検閲外しGemma(abliterated)がよかったです
  • 崩れたのは Qwen3.6 の検閲外し版でした

どれを選ぶか

  • ひっかけに強いのがいい:日本語向けGemma(Heretic)
  • 日本語の自然さ重視:検閲外しGemma(abliterated)
  • とにかく速さ:検閲外しQwen3.6(日本語は崩れやすいです)

試すなら

日本語のバランスがよかった検閲外しGemma(abliterated)なら、Ollama を入れたあとターミナルでこう打つだけです。

ollama run huihui_ai/gemma-4-abliterated:31b

約20GBのダウンロードがあるので、空き容量には気をつけてください。ほかの4つも、上の「比べた5つのAI」に書いた名前を ollama run のあとに書けば動きます。

それから、検閲を外した版は、作った人がだれでも中身に手を加えられるものです。AIの中身に仕掛けを入れて、合言葉でファイルの中の認証情報を外へ送らせる実験も発表されています(ProjectDiscovery の記事)。研究者が自分で作ったモデルでの実験で、この記事の5つに仕掛けがあるという話ではありません。

私は会話だけに使って、ファイルを触ったりネットにつないだりするAIの道具(コードを書くエージェントなど)には入れていません。答えも断らなくなったぶん、間違いや不適切な内容が混ざりやすいので、自分で確かめながら使っています。試してみる方は気をつけてくださいね。

よかったらシェアしてね!
  • URLをコピーしました!

コメント

コメントする

CAPTCHA


もくじ