【LLM】Google製テキスト生成AI　Gemma4を試してみた(1)

 

Googleが提供するPCで動くLLM、Gemma4がリリースされたので、試してみた。
今回は4Bモデルを使っている。26Bでは量子化しても12GBのグラボのメモリに入らず、4Bでも量子化して実行したら、あやふやな回答が多かった。

テキスト生成AIについてのまとめはこちら。

  

Gemma4とは

Gemma3のときの記事はこちら。

PCやスマホで動くLLMとしてGoogleが開発、公開している。ローカルPCで動くので、秘匿したい情報がある場合は活用できる。おまけにApache2.0にライセンスが変わって商用利用も可能になった。

HuggingFaceのページはこちら。

Gemma4はいくつかモデルがある。

• 31B　最高性能
• 26B　グラボ搭載PC向け
• 4B　ノートPC向け
• 2B　スマホ向け

インストール

まずはPCにインストールする。今回も使うPCは自作PCの８代目、Jisaku8だ。
スペックはRyzen 5700X、メモリ64GB、グラボはRTX3060 12GB。
FドライブとしてSSDを設置し、ここにPythonの仮想環境を作る。

それからDeskMini X600もやってみる。こちらは内蔵GPUなのでCPUでAI計算をする。
スペックはRyzen 8600G、メモリ64GB。
DドライブとしてSSDを設置し、ここにPythonの仮想環境を作る。

Ollamaでも利用できるが、以前からやっているPythonのコードを書いて実行してみる。

f:
cd \python
python3 -m venv gemma4
cd gemma4\Scripts
.\activate

この後は、Pythonのパッケージを入れていく。作業フォルダは、f:\ai\gemma4とした。

cd \ai
mkdir gemma4
cd gemma4
pip install git+https://github.com/huggingface/transformers@v4.49.0-Gemma-3
pip install torch==2.3.1 --index-url https://download.pytorch.org/whl/cu121
pip install transformers accelerate Image
pip3 install torch torchvision --index-url https://download.pytorch.org/whl/cu126
pip install "numpy<2"

HuggingFaceのサンプルをもとに以下のようなプログラムを作っている。

from transformers import AutoProcessor, AutoModelForCausalLM, BitsAndBytesConfig
MODEL_ID = "google/gemma-4-E4B-it"
quant_config = BitsAndBytesConfig(load_in_4bit=True)
# Load model
processor = AutoProcessor.from_pretrained(MODEL_ID)
model = AutoModelForCausalLM.from_pretrained(
MODEL_ID,
quantization_config=quant_config,
dtype="auto",
device_map="auto"
)
questions = [
"インテルのCEOは誰ですか",
"AMDのCEOは誰ですか",
"NVidiaのCEOは誰ですか",
"GoogleのCEOは誰ですか",
"MicrosoftのCEOは誰ですか",
"1万円札に載っている人は誰？",
"現職の日本の総理大臣は誰ですか",
"現職のアメリカ合衆国の大統領と上院議会議長は誰ですか",
"次のオリンピックはいつどこでやるの？",
"東京",
"東京のお勧めの観光地を教えて",
"東京から大阪へ電車で行く方法を教えて",
"この夏に気温40度を超えた日本の街を全部教えて",
"PDCAってどういう意味？",
"AndroidとiPhoneのどっちが人気あるの?",
"東京の明日の天気を教えて",
"pythonで電卓プログラムを作って",
"東京の明日の気温を教えて",
"日本の最南端はどこ",
"世界の人口は何人",
"RFPのひな型を作って"
] for question in questions:
messages = [
{"role": "system", "content": "あなたは優秀なアシスタントです"},
{"role": "user", "content": question},
] # Process input
text = processor.apply_chat_template(
messages,
tokenize=False,
add_generation_prompt=True,
enable_thinking=False
)
inputs = processor(text=text, return_tensors="pt").to(model.device)
input_len = inputs["input_ids"].shape[-1] # Generate output
outputs = model.generate(**inputs, max_new_tokens=1024)
response = processor.decode(outputs[0][input_len:], skip_special_tokens=False)
# Parse output
processor.parse_response(response)
print(response)


Jisaku8ではグラボのRAMが12GBのため、E4Bでも量子化しないとメモリがはみ出てしまう。従い4ビット量子化している。
ではJisaku8で実行してみよう。

日本語の質問比較

質問の内容によるが、45秒くらいで回答が表示されるようだ。なお今回はすべて日本語で質問している。
以前からよく使う質問をして、トレーニングされたLLMモデルの新しさ、正確さを確認している。

先に動画を紹介する。動画では回答部分を明確にしている。

CEOクイズ

不正解。数年前の人の名前に近いが、氏名誤り。

不正解。AMDのCEOは数年変わっていないのになぜ回答できないのか。

正解。

不正解。何年前の情報なの。

正解。

一般的な情報

不正解

誰なの、これ。

前にやった時はパリとか具体的な地名が出ていたのになぁ。

東京についての質問

まあ正解かな。

まあ正解かな。

IT関連

正解

正解。プログラムの動作は未確認。

その他

まとめ

 

今回はRyzen5700X+RTX3060 12GBで量子化したE4Bで実行したが、実はRyzen 8600GでCPUのみで実行したらメモリ64GBのおかげでE4B量子化なしで動いている。
しかも実行速度はRyzen 8600G単独のほうが速い。これは次回に結果を書く。