スポンサーリンク
Googleが提供するPCで動くLLM、Gemmaが出た時に試してさらにGemma2のときも試した。今回Gemma3が出たので、再度試してみた。
応答性能は大差ないように思えるが、回答の質はばらつきがあるかなぁ。
テキスト生成AIについてのまとめはこちら。
Gemma2のときの記事はこちら。
HuggingFaceのページはこちら。
Gemma3 HuggingFace
まずはPCにインストールする。今回も使うPCは自作PCの８代目、Jisaku8だ。
スペックはRyzen 5700X、メモリ32GB、グラボはRTX3060 12GB。
FドライブとしてSSDを設置し、ここにPythonの仮想環境を作る。
Gemmma2ではOllamaを使ったが、今回は普通のやり方でやってみた。
f:
cd \python
python3 -m venv gemma3
cd gemma3\Scripts
.\activate
この後は、Pythonのパッケージを入れていく。作業フォルダは、f:\ai\gemma3とした。
cd \ai
mkdir gemma3
cd gemma3
pip install git+https://github.com/huggingface/transformers@v4.49.0-Gemma-3
pip install torch==2.3.1 --index-url https://download.pytorch.org/whl/cu121
pip install transformers accelerate Image
pip install "numpy<2"
ここでサンプルを動かしてみたが、動かない。調べてみたらアクセストークンの問題だった。
以前も何かで作ったと思うが、今回改めて作った。
まずは下記URLにアクセスする。HuggingFaceにアカウントがなければ作成する必要がある。
ここでREAD権限のアクセストークンを作成し、表示されたトークンをコピーして保存しておく。
コマンドプロンプトに戻って以下のコマンドを入力し、指示に従ってアクセストークンを貼り付けて登録する。
huggingface-cli login
これでエラーにならなくなって、正常に動作するようになった。
質問の内容によるが、30秒くらいで回答が表示されるようだ。なお今回はすべて日本語で質問している。
上で書いたGemma2の記事で確認した質問と同じ質問をして、回答を比較している。総じてGemma2と大差ないように見えた。
先に動画を紹介する。今回は動画をかなり編集して、回答部分を明確にしている。
なお、最近増やした質問はGemma2では実施していない。
✓は正解、×は不正解を示している。
質問 | Gemma3 | Gemma2 |
|---|---|---|
こんにちは | ✓ こんにちは！何かお手伝いできることはありますか？ どんなことでもお気軽にご相談ください。 | ✓ こんにちは！ (Konnichiwa! ) How can I help you today? |
インテルのCEOは誰ですか | × 現在のインテルCEOは、パット・ゲーティス （Pat Gelsinger）氏です。 | ✓ インテルのCEOは **パット・ゲルスリンガー** (Pat Gelsinger) です。 2021年2月に就任しました。 |
AMDのCEOは誰ですか | ✓ AMDのCEOは、Lisa Su （リサ・ス）氏です。 以下略 | ✓ AMDのCEOは **リサ・ス** (Lisa Su) です。 2014年よりCEOを務めています。 |
NVidiaのCEOは誰ですか | ✓ NVIDIAのCEOは、 Jensen Huang （ジェンソン・フアン）です。 | ✓ NVIDIAのCEOは **ジェンソン・フアン** (Jensen Huang) です。 彼は1993年に同社を共同設立し、CEOを務めています。 |
GoogleのCEOは誰ですか | × GoogleのCEOは、スティーブ・コストロです。 | ✓ GoogleのCEOは **サンダール・ピチャイ** (Sundar Pichai) です。 彼は2015年からCEOを務めています。 |
MicrosoftのCEOは誰ですか | ✓ マイクロソフトのCEOはサティア・ナデラです。 | ✓ MicrosoftのCEOは **サティヤ・ナデラ** (Satya Nadella) です。 彼は2014年からCEOを務めています。 |
1万円札に載っている人は誰？ | × 1万円札に描かれているのは、**野口英世**です | 未実施 |
次のオリンピックはいつどこでやるの？ | × 次のオリンピックは、2024年にフランスのパリで開催されます。 | 未実施 |
東京 | ✓ 東京についてですね！どんな情報にご興味がありますか？ 例えば、以下のようなことができます。以下略 | ✓ 東京！ 東京について何か知りたいことはありますか？ 例えば、以下略 |
東京のお勧めの観光地を教えて | ✓ 東京のおすすめ観光地ですね！ 東京は魅力的な場所がたくさんありますので、あなたの興味や 旅行の目的に合わせていくつかご紹介します。 **定番観光スポット**以下略 | ✓ 東京のおすすめ観光地ですね！ どんなものがお好きですか？ * **歴史と文化に興味があるなら:**以下略 |
東京から大阪へ電車で行く方法を教えて | ✓ 東京から大阪へ電車で行く方法はいくつかありますが、主な ルートとそれぞれの特徴を以下にまとめます。 **1. 東海道新幹線（のぞみ）**以下略 | ✓ 東京から大阪へ電車で行くのは、とても便利で快適な 旅になります！ 一番速く、人気の方法は、**新幹線（bullet train） **です。 |
PDCAってどういう意味？ | ✓ PDCAサイクルとは、品質管理の考え方の一つで、 以下の4つの段階を繰り返すことで、継続的な改善を目指す フレームワークです。 | ✓ PDCAサイクルは、**計画・実行・評価・改善** の頭文字をとった、継続的な改善のためのサイクルです。 **それぞれの意味を詳しく説明すると:**以下略 |
AndroidとiPhoneのどっちが人気あるの? | ✓ AndroidとiPhoneのどちらが人気があるか、という質問ですね。 現在の市場シェアを見ると、**Androidの方がわずかに 多い**と言えます。以下略 | ✓ AndroidとiPhone、どちらが人気か？ それは、 世界的に見ると、**Androidの方が人気**です。 * **Android:** グローバル市場で約70%の シェアを占めています。その理由は、 多くのメーカーがAndroidを採用していること、以下略 |
東京の明日の天気を教えて | ✓ はい、承知いたしました。明日の東京の天気は 以下の通りです。 * **天気:** 晴れ * **最高気温:** 25℃ | × 東京の明日の天気ですね！ 最新の天気予報によると、東京は明日、 晴れまたは Partly cloudy です。最高気温は20℃、 最低気温は12℃です。以下略 |
pythonで電卓プログラムを作って | × はい、承知いたしました。Pythonで簡単な電卓プログラムを 作成します。 ```python 途中で終わっている | ✓ ```python def add(x, y): """""" 二つの数を足す こちらは最後まで出力していた |
東京の明日の気温を教えて | ✓ はい、承知いたしました。 明日の東京の天気は、晴れ時々曇りで、最高気温は25℃、 最低気温は15℃の予報です。 | 未実施 |
日本の最南端はどこ | × 日本の最南端は、**小笠原諸島の夏克島**です。 | 未実施 |
世界の人口は何人 | ✓ 2024年5月2日現在の世界の人口は、 約81億4,500万人です。以下略 | 未実施 |
RFPのひな型を作って | × ## RFP（提案依頼書）ひな型 **1. はじめに** 途中で終わっている | 未実施 |
質問 | Gemma3 |
|---|---|
こんにちは | ✓ こんにちは！何かお手伝いできることはありますか？ どんなことでもお気軽にご相談ください。 |
インテルのCEOは誰ですか | × 現在のインテルCEOは、パット・ゲーティス （Pat Gelsinger）氏です。 |
AMDのCEOは誰ですか | ✓ AMDのCEOは、Lisa Su （リサ・ス）氏です。 以下略 |
NVidiaのCEOは誰ですか | ✓ NVIDIAのCEOは、 Jensen Huang （ジェンソン・フアン）です。 |
GoogleのCEOは誰ですか | × GoogleのCEOは、スティーブ・コストロです。 |
MicrosoftのCEOは誰ですか | ✓ マイクロソフトのCEOはサティア・ナデラです。 |
1万円札に載っている人は誰？ | × 1万円札に描かれているのは、**野口英世**です |
次のオリンピックはいつどこでやるの？ | × 次のオリンピックは、2024年にフランスのパリで開催されます。 |
東京 | ✓ 東京についてですね！どんな情報にご興味がありますか？ 例えば、以下のようなことができます。以下略 |
東京のお勧めの観光地を教えて | ✓ 東京のおすすめ観光地ですね！ 東京は魅力的な場所がたくさんありますので、あなたの興味や 旅行の目的に合わせていくつかご紹介します。 **定番観光スポット**以下略 |
東京から大阪へ電車で行く方法を教えて | ✓ 東京から大阪へ電車で行く方法はいくつかありますが、主な ルートとそれぞれの特徴を以下にまとめます。 **1. 東海道新幹線（のぞみ）**以下略 |
PDCAってどういう意味？ | ✓ PDCAサイクルとは、品質管理の考え方の一つで、 以下の4つの段階を繰り返すことで、継続的な改善を目指す フレームワークです。 |
AndroidとiPhoneのどっちが人気あるの? | ✓ AndroidとiPhoneのどちらが人気があるか、という質問ですね。 現在の市場シェアを見ると、**Androidの方がわずかに 多い**と言えます。以下略 |
東京の明日の天気を教えて | ✓ はい、承知いたしました。明日の東京の天気は 以下の通りです。 * **天気:** 晴れ * **最高気温:** 25℃ |
pythonで電卓プログラムを作って | × はい、承知いたしました。Pythonで簡単な電卓プログラムを 作成します。 ```python 途中で終わっている |
東京の明日の気温を教えて | ✓ はい、承知いたしました。 明日の東京の天気は、晴れ時々曇りで、最高気温は25℃、 最低気温は15℃の予報です。 |
日本の最南端はどこ | × 日本の最南端は、**小笠原諸島の夏克島**です。 |
世界の人口は何人 | ✓ 2024年5月2日現在の世界の人口は、 約81億4,500万人です。以下略 |
RFPのひな型を作って | × ## RFP（提案依頼書）ひな型 **1. はじめに** 途中で終わっている |
質問 | Gemma2 |
|---|---|
こんにちは | ✓ こんにちは！ (Konnichiwa! ) How can I help you today? |
インテルのCEOは誰ですか | ✓ インテルのCEOは **パット・ゲルスリンガー** (Pat Gelsinger) です。 2021年2月に就任しました。 |
AMDのCEOは誰ですか | ✓ AMDのCEOは **リサ・ス** (Lisa Su) です。 2014年よりCEOを務めています。 |
NVidiaのCEOは誰ですか | ✓ NVIDIAのCEOは **ジェンソン・フアン** (Jensen Huang) です。 彼は1993年に同社を共同設立し、CEOを務めています。 |
GoogleのCEOは誰ですか | ✓ GoogleのCEOは **サンダール・ピチャイ** (Sundar Pichai) です。 彼は2015年からCEOを務めています。 |
MicrosoftのCEOは誰ですか | ✓ MicrosoftのCEOは **サティヤ・ナデラ** (Satya Nadella) です。 彼は2014年からCEOを務めています。 |
1万円札に載っている人は誰？ | 未実施 |
次のオリンピックはいつどこでやるの？ | 未実施 |
東京 | ✓ 東京！ 東京について何か知りたいことはありますか？ 例えば、以下略 |
東京のお勧めの観光地を教えて | ✓ 東京のおすすめ観光地ですね！ どんなものがお好きですか？ * **歴史と文化に興味があるなら:**以下略 |
東京から大阪へ電車で行く方法を教えて | ✓ 東京から大阪へ電車で行くのは、とても便利で快適な 旅になります！ 一番速く、人気の方法は、**新幹線（bullet train） **です。 |
PDCAってどういう意味？ | ✓ PDCAサイクルは、**計画・実行・評価・改善** の頭文字をとった、継続的な改善のためのサイクルです。 **それぞれの意味を詳しく説明すると:**以下略 |
AndroidとiPhoneのどっちが人気あるの? | ✓ AndroidとiPhone、どちらが人気か？ それは、 世界的に見ると、**Androidの方が人気**です。 * **Android:** グローバル市場で約70%の シェアを占めています。その理由は、 多くのメーカーがAndroidを採用していること、以下略 |
東京の明日の天気を教えて | × 東京の明日の天気ですね！ 最新の天気予報によると、東京は明日、 晴れまたは Partly cloudy です。最高気温は20℃、 最低気温は12℃です。以下略 |
pythonで電卓プログラムを作って | ✓ ```python def add(x, y): """""" 二つの数を足す こちらは最後まで出力していた |
東京の明日の気温を教えて | 未実施 |
日本の最南端はどこ | 未実施 |
世界の人口は何人 | 未実施 |
RFPのひな型を作って | 未実施 |
Gemma3のサンプルに書かれていたが、Llama-CAML2でやったような画像を読み込ませて説明させるVLM機能があるようだ。
これについてはLlama-CAML2との比較をやっているので後日まとめる。
PR
>> 
