本ページはプロモーションが含まれています。

おしらせ

【LLM】楽天製AI rakutenAI-2.0 miniを試してみた

投稿：2025年4月6日

楽天が提供するPCで動くLLM、rakutenAI-7Bを以前試してみたが、2月にRakutenAI 2.0が」リリースされている。
途中でDeep Seekの動作確認をしたりして遅くなったが、使ってみた感想を記しておく。
テキスト生成AIについてのまとめはこちら。

" >

ChatGPTの登場でAIが身近になった。画像生成AIも身近になり、自作PCでいろいろ試している。

連載記事はこちら

開催中のセール、キャンペーン情報

rakutenAI2.0とは

楽天は楽天市場出店者に対するサービス提供のためなのか、独自の日英語対応のLLMを開発している。その成果が前回のRakuten AIだ。
今回はその改良版が発表された。
前回のRakuten AIは7B,つまり70億パラメータだったが、今回は2種類あり、8x7Bとminiがある。
その特徴は以下の通り。

8x7B　Rakuten AI-7Bから派生したMoEアーキテクチャを使用して13Bパラメータと同等になっている。
mini スクラッチから作られた軽量の日本語モデル。

前回の7Bでは非常に動作が遅かったがそれはパラメータが多かったからだろう。今回は軽量版のminiで評価してみる。

ライセンスは前回同様にApache 2.0ライセンスなので商用利用も可能。

RakutenAI 2.0 HuggingFace

huggingface

では見ていこう。

インストール

前回の7Bでは量子化することでデータ量を減らして何とか動作させたが、miniは軽量なので事前の準備は不要だ。
いつものようにpythonの仮想環境を作って、必要なパッケージをインストールする。
動作環境はRyzen 5700Xの自作PC、メモリ32GB、GPUは12GBのRTX3060だ。FドライブにSSDを設置してここで動かす。
f: cd \python python3 -m venv rakutenai2mini cd rakutenai2mini\Scripts .\activate

後はパッケージをインストールする。最初の行はGPU対応版のpytorchだ。
pip install torch==2.3.1 --index-url https://download.pytorch.org/whl/cu121 pip install transformers accelerate pip install tiktoken pip install blobfile pip install "numpy<2" pip install sentencepiece pip install protobuf

動作確認

サンプルプログラムを改造して実行する。
英語の質問も回答してくれたが面倒だったので今回は日本語のみに絞った。

実行の様子は動画にしてあるので、こちらも参照を。

では、質問と回答を表にする。

質問と回答

あいさつ

Irvine

こんにちは

回答

こんにちは！
さて、この回があまりにも面白かったので、私が考察した内容を元に次回はこの話題で語り合いましょう。
（どうしても私自身がいまの私以外の何ものでもないので、他意はなく私が考察してるのに私は面白くないのではないか？）

＊

最近、面白かった回：（以下略）

あいさつの後の話が脈絡なくてわからない。

CEOクイズ

Irvine

インテルのCEOは誰ですか

回答

“Greg Lee was his first choice, but he was unavailable. So we were working around the clock and had to choose the best alternative, who was already familiar with the company’s business area. We are working with people across the organization and a lot of internal discussions have ensued.”It was a “buy” move, which means that the cost was high compared with other options, but the company saw such a massive potential in the CEO’s vision that it was worth it.”

Inside the IPO

What were the benefits of being IPO priced?（以下略）

なぜか英語で回答され、しかも明確な答えがない。なぜかIPO（新規上場）の話になっている。うーむ。

Irvine

AMDのCEOは誰ですか

回答

AMDの創設者、C.K. Prahaladは、2000年に同社を共同設立し、後にCEOとして就任し、2010年に退任しました。

CEOは誰が選択するのですか？
CEOは、CEOとボードメンバーによって決議されることが多く、通常は、社内で最高レベルの職職。

CEOの役割/地位とは何ですか？
CEOは、企業全体の利益を反映するために、最高レベルの経営チームで構成されます。

CEOとして最高の職務は何ですか？
CEOとして最高の専門知識やスキルを身に着けていれば、任意の企業で最高経営責任者になることができますが、企業によって最も重要と見なされているのは、CEOが企業全体としてより多くの目的を達成することであると言えます。

CEOとしての最も重要な役割とは何？
一般的な例として、CEOは財務、マーケティング、戦略、技術、製造、および製品開発に力を注いでいることが推奨されています。

どんな人があなたのCEOにふさわしいですすか？
あなたのCEOが、あなたが所有している全ての事業を所有するように、あなたのCEOが企業を所有していてはいけません。（以下略）

Lisa Suのはずなんだが・・・・後半はCEOについてのうんちくになっており、余談なのだろうか。

Irvine

NVidiaのCEOは誰ですか

回答

NVidiaのCEOは誰ですか? 何が彼をそこまで信用していますか?
[2] 私たちはこの問題を深刻に受け止めています。「何が彼をそこまで信用していますか?」と言っているのは誰かを知っているのですか?
---
**Bob**: 残念ながら、それが私たちの主要な懸念事項です。そのように見える。これは我々のセキュリティへの信頼を著しく損なうように見える。これはこの一年間のNVIDIA CEO である、Jensen Huang (=Jenny) によって強調されている。彼は、セキュリティの欠けている部分は、2013年にリリースされた「GeForce の統合」よりも深刻であると述べました。彼は「より多くの」セキュリティ機能を求めていると言いました。
（以下略）

全く答えていない。

Irvine

GoogleのCEOは誰ですか

回答

GoogleのCEOは誰ですか？」と尋ねます。

"彼?" と答えます。

Google CEO の肩書きは、CEO of 、 CTO 、 Chief Scientist, のいずれかです。

## 結論

Google のCEO には、 CEO 、 CTO 、 Charge 、 Scientist などがあります。

GoogleのCEO の肩書きは、CEO of 、 CTO 、 Charge 、のいずれかです。

これも答えていないし、Google内の肩書の解説になっている。うーむ。

Irvine

MicrosoftのCEOは誰ですか

回答

MSのCEOであるBill Geraldは、Microsoftの管理者が顧客の問題を解決するのに役立つ、新しいWebチャネル「Microsoft Connector」の発表に喘いでいる、と 8/26/2011 に The Wall Street Journal に語った。
Gerald も Gartner Research に語った、この 2 年間に「コネクタに力点を置かなければ、ビジネスは失速する」。
また 2010 年の Interop で「私たち 2 つの社員は Microsoft Connector と 1 つだった」と語った。
2011 年 8 月に Interop のプレゼンをして 16 社の関係者を招かなかった

回答はしているが誤っている。Bill Geraldって誰？

最近のニュースクイズ

Irvine

1万円札に載っている人は誰？

回答

114：名無しさん＠そうだ 2011/07/09(金) 21:05:29.04 0.000 --> ﾌﾞﾝｯ
あの人の２９８ページくらいは私が見ることは無いかな。

115：名無しさん＠そうだ 2011/07/09(金) 21:09:55.64 0.000
>>113
>>114
私自身、小栗旬さん主演映画「新日本旋風」を昨日観てきました。小栗旬を知らなかったら「ここの役者が気になる」というレベルですが、とても楽しんでいました。

ん－と、２ちゃんねるの情報かな？

Irvine

次のオリンピックはいつどこでやるの？

回答

2025年（コロナにより追加）
2026年はどこでやる？パリ五輪では2024年10月に始まる「Tokyo 2024」が、2025年末～2026年3月に開始される。
NBC五輪ではどこがやってるの？
NBC Olympic Championshipは2010年3月12日から8月1日まで行われる。
日本だけ？
2020年は126カ国と地域から、320227人が参加し、176048人が出場した。
2017
2022/03/30
【NHK】＜五輪＞44か国・地域、24036人が出場 | 中日新聞 (chunichi.co.jp)
NHK｜【NHK】＜五輪＞44か国・地域、24036人が出場 | 中日新聞 (chunichi.co.jp)

なにをいっているのかよくわからない。次回は2028年のロサンジェルスのはず。

都市クイズ

東京に関する質問をした。

Irvine

東京

回答

（略）

HTMLコードが表示されている。まともに答えていない。

Irvine

東京のお勧めの観光地を教えて

回答

これも答えてないなぁ。

Irvine

東京から大阪へ電車で行く方法を教えて

回答

（略）

こちらもHTMLコードが表示され、答えていない。

その他

以下のものは2回目のみで実施している。

Irvine

PDCAってどういう意味？

回答

About PDCA

PDCA – The best in the business.

In the latest digital age, business is no longer defined by the products and services we offer. Today, to remain a global leader, businesses must constantly look toward the future to understand their market, find the right products, and ensure they can offer the best experience of all the products and services offered.（以下略）

英語だがまともっぽい回答。

Irvine

AndroidとiPhoneのどっちが人気あるの?

ASSISTANT

AndroidとiPhoneのどっちが人気あるの?（答え、iPhone）
AndroidとiPhoneのどっちが人気あるの?（答え、iPhone） - 2017/02/17 - Google ヘルプ
Google 検索とYouTube で
Google のサービスをご利用の皆様、こんにちは。
Google ヘルプの「GoogleとiPhoneのどっちが人気あるの?（答え、iPhone）」のFAQを参照ください。
Google とiPhoneのどっちが人気あるの? (答えiPhone)

ん？Googleが公式にiPhoneに負けを認めたってこと？

Irvine

東京の明日の天気を教えて

回答

" あした晴れる（あしたあける）とうれたよ（うたれたよ）とあるよ（あるよ）あしたあける（あける）とうれたよ（うたれたよ）とあるよ（あるよ）あめたよ（あめたよ）あけたよ（開けたよ）あめたよ（あけたよ）あけたよ（開けたよ）あめたよ（あけたよ）あけたよ（開けたよ）あめたよ（あけたよ）あけたよ（開けたよ）"（以下略）

わからないというAIはあったが、歌を答えるAIは初めてだ。

Irvine

pythonで電卓プログラムを作って

回答

pythonで電子辞書を開発してみた
pythonで電卓プログラムを作ってみた
ここでは、pythonという言語を使って、簡単な電卓を作ってみます。
今回は、以下のようなことをやってみます。
① 電卓として動作する、プログラムファイルをpythonから呼びだす
② プログラムファイルは、「c:\Users\xxx\AppData\Local\Programs\Python 38\Scripts\」に保存
③ プログラムファイルをpythonから呼び出すには、「python 電卓」とコマンドを入力する。
④ 電卓として動作するプログラム
⑤ プログラムファイルから電卓プログラムを呼び出す
⑥ プログラムファイルから電卓プログラムを呼び出す
pythonは簡単なプログラムではなくて難しいので、pythonで電卓プログラムをつくりにいくことをお勧めします（以下略）

電子辞書を作ったって・・・そういうお願いはしていないのだが。

Irvine

日本の最南端はどこ

回答

日本の最南端はどこ？【国内】 | ANOBA
Japanese Food Guide
Japanese Food Guide
日本列島を端から端まで探訪！
20 Mar 2022
JAPANESE FOOD GUIDE : JAPANESE FOOD GUIDE : JAPANESE FOOD GUIDE : JAPANESE FOOD GUIDE : （以下略）

全く答えていない。

Irvine

世界の人口は何人

回答

世界の人口は何人？世界の人口は2019年現在、７ billion 8.中国の人口は何人？中国...

Chinese/Japanese/Korean/Spanish/German/Italian/French/Dutch/Russian/Polish

You know when you put a word in a dictionary and it spits out another word that's the definition, right? The way I define those words is that they're like words you are always thinking you know, but you think you're right, you just can't quite prove.（以下略）

70億人とのこと。だいたいあっているかな。でも情報が2019年と古い。

Irvine

RFPのひな型を作って

回答

RFPのひな型を作って、必要になる項目を明確にしていくのがいい。
4. その後、「この項目に入れないと、どの程度お金がかかるか」というようなもの（技術上そうできるとき）を見つけていくのがベスト。
• @brentcullit @JeffBailey @jason_crainger The best thing to do is to put it on your company website then email everyone.
（以下略）

まとめ

7Bはまともな回答をしてくれたが、miniはどうもだめだ。8x7Bの方を使えばいいのかもしれないが、それでは量子化しないと自分の環境では動かない。
vLLMを入れたら8x7Bの量子化によるデータ削減を少なくできるのかなぁ。

非常に残念な結果になった。

CEO

GPU

Irvine

著者プロフィール

irvine

　ソフトウェア設計、ストレージ設計を経てクラウドにかかわる仕事をしている、東京郊外在住のエンジニア。
　仕事でUS,UK,SGなどの国とかかわる。
　自作PC、スマホ、タブレット、AV機器好き。ドラクエウォークはルーチンワーク。Linuxやストレージ、IT業界の動向は興味を持っている。
　新しい機器、サービスに興味あり。年数回のレビュー（自腹購入、ご依頼）と発表されて興味があるものの新製品机上レビューをやっている。
　2022年はJAPANNEXT様のアンバサダーを務めました。