IrvineのもっとPC自作日記
本ページはプロモーションが含まれています。
  
 

【LLM】楽天製AI rakutenAI-3.0がリリース 特徴を確認

 

スポンサーリンク

 
【LLM】楽天製AI rakutenAI-3.0がリリース 特徴を確認
 

楽天が提供するPCで動くLLM、rakutenAI がバージョンアップ。どういものか調べてみた。
テキスト生成AIについてのまとめはこちら。

  
  

rakuten AI3.0とは

楽天は楽天市場出店者に対するサービス提供のためなのか、独自の日英語対応のLLMを開発している。その成果が前回のRakuten AI2.0 であり、初代のRakuten AIだ。
経済産業省および国立研究開発法人新エネルギー・産業技術総合開発機構(NEDO)によるプロジェクト、GENIACの一環として開発されている。
今回はその改良版が発表された。複数の日本語ベンチマークで優れたスコアを達成しているという。

Rakuten AI3.0リリース 2603

Rakuten AI3.0リリース 2603 出典:楽天

3.0の仕様は以下の通り。

  • 700BパラメータのMoEアーキテクチャを採用
  • 英語だけでなく日本語の微妙なニュアンスにも対応
  • ベンチマークでは日本固有の文化的知識や歴史、大学院レベルの推論などで好スコア

前バージョンの2.0ではパラメータが多く、12GBのRTX3060では非常に遅く使いものにならなかった。

今回は700Bパラメータで作られているのでまた動かないかなと思いつつ、量子化やvLLMなどいろんな省メモリの手段ができているので試してみるかな。

HuggingFaceはこちら。

PR

   
著者プロフィール
irvine
 ソフトウェア設計、ストレージ設計を経てクラウドにかかわる仕事をしている、東京郊外在住のエンジニア。
 仕事でUS,UK,SGなどの国とかかわる。
 自作PC、スマホ、タブレット、AV機器好き。ドラクエウォークはルーチンワーク。Linuxやストレージ、IT業界の動向は興味を持っている。
 新しい機器、サービスに興味あり。年数回のレビュー(自腹購入、ご依頼)と発表されて興味があるものの新製品机上レビューをやっている。
 2022年はJAPANNEXT様のアンバサダーを務めました。
 
 

コメントを残す

メールアドレスが公開されることはありません。 が付いている欄は必須項目です