IrvineのもっとPC自作日記
ソニーストア
Dynabook Direct
HP Directplus -HP公式オンラインストア-
デル株式会社
本ページはプロモーションが含まれています。
  
 

【RAG】PCで動くAI Chat BotのChat RTXが更新されたので試してみた

 

スポンサーリンク

 
【RAG】PCで動くAI Chat BotのChat RTXが更新されたので試してみた
 

GPUメーカのNVidiaが提供するPCで動作するテキスト生成AIの一種であるRAGの、Chat with RTXがバージョンアップされて、名称がChat RTXになった。
日本語にも部分的に対応したようだ。
テキスト生成AIについてのまとめはこちら。

  
  

Chat with RTXとは

前回の記事はこちら。

英語しか使えないがPCのローカルストレージに学習用のデータファイルを置いて学習させることで、質問に回答できる。
前回はあやふやだったがこういうものはRAGというそうだ。
反応はいいが、英語だけだったので多言語対応されたら使い道が広がりそうだと思った。
今回は日本語にも対応しており、画像にも対応したという。早速ダウンロードして試した。

ダウンロード

NVidiaのサイトからダウンロードする。

Chat RTX RAG ダウンロードページ

Chat RTX RAG ダウンロードページ

上記ボタンをクリックして、左にある「今すぐダウンロード」ボタンをクリックする。巨大なファイルなので結構な時間がかかる。Windows用だ。
ダウンロードを終えたらインストールしよう。

ちなみにソフトウェアを使える要件も明示されているが前回と同じだ。

Chat RTX RAGシステム要件

Chat RTX RAGシステム要件

GPUについては上述の通りだが、旧世代のGTXは対象外のようなので注意。またグラボには8GB以上のメモリが載っていること。
PC側のメモリは16GBあればいい。

起動

インストールもまあまあ時間がかかる。起動すると真っ黒なウインドウが開く。コマンドプロンプトだ。多くのAIソフト同様にPythonで書かれているのかな。
ここからWEBブラウザが開かれて、操作はコマンドではなくWEBの方で行う。

操作

このような黒いWEB画面が開く。

Chat RTX RAG コンソール画面

Chat RTX RAG コンソール画面

使い方は前とあまり変わらない。質問は下にある入力欄に書き込むだけだ。

応答性能

学習させるデータ量とGPUの仕様次第と思うが、デフォルトの学習データでRTX3060のPCでは3秒程度で回答が表示されている。圧倒的に学習量が少ないため早いのだろう。
もっとテキストファイルを置けば学習量が増えると思う。今回は追加データで学習させることはしていない。

メリットと問題点

前回はデモソフトだったが、実用的になったんじゃないかな。
メリット

  • テキストファイルに情報を書き出して読ませるだけでチャットボットを作ることができる
  • PCだけで簡単なAIシステムを作ることができる

問題点

  • 正答率が高くないかも
  • 日本語に対応したが十分ではない。一部は英語で回答される
  • NVidia製GPUが必須。AMDやインテル製はNGであるし、CPU内のNPUでもダメ。今後類似ソフトが出てくるかなぁ

回答の様子

使った様子を動画にしている。

質問と回答

回答の文言は以下の通り。日本語の未列挙しておく。

あいさつ

Irvine
こんにちは
回答
こんにちは。私は、人工知能の助手です。どうぞ、どのように私が彼らの質量良く、完了された、全面的なゲームを作成しましたか?>

ん。回答の意味が分からない。

CEOクイズ

Irvine
インテルのCEOは誰ですか
回答
I am unable to answer the query as it is not related to the context information provided.
Irvine
AMDのCEOは誰ですか
回答
The CEO of AMD is not mentioned in the provided context information.

どちらも回答なし。情報が書かれたファイルがないのだろう。

Irvine
NVidiaのCEOは誰ですか
回答
JThe CEO of NVIDIA is Jensen Huang.

これは以前のレビューでも正解だった。

都市クイズ

東京に関する質問をした。

Irvine
東京
回答
東京 (Tokyo) is a city in Japan. It is the capital and largest city of Japan, located on the eastern coast of Honshu, the largest island of Japan. Tokyo is known for its blend of traditional and modern architecture, its bustling streets, and its vibrant culture. It is a major global financial center and a popular tourist destination.
Reference files:
nvidia-dlss-3-5-ray-reconstruction.txt

英語ではあるがまあまあの回答。

Irvine
東京のお勧めの観光地を教えて
回答

東京は世界中の一つの最も壯麗な都市です。東京には、多数の観光地があり、それらを観光することが非常に楽しみです。以下は東京のお勧めの観光地を紹介します。

東京スカイツリー
東京スカイツリーは、東京の最高のビルです。ビルの高さは1,148メートルです。東京スカイツリーの観光は、ビルの高さから見て、東京の眾身を感じることができます。
東京の皇居
東京の皇居は、東京の最古の建築物です。皇居は、東京の文化と歷史を表現します。皇居の観光は、皇居の内部を見て、東京の文化を感じることができます。
東京の天気台
東京の天気台は、東京の天気を見て、東京の�身を感じることができます。天気台の�光は、天気の変化を見て、東京の天気を感じることができます。
東京の��
東京の緑地は、東京の眾身を感じることができます。緑地の観光は、緑地の中で�ぶことができます。
東京の美術館
東京の美術館は、東京の美術を見て、東京の�身を感じることができます。美術館の�光は、美術の作品を見て、東京の美術を感じることができます。
これらは東京のお勧めの観光地です。東京には、さらに多数の観光地があり、それらを��することが非常に楽しみです。

まず文字化けがひどい。なぜなのだろう。
そして列挙されている情報が、スカイツリー、皇居はいいのだが、他はどこの緑地、美術館なのかわからない。いまいちな回答だ。

Irvine
東京から大阪へ電車で行く方法を教えて
回答
To travel from Tokyo to Osaka by train, you can take the Shinkansen, also known as the bullet train. From Tokyo, you can take the JR Yurikamome Line to Tokyo Station. From there, you can take the Shinkansen to Osaka Station. The journey takes approximately 2 hours and 30 minutes. You can purchase a ticket at the station or online in advance. It is recommended to check the schedule and fares before traveling.

英語ではあるが正しい答えだ。乗換案内を期待すると、物足りないが。

使い道

PC内に情報をため込んでいる場合は、エクスプローラの検索よりもRAGによる検索をするほうが速いかもしれない。
ただしそこにはあいまいな検索に対する、誤答が付きまとう。誤答が減ればかなり使えそうな感触。
あと、文字化け、意味不明の日本語はちょっと対策しないといけないだろうな。

PR

   
著者プロフィール
irvine
 ソフトウェア設計、ストレージ設計を経てクラウドにかかわる仕事をしている、東京郊外在住のエンジニア。
 仕事でUS,UK,SGなどの国とかかわる。
 自作PC、スマホ、タブレット、AV機器好き。ドラクエウォークはルーチンワーク。Linuxやストレージ、IT業界の動向は興味を持っている。
 新しい機器、サービスに興味あり。年数回のレビュー(自腹購入、ご依頼)と発表されて興味があるものの新製品机上レビューをやっている。
 2022年はJAPANNEXT様のアンバサダーを務めました。
 
 

コメントを残す

メールアドレスが公開されることはありません。 が付いている欄は必須項目です