スポンサーリンク
GPUメーカのNVidiaが提供するPCで動作するテキスト生成AI、Chat with RTXを試してみた。学習データを用意することで、簡単なチャットボットを作ることができそう。
テキスト生成AIについてのまとめはこちら。
【LLM】PCで動くAI Chat with RTXを試してみた <==本記事Chat GPTから始まった生成AIブームは、WindowsへのCopilot実装などを経て、ますます加速している。
企業での活用も進んでおり、最近のWEBでチャットで問い合わせをするものってほとんどAIで対応しているのではと思う。
決まり切った回答だけでなく、蓄積したデータから判断して新たな回答を作ることも可能だ。（もちろんその回答が誤っている可能性がある）
AIによる回答のチューニングがまだまだ必要ではあるが、人手不足のご時世なので乗り越えなければならない壁だろう。この壁を乗り越えなければ先はない。
最近の活用事例では、録画した会議から議事録を起こすとか、プレゼン資料を作る、あるいはソフトウェアのコードを書くといったことも聞いているが、徐々に実用的なレベルになってきている。まだお試しだから間違っていても仕方ない、という事例が徐々に少なくなってきた感がある。
AIがAIを制御して学習させ、より効果的な回答を出せるようにしているのかもしれない。
ターミネーター2のスカイネットができる日が近いかもしれない。
乱立するテキストAIについては、当ブログでも紹介してきた。今回も新たに紹介するが、今までと異なる点がある。
GPUベンダであるNVidiaが作ったという点だ。
Chat with RTXはNVidia製GPUのRTXで始まる型番のGPUを搭載したPCで動作する。GPUを搭載していないPC、あるいは搭載していてもAMDやインテルの場合は動かない。
これでNVidiaは顧客を囲い込みたいのか、とも思ったが、そこまで一般ユーザはこのソフトウェアを使いたいとは思わないだろう。技術力を誇示したいからなのかな。
無料で利用できるソフトウェアだ。
PCにインストールして、そのまま質問すれば回答してもらえる。ローカルPCで動くLLMについてはPythonやPytorchのインストールで結構苦労しているので、その点はどうだろうか。
使ってみないとわからないので、まずはダウンロードだ。
NVidiaのサイトからダウンロードする。
Chat with RTX テキスト生成AI 出典：NVidia
上記ボタンをクリックして、左にあるDownload Nowボタンをクリックする。巨大なファイルなので結構な時間がかかる。Windows用だ。
ダウンロードを終えたらインストールしよう。
ちなみにソフトウェアを使える要件も明示されている。
Chat with RTX テキスト生成AI システム要件
GPUについては上述の通りだが、旧世代のGTXは対象外のようなので注意。またグラボには8GB以上のメモリが載っていること。
PC側のメモリは16GBがあればいい。
インストールもまあまあ時間がかかる。起動すると真っ黒なウインドウが開く。コマンドプロンプトだ。多くのAIソフト同様にPythonで書かれているのかな。
ここからWEBブラウザが開かれて、操作はコマンドではなくWEBの方で行う。
このような黒いWEB画面が開く。
Chat with RTX テキスト生成AI
主な操作は下にある赤枠内のところに質問を入力する。右にあるSENDボタンをクリックするだけだ。回答は上に表示される。
例えばここで「NVidia」と入力する。
Chat with RTX テキスト生成AI
数秒のタイムラグののち、回答が表示される。残念ながら言語は英語のみ対応だ。英語で聞いて回答の英語を読むことになる。
興味深いのは回答の下にテキストファイル名が表示されている。これはこの情報の出典を表しているようだ。
続いて「Windows11」と聞いてみる。
しかしこれについての情報は見つからなかったようだ。どうやら限られた情報を学習しているのみ、ということのようだ。
回答の幅を増やしたければ、ここにテキストファイル、PDFファイルを置いて先ほどのWEB画面の右上赤枠内の再読み込みボタンをクリックしてやればいい。
これにより指定のフォルダ（デフォルトでは、C:\Users\<ユーザ名>\AppData\Local\NVIDIA\ChatWithRTX\RAG\trt-llm-rag-windows-main\dataset)のファイルを読み込み、学習データとするようだ。
Chat with RTX テキスト生成AI
学習させるデータ量とGPUの仕様次第と思うが、でふぉつろの学習データでRTX3060のPCでは3秒程度で回答が表示されている。圧倒的に学習量が少ないため早いのだろう。
もっとテキストファイルを置けば学習量が増えると思う。自分の場合は試しにAMDの歴代CEOのデータを書いたテキストファイルを置いて再読み込みさせた。
その様子は動画にしているので、参考にしてほしい。
デモソフトなので多くは望めないが。
メリット
問題点
NVidia自身はこのソフトウェアはデモであると明記している。技術力の誇示のためだろう。また最近はCPUにNPUを搭載してAI性能を増す傾向があるが、そんなものGPUにはかなわないと証明したいのかもしれない。
先にも書いたようにテキストファイルやPDFを放り込んで学習させるだけで自分だけのチャットボットができあがる。自分の知ることをすべて書き出せば自分の分身ができるのかもしれない。
PR
