スポンサーリンク
サイバーエージェントが商用利用可能なLLM（大規模言語モデル）を公開したので早速試してみた。
今回は自作PCのホストOSであるWindows11に作ってみた。やっと試すことができた。
テキスト生成AIについてのまとめはこちら。
【LLM】サイバーエージェントのCALM2を試してみた (3)Windowsでやってみた <==本記事前回はHyper-V上のVMでやってみたが、Hyper-VではホストOSが持つGPUをパススルーすることができないと判明。（補足：サーバOSなら可能らしい）
できないとわかったので、最後の手段であるWindowsでやってみる。
Windowsに環境を作るのはPythonの環境の競合が気になって避けたかったのだが杞憂だった。仮想環境って機能ができていた。
VALL-E-Xの紹介で書いているが、Pythonの仮想環境をActivateすればいいらしい。
こちらで書いているが、再掲する。
前提としてNVidianのCUDA Toolkitをインストールしておく。CALM2のデモはGPUがある前提になっている。
すでにインストールしている場合は省略できる。
マイクロソフトストアを起動してPythonを検索する。ここからインストールする。
python インストール マイクロソフトストア
どこでもいいのだが、仮想環境はいくつもつくると思うので、今回はこうした。
まずコマンドプロンプトを開く。
C:\にPython フォルダを作成する。
c:
cd \
mkdir python
cd python
以下のコマンドで仮想環境を作る。
python -m venv calm2
仮想環境ができたので、有効にする。
cd calm2\Scripts
activate
プロンプトに(calm2)と仮想環境の名称が先頭につく。
補足：VALL-E-Xではc:\python\vallに仮想環境を作った。別のフォルダにすることで仮想環境の使い分けが可能になる。
pipコマンドを使ってpythonのライブラリをダウンロードする。
pip install -U transformers accelerate flash_attn tokenizers
pip install torch torchvision torchaudio –index-url https://download.pytorch.org/whl/cu118
ダウンロードには時間がかかる。
Gitからダウンロードするには、Git For Windowsをダウンロード、インストールするとよい。WEBブラウザから開いて、ダウンロードしてインストールする。
インストールして起動すると、このようなウインドウが開く。赤線の「Clone Existing Repositry」をクリックし、以下のように入力する。
Git for Windows
CAML2 LLM git ダウンロード
これでc:\caml2がgitのレポジトリになる。
注意点はc:\caml2はあらかじめフォルダを作らないこと。
再びコマンドプロンプトに戻る。
cd \caml2
pip install -r requirements.txt
これで準備は完了。
コマンドプロンプトにて下記コマンドを入力する。
python app.py
CAML２ LLM 実行
しばらくダウンロードして、WEBブラウザのURLが表示される。
CAML２ LLM 実行
今回は以下のURLだ。このホストOSからのみアクセスできるIPアドレスなので、ほかのPCなどからのアクセスをしたい場合はプログラムを修正すれば別のIPアドレスでURLが構成される。
http://127.0.0.1:7860
では実行してみよう。触れ込みはChat GPT-4よりは劣るということだった。
このWEB画面はデモ用ではあるが、いろいろな質問に答えてくれそうだ。
早速いくつかやってみた。使用したPCは自作PCのJisaku8。CPUはRyzen5700X、グラボは12GBのRTX3060だ。メモリは32GB積んでいる。
まずはCAML2の開発元に敬意を表して、会社名を聞いてみた。
続いて、デモに最初から設定されている質問。プリセットされているくらいなので、かなりの情報量を持っていると考えている。
予想通り、回答の表示が終わるまで結構な時間がかかっている。
最後におそらく情報が入っていないだろうと思う、キーワードを使ってみた。自分のサイト名の一部だが、やはりないという。
今回使ったPCが最新の1世代前になるため、最新のハイエンドPCならもっと早く応答が表示されるかもしれない。
それでも瞬時に表示されるようなことは想像できない。Chat GPTなどではGPUを何個も使って応答メッセージを作っているのだろう。
スマホにもAI処理をオンデバイスで行うSoCが出てきた。PC用のCPUでもそんなに遠くない未来に、瞬時に応答ができるようなスペックのものを安価に買える時代になるだろう。
PR
