スポンサーリンク
画像生成AIの最近の話題は動画に移っているのだが、リソースが大量に必要なものが多く自宅で手軽に試すことは不可能になってきた。
そんな中でPCの機能・容量程度で使える動画生成ソフトが商用利用可能な状態でリリースされている。AIdeaLabのAIdeaLab-VideoJPだ。
経産省のプロジェクトの成果を使っているという。早速試してみた。
画像生成AIについてのまとめはこちら。
新興のAI企業でそのWEBページを見ると驚くのだが、AIひろゆきを作っているそうだ。もちろん本人が了承していると思うが、いろいろな可能性に試す企業なのだろう。
他にもいくつか製品があるので覗いてみるといいだろう。
経産省と、NEDO(国立研究開発法人新エネルギー・産業技術総合開発機構）が実施した、国内の生成AIの開発力強化を目的としたプロジェクトであるGENIACの成果をもとに作られたものだそうだ。
おそらくだが、政府から支援のための補助金が出て、国家プロジェクトとして研究開発し、その成果を経産省とNEDOに収めたものだろう。
その収めた成果を利用して今回のソフトウェアができている。学習データは学習してよいとされたものだけでやっているそうだ。
この動画生成AIは日本語のプロンプトを理解して、2秒の動画を生成してくれる。サイズが大きくないこともあり、1分半程度でできるところがいい。
制限事項はほかにもあって、
となっている。第一弾としての出来はこれでいいが、物足りなさはあるので今後に期待だ。
なお、ライセンスは商用利用可能なApache2.0だ。
いつもの次作PC8代目、Jisaku8を使う。DeskMini X600はまだROCmの対応ができていないので使えない。（CPUでなら利用可能だが）
Jisaku8はおととし夏に作ったもので、そのスペックはRyzen 5700X、32GBメモリ、RTX3060 12GB搭載のいたって平凡なものだ。
他と同じようにHuggingFaceで公開されている。WEBページはこちら
動画生成AI AIdeaLab-VideoJP HuggingFace
手順は大体いつも通りだが、はまったのはpytorch周辺だ。GPUを使うモジュールにすると周辺に影響がある。
いつものようにSSDのFドライブ上に作る。pythonの下に専用のディレクトリを作る。
f:
cd \python
python3 -m venv aidealab
cd aidealab\Scripts
.\activate
以後の作業はF:\aiの下にaidealabを作成してそこで実施した。
cd \ai
mkdir aidealab
続いて、Pythonの必要なモジュールをインストールする。
今回は以下のようにした。試行錯誤したので抜けているものがあるかもしれない。
pip install torch==2.3.0 --index-url https://download.pytorch.org/whl/cu121
pip install torchvison==0.18
pip install "numpy<2"
pip3 install transformers accelerate diffusers
pip install opencv-python imageio imageio-ffmpeg
ポイントは、pytorchをGPU対応で上記のようにURL指定で入れるのはいいのだが、それに合ったバージョンのtorchvisionをインストールしないとtorchvisionに合わせてpytorchがアンインストール、CPU対応版の別バージョンをインストールされてしまうことだ。全く厄介だ。
README.mdに載っているサンプルをsample.pyとしてファイルにしている。
実行すると花がたくさんある草原風の2秒の動画が作られる。
動画生成AI AIdeaLab-VideoJP 草原
ちなみにプロンプトは以下の通り。
チューリップや菜の花、色とりどりの花が果てしなく続く畑を埋め尽くし、まるでパッチワークのようにカラフルに彩る。朝の柔らかな光が花びらを透かし、淡いグラデーションが映える。風に揺れる花々をスローモーションで捉え、花びらが優雅に舞う姿を映画のような演出で撮影。背景には遠くに連なる山並みや青い空、浮かぶ白い雲が立体感を引き立てる。
これだけでは面白くないので、動画の作成時間を延ばせないかと調べたが、どうもコアな部分のソースコードで定義しているのだろう、sample.pyではわからなかった。
このため、ソースコード上のsample_Nという変数をいくつか変えてみてできる動画がどう変わるかを見ている。
sample_Nには10,25,250,500,2500を試している。2500はノイズになったので載せていないが他は動画にあるので参照を。
サンプルのプロンプトを参考にして海で書いてみた。
青空が広がり白い雲が浮かぶ中で、人がいない青い穏やかな海が静かに広がる。手前の砂浜には波がおしては引いてカニが横歩きしている。海の遠くかなたには島があり、遠くに船が横切っている。
このような絵ができている。
動画生成AI AIdeaLab-VideoJP 海
できた画像や生成の様子を動画にまとめている。ここでは紹介していないこともあるのでぜひ見てください。
２秒間と短いし、画質は粗いし、人物や物は描けない。
でも基盤ができた。これを改良すれば昨日よりもいいものがきっとできる。そういう予感がする。
数年後のこのPJの行方を楽しみにしたい。
PR
" >
