スポンサーリンク
最近話題になった、静止画から動画を作成できるMagicAnimateを試してみた。
RTX3060で動画を作るのはちょっと厳しいかな。
画像生成AIについてのまとめはこちら。
【MagicAnimate】静止画から動画を生成するAIを試してみた <==本記事つい最近リリースされた、静止画から動画を作り出せるOSSだ。GitHubで公開されている。
MagicAnimateの作成者は、TikTokのByteDance。どういう動きをするかというモーションデータが必要ではあるが、自分が持つ静止画をモーションデータにマッピングして、動画を作ることができる。
MagicAnimateと同様のAIはすでに他社からも出ているが、ソースコードが提供されたのは初。
ソースコードを含んだパッケージをPCにインストールして、自分のPCで動画を作成することができるが、公開されてるWEBページで作成することもできる。（バックグラウンドにあるGPUは性能がいいのかなぁ）
では今回も自作PCのJisaku8（Ryzen 5700X＋RTX3060）にインストールして使ってみよう。
インストーラがPower Shellなので注意。管理者モードで開く。
いつもはPythonの仮想環境を先に作るのだが、今回はインストーラが作っているようなので不要になった。いきなりgitからダウンロードする。
git cloneは以前の同様の記事に書いているようにGUIのツールで行う。Targetは任意の場所。
MagicAnimate 動画生成AI git clone
source https://github.com/sdbds/magic-animate-for-windows.git
target c:\magicanim
GUIでダウンロードする。
Power Shellを開いて、下記コマンドを入力。
cd c:\magicanim
pip3 install torch torchvision torchaudio –index-url https://download.pytorch.org/whl/cu118
.\install.ps1
Python の依存関係などいろいろ問題があるかもしれない。自分は何回も試行錯誤した。
インストールが終わると、起動する。
cd ..
.\run_gui.ps1
しばらくダウンロードなどが続く。
MagicAnimate 動画生成AI
WEBでアクセスできるようになる。
http://127.0.0.1:7860 にアクセスすると下図のようなUIが表示される。
MagicAnimate 動画生成AI WEB UI
MagicAnimate 動画生成AI WEB UI
※クリックで拡大
下のほうにサンプルがいくつかある。左が静止画、右がモデルデータだ。モデルデータの上にカーソルを持っていくと短時間ではあるが、動く。ここの動きに静止画をマッピングしてくれるということだ。
まずはサンプルからクリックしてみる。ここではモナリザを使おう。絵やモデルデータがない１のエリアのどこかをクリックする。
すると上部に静止画とモデルデータが表示される。
次に２のAnimateボタンを押すと作成を開始する。3のエリアに作成中を示すアイコンが表示される。
2秒くらいの動画なのだが、9分くらいかけて生成する。
でき上がると3のエリアにできた動画が表示される。
MagicAnimate 動画生成AI
上段の左から静止画、モデルデータ、そして右が生成された動画だ。
動画の再生アイコンをクリックすると、走るモナリザを見ることができる。ちょっと目の周り、鼻が崩れているように見える。そのあたりが静止画1枚から作る限界か。
では実力を見てみよう。モデルは変えず、静止画のほうだけ入れ替えた。静止画の人物は日本人ならみな知っている人。
気性が荒いと伝わるので、走る姿はぴったりだろう。
まあまあの出来だ。
できた動画は下のとおり。
2秒の動画を作るために生成に9分かかる。GPU性能の向上で短縮されると思うが、リアルタイムで作る必要がなければ現状のままでも構わない。昔は一晩かけてレイトレーシングをしたなんて時代もあった。今は一晩かけてAIで生成なのかもしれない。
品質はまだいまいちなところもあるけど、モーションデータを容易に作成できたら面白い作り方ができそう。
例えば、TVのニュースでよくある再現シーン。本人の写真で再現すれば、リアリティがある。上記の信長のように、写真がない人でも合戦シーンを作れそうだ。
亡くなった俳優のデータを使って名作を復活させることもできるだろう。
幅広い活用ができそうな新しいAIツールだ。さらなる品質改善が期待される。
PR
