本ページはプロモーションが含まれています。

おしらせ

【MagicAnimate】静止画から動画を生成するAIを試してみた

投稿：2023年12月22日

最近話題になった、静止画から動画を作成できるMagicAnimateを試してみた。
RTX3060で動画を作るのはちょっと厳しいかな。
画像生成AIについてのまとめはこちら。

IrvineのもっとPC自作日記

2023.10.22

https://irvinejp.net/pcdiy/ai/

ChatGPTの登場でAIが身近になった。画像生成AIも身近になり、自作PCでいろいろ試している。

連載記事はこちら

開催中のセール、キャンペーン情報

MagicAnimateとは

つい最近リリースされた、静止画から動画を作り出せるOSSだ。GitHubで公開されている。
MagicAnimateの作成者は、TikTokのByteDance。どういう動きをするかというモーションデータが必要ではあるが、自分が持つ静止画をモーションデータにマッピングして、動画を作ることができる。

MagicAnimateと同様のAIはすでに他社からも出ているが、ソースコードが提供されたのは初。
ソースコードを含んだパッケージをPCにインストールして、自分のPCで動画を作成することができるが、公開されてるWEBページで作成することもできる。（バックグラウンドにあるGPUは性能がいいのかなぁ）
では今回も自作PCのJisaku8（Ryzen 5700X＋RTX3060）にインストールして使ってみよう。

インストール準備

インストーラがPower Shellなので注意。管理者モードで開く。

１　ダウンロード

いつもはPythonの仮想環境を先に作るのだが、今回はインストーラが作っているようなので不要になった。いきなりgitからダウンロードする。
git cloneは以前の同様の記事に書いているようにGUIのツールで行う。Targetは任意の場所。

MagicAnimate　動画生成AI git clone

source https://github.com/sdbds/magic-animate-for-windows.git
target c:\magicanim

GUIでダウンロードする。

２　インストール

Power Shellを開いて、下記コマンドを入力。

cd c:\magicanim
pip3 install torch torchvision torchaudio –index-url https://download.pytorch.org/whl/cu118
.\install.ps1

Python の依存関係などいろいろ問題があるかもしれない。自分は何回も試行錯誤した。

３　起動

インストールが終わると、起動する。

cd ..
.\run_gui.ps1

しばらくダウンロードなどが続く。

MagicAnimate　動画生成AI

WEBでアクセスできるようになる。
http://127.0.0.1:7860 にアクセスすると下図のようなUIが表示される。

試してみる

MagicAnimate　動画生成AI WEB UI

※クリックで拡大

下のほうにサンプルがいくつかある。左が静止画、右がモデルデータだ。モデルデータの上にカーソルを持っていくと短時間ではあるが、動く。ここの動きに静止画をマッピングしてくれるということだ。
まずはサンプルからクリックしてみる。ここではモナリザを使おう。絵やモデルデータがない１のエリアのどこかをクリックする。
すると上部に静止画とモデルデータが表示される。
次に２のAnimateボタンを押すと作成を開始する。3のエリアに作成中を示すアイコンが表示される。
2秒くらいの動画なのだが、9分くらいかけて生成する。
でき上がると3のエリアにできた動画が表示される。

MagicAnimate　動画生成AI

上段の左から静止画、モデルデータ、そして右が生成された動画だ。
動画の再生アイコンをクリックすると、走るモナリザを見ることができる。ちょっと目の周り、鼻が崩れているように見える。そのあたりが静止画1枚から作る限界か。

静止画を変えてみる

では実力を見てみよう。モデルは変えず、静止画のほうだけ入れ替えた。静止画の人物は日本人ならみな知っている人。
気性が荒いと伝わるので、走る姿はぴったりだろう。

まあまあの出来だ。

できた動画は下のとおり。

まとめ

2秒の動画を作るために生成に9分かかる。GPU性能の向上で短縮されると思うが、リアルタイムで作る必要がなければ現状のままでも構わない。昔は一晩かけてレイトレーシングをしたなんて時代もあった。今は一晩かけてAIで生成なのかもしれない。

品質はまだいまいちなところもあるけど、モーションデータを容易に作成できたら面白い作り方ができそう。
例えば、TVのニュースでよくある再現シーン。本人の写真で再現すれば、リアリティがある。上記の信長のように、写真がない人でも合戦シーンを作れそうだ。
亡くなった俳優のデータを使って名作を復活させることもできるだろう。

幅広い活用ができそうな新しいAIツールだ。さらなる品質改善が期待される。

(Visited 250 times, 1 visits today)

ByteDance

Irvine

MagicAnimate

著者プロフィール

irvine

　ソフトウェア設計、ストレージ設計を経てクラウドにかかわる仕事をしている、東京郊外在住のエンジニア。
　仕事でUS,UK,SGなどの国とかかわる。
　自作PC、スマホ、タブレット、AV機器好き。ドラクエウォークはルーチンワーク。Linuxやストレージ、IT業界の動向は興味を持っている。
　新しい機器、サービスに興味あり。年数回のレビュー（自腹購入、ご依頼）と発表されて興味があるものの新製品机上レビューをやっている。
　2022年はJAPANNEXT様のアンバサダーを務めました。