IrvineのもっとPC自作日記
本ページはプロモーションが含まれています。
  
 

【画像生成AI】FLUX.1をためしてみた(3) 画像生成編

 

スポンサーリンク

 
【画像生成AI】FLUX.1をためしてみた(3) 画像生成編

画像生成AIの代表格の一つ、Stable Diffusionの開発者が作ったFLUX.1を試してみた。FLUX.1には3つエディションがあるが、商用利用も可能なものを選んでインストールしたがうまくいかず。色々知らべて、まずComfyUIを使って解決することになった。今回はいよいよ画像生成をする。

画像生成AIについてのまとめはこちら。

  

前回のおさらい

前回の記事はこちら。

前回までにやったこと。

  • 素のFLUX.1は12GBのRTX3060で動かない
  • 調べたら、12GBでも動くデータが公開されていた。
  • これを使うにはComfy UIが推奨だったので、まずインストールした。

いよいよプロンプトに入力してやっていく準備だ。

  1. 11.9GBで動くモデルをダウンロードする。


    ダウンロードしたら、comfyUI/models/unet に移動しておく。

  2. fp8クリップ、clip_lをダウンロードする

    ダウンロードしたら、comfyUI/models/clip に移動しておく。

  3. VAEモデルをダウンロードする

    ダウンロードしたら、ファイル名を flux_vae.safetensors に変えて、comfyUI/models/vae に配置する。

 
あとはこのサイトの右上のDownloadからComfy UIの設定ファイルをダウンロードして読み込ませる。
これだけだ。

作ってみよう

Comfy UIを起動する。デフォルトの画面とは異なるワークフローだ。

ComfyUI FLUX 12GB用画面

ComfyUI FLUX 12GB用画面

早速デフォルトのプロンプトのまま右上のQueue Prompt」をクリックして、生成を開始する。サンプルの玉ねぎができる。

FLUX.1 RTX3060 12GBで動作

FLUX.1 RTX3060 12GBで動作

プロンプトをかえてみた。

2 japanese women, solo, cute, (smile), watching firework ,night time, standing, BREAK (yukata:1.4), cinematic still {prompt) . emotional, harmonious, vignette,highly detailed, highbudget, bokeh, cinemascope, moody, epic,gorgeous, film grain, grainy

これでできたものがこの写真。

FLUX.1 RTX3060 12GBで動作

FLUX.1 RTX3060 12GBで動作

注意点

動かしているとエラーになった。

FLUX.1 RTX3060 12GBで動作

FLUX.1 RTX3060 12GBで動作

エラーの回避には、Comfy UIの起動バッチファイルにオプションを追加する。

.\python_embeded\python.exe -s ComfyUI\main.py –windows-standalone-build –lowvram

まだチューニングの余地があるのか、画像生成にかかる時間は長い。1枚で4分だ。
先ほどのFLUX 12GB SUPER EASY のサイトのコメントにも書かれているが、20ステップではなく4ステップに減らせば30秒弱という人もいる。
さらに改良するといいのだろうけど、自分にはわからないので他力本願かな。

今後は

時間はかかるけど、品質はいいので、使えるなと思っている。
今回の手法がAIの世界ではどういうものなのか不明だが(名称からすると、浮動小数点演算を8ビットでやっているのかな)標準的な手法なら今後現れる新たな画像生成AIでも同様にメモリ消費削減バージョンを作り人が出てきそうだ。楽しみだ。

生成の様子を動画にまとめた。ご参考に。

PR

   
著者プロフィール
irvine
 ソフトウェア設計、ストレージ設計を経てクラウドにかかわる仕事をしている、東京郊外在住のエンジニア。
 仕事でUS,UK,SGなどの国とかかわる。
 自作PC、スマホ、タブレット、AV機器好き。ドラクエウォークはルーチンワーク。Linuxやストレージ、IT業界の動向は興味を持っている。
 新しい機器、サービスに興味あり。年数回のレビュー(自腹購入、ご依頼)と発表されて興味があるものの新製品机上レビューをやっている。
 2022年はJAPANNEXT様のアンバサダーを務めました。
 
 

コメントを残す

メールアドレスが公開されることはありません。 が付いている欄は必須項目です