AIに「ぐうたらするめ」を3D化させたら、A〜Jまで10体できた。首が外れ、顔が変わり、最後は髪の穴をふさいだ話

ぐうたらするめのデザイン画と第二世代Jの顔を並べたアイキャッチ ぐうたら研究報告
基準のデザイン画と、実物を撮影した第二世代 J の比較。

どうも、ぐうたらするめです🍺

まだ荒い。でも、だいぶ可愛い。

自作キャラクター「ぐうたらするめ」を、もっと可愛く、もっと自分のデザイン画に近い3Dアバターにしたい。

そう思って、AIに3D制作をほぼ丸投げしてみました。

結果、候補は A から J まで10体。そのうち1体は首が外れていて、顔が別人に見える案もできて、AIが自信満々に「品質が上がりました」と出してきた案は、私が見た瞬間にボツにしました。

それでも最後に残った J は、まだ荒い。でも、だいぶ可愛い。

左が基準のデザイン画、右が第二世代Jの実モデルの顔
左が基準のデザイン画、右がいったんの到達点 J(第二世代 v1.0)の実モデル。

この記事は作り方の解説ではなく、試行錯誤の記録です。今回は、

  • 見た目が大きく変わったところ
  • 盛大に失敗したところ
  • 次に同じことをする人の役に立ちそうなところ

だけに絞って書きます。

AIが出した結果を眺めて終わるのではなく、同じ条件で並べて、好みのものを選び直した記録です。作業の多くはAIに任せていますが、「この子の顔はこれ」と決めるところだけは、どうしても私の仕事として残りました。

先に、この記事でいちばん言いたいことを3つ置いておきます。

  1. 画像から3Dを作るのは一瞬。でも「笑って、まばたきして、どの角度でもそのキャラ」にするのは別の仕事。
  2. AIの「品質が上がりました」と、私の「可愛い」は一致しない。
  3. だから、変えるのは1か所ずつ。並べて比べて、選ぶのは人間。

今回の登場人物(候補A〜J)

途中でアルファベットがたくさん出てくるので、先に一覧にしておきます。全部覚えなくて大丈夫。D が好みの土台、H が戻る基準、J が正式版 です。

候補ひとことで言うと結果
AAIに作らせた最初の第二世代土台
BAを高品質化。体はここで完成体だけ採用
C生成AIで頭も体も作り直し。豪華首が外れて表情も動かない
DBの体 + 既存の顔 + Cの髪の「いいとこ取り」顔はここが一番好き
Eデザイン画に合わせて顔と髪を作り直し顔が好みから離れる
F・G輪郭を細く調整逆三角形っぽくなる
HDに戻して、Eの眼鏡だけ採用基準に決定
I目・髪・質感を絵に寄せた「AIのおすすめ」ボツ
JHの髪の穴をふさいだ正式版に
候補AからJの分岐と、Dに戻してHを作りJを採用した流れ
候補は A〜J の10体で、D の顔と髪を土台に戻し、H を経て J を正式版にした。

そもそも何を作っていたのか

「ぐうたらするめ」は私のオリジナルキャラクターです。

茶髪の高いポニーテール、黒縁メガネ、ヘッドセット。黒いインナーに白いオフショルダー、黒いキュロット風の衣装。

作りたいのは、このデザインのまま、表情が動いて、髪が揺れる3Dキャラクター。

使うのは VRM というファイル形式です。ざっくり言うと「VTuberの3Dアバターを持ち運ぶための形式」。見た目の形だけでなく、

  • 骨(ボーン):体を動かすための骨組み
  • 表情モーフ:まばたきや口の形を作るための「顔の変形パターン」
  • 揺れもの(SpringBone):髪やスカートが揺れる設定

までまとめて入っています。

VRMに形、骨、表情モーフ、揺れもの、メタ情報が含まれることを示す人形の模式図
VRM は見た目の形に加え、動く骨・表情・揺れ・作者や利用条件などの情報をまとめる形式。

技術メモ:表示と検査の道具

three-vrm はブラウザで VRM を表示する仕組みで、今回はここで表示・撮影して確かめました。glTF Validator は3Dファイルの形式が正しいかを検査する道具です。

ここで大事なのは、3Dの「形」ができても、骨・表情・揺れが入っていなければ、ただの置物だということ。この記事の苦労の半分は、ここにあります。

第1の壁:白い上着が、ぴっちりした服になった

最初の段階では、VRoid Studio で作ったアバターに新衣装を着せました(前回の記事)。

AIに Blender 用のスクリプトを書かせて服を組み立てたのですが、いきなり失敗。

体の表面をコピーして白い上着を作ったら、オーバーサイズにしたかったのに、体の凹凸がそのまま出たぴっちりした服になりました。腕を下ろすと脇に食い込み、前回の記事でも修正に手間がかかりました。

そこで、

  • 体に沿う部分(インナー)は、体の形を利用する
  • ふくらんだ袖やキュロットは、輪郭を数式で組み立てる

という作り方に変更。ポーズを変えては食い込みを検査し、新衣装の第1版ができました。

白い上着v001のぴっちりした形とv002のふくらんだ袖を正面比較
左が体の凹凸を拾った v001、右が輪郭から作り直した v002 の白い上着。

ただ、「動く衣装ができた」と「自分の絵のように可愛い3Dができた」は別の話。ここから顔や髪を含む第二世代へ進みます。

服では「どの部分を体から借り、どの部分を別に作るか」で結果が変わりました。あとから振り返ると、この分け方は第二世代の顔と髪でも同じでした。全部をまとめて任せるより、欲しい性質ごとに作り方を選ぶほうが、私には合っていたようです。

第2の壁:生成AIの3Dは、豪華だけど「置物」だった

第二世代では、画像から3Dモデルを作るAI Tripo と、キャラ制作の手順の参考として Charakuru(きゃらくる) を試しました。

流れはこうです。

  1. デザイン画から、正面・横・後ろの画像をそろえる
  2. 邪魔な眼鏡やヘッドセットを、画像編集AIで消す(Google Colab のGPUで実行)
  3. 頭と体を、別々に Tripo で3D化
  4. Blender で骨・表情・揺れを付けて VRM にする
  5. ブラウザ(three-vrm)で表示して確かめる
デザイン画からColabと画像編集AI、Tripo、Blender、VRM、three-vrmの順に制作する工程図
画像の前処理、3D 生成、動くアバターへの組み立て、ブラウザでの検査を順に進めた。

こうしてできた候補 C は、ぱっと見はかなり豪華でした。髪は細かく、陰影もきれい。

ところが、斜めから見ると 顔と首がつながっていない。しかも、まばたきも視線移動もできない。

理由は単純で、今回の生成モデルでは、目や口の見た目が主に表面の絵として作られていたからです。まばたきや口を開けるための構造と変形が用意されておらず、そのままでは表情を動かせません。絵が立体に貼り付いた、よくできたフィギュア なんです。

ほかにも、ポーチが2つに増えたり、指の形がおかしかったりと、生成AIらしい取り違えもありました。

BとCの顔正面を比較した実モデルの画像
左が B、右が C で、C は描き込みが増えた一方、首の接続と表情の動きに問題があった。

ここで学んだのは、

描き込みや陰影が増えても、可愛くなったとは限らない。

情報量が多いと「すごい」と感じてしまいますが、見るべきはデザインとの一致と、顔の形そのものでした。

正面の静止画だけなら、きれいな陰影でそれらしく見えます。でも、横から見て首が離れていたり、笑わせようとしても顔が動かなかったりすると、使いたいアバターにはなりません。見た目の豪華さと、必要な機能を分けて確かめるようになりました。

第3の壁を越えた:「いいとこ取り」で D が生まれる

そこで方針を切り替えます。

  • 顔:表情が動く既存の顔を残す
  • 髪:生成モデルから、見栄えのいい髪だけを取り出す
  • 体:すでに動作を確かめた B の体を使う
  • 首と襟:顔と体がつながるように作り直す

こうしてできたのが 候補 D です。

デザイン画とB、C、Dを正面、側面、背面から比較
デザイン画・B・C・D を正面、横、後ろから並べると、D の組み合わせ方が見える。

まばたき、口パク、視線移動がちゃんと動く。ここでようやく「動く3Dキャラクター」になりました。

技術メモ:生成モデルから髪だけを取り出す

今回 Tripo が作ったモデルは、髪も顔も服も「1枚につながった面」で、部品に分かれていません。そこで、テクスチャ(表面の絵)の色で「茶色い所=髪」を見分けて切り出しました。ただし、まつ毛や眉も茶色なので、「顔の表面に張り付いている茶色は髪ではない」という判定を足しています。

ただし、元のデザイン画と比べると、目が丸く大きく、眼鏡も顔の印象も違う。ここから「絵に寄せる」旅が始まり、そして迷子になります。

D で気に入ったのは、部品ごとの高級さよりも、顔全体を見たときのまとまりでした。生成した髪を使っても、表情のある顔は残せる。体まで毎回作り直す必要もない。この組み合わせができたことで、ようやく「もっと良くしたい」と思える基準ができました。

第4の壁:絵に寄せるほど、好みから離れた

次の候補 E では、デザイン画の正面・横・後ろの3枚から髪を作り直し、顔の輪郭や目の形も絵に寄せました。

技術的には、たしかに絵に近づいた部分もありました。

でも、顔がどうにも好みと違う。頬からあごへのラインが急に絞られて、逆三角形っぽく見えるんです。

そこで F、G と輪郭を調整。でも、ここで大事なことに気づきます。

「頬の幅を何%細くする」という数字の調整では、可愛さは決まらない。

F では頬をD の87〜88%まで細くしたのですが、あごの幅はほぼそのまま。結果、目の高さから頬までが急に細くなって、逆三角形に見えたんです。逆三角形かどうかを決めていたのは、あごの細さではなく「目の高さの幅に対する、頬の幅の比率」でした(D は79%、E は76%、F は73%)。

D、E、F、Gの顔正面比較とFの輪郭への注記
左から D・E・F・G(右端の「新案」が G)で、F は頬からあごの線が逆三角形っぽく見えた。

頬だけを細くしたつもりでも、目の横幅やあごとの関係で、顔全体の印象が変わります。「細くすればデザイン画に近づく」と考えていたのに、私が好きだった丸さまで削っていました。輪郭の数字は、好みを説明する材料にはなっても、好みを自動で決めてはくれません。

数字を測ればいくらでも「改善」はできる。でも、見た瞬間の「なんか違う」は数字に出てこない。

最終的に、いちばん好みだった D の顔と髪に戻す ことにしました。そこに E の大きめの眼鏡だけを採用。これが 候補 H です。

数ミリの戦い:眼鏡がずり落ちて見える問題

H を作るときに、眼鏡の高さを4通り並べて比べました。

レンズの中心が瞳より 4.2mm 下、2.5mm 下、1.0mm 下、0.5mm 上。

眼鏡の高さを正面から4通り比較し右端の採用案を囲んだ画像
数字はレンズ中心が瞳より何 mm 下かを示し、右端の −0.5(0.5mm 上)を H・J に採用した。

たった数ミリなのに、下だと「眼鏡がずり落ちている」感じ、上だと顔にきちんと収まる感じになる。目安は2つありました。

  • 上の枠が、上まつ毛に重ならないこと
  • 眼鏡のつる(耳にかける棒)が、ほぼ水平になること

採用したのは「瞳より 0.5mm 上」。D の元の眼鏡は 9.0mm 下だったので、かなり持ち上げたことになります。3Dモデルづくり、こういうところが妙に難しい。

途中の E は7.2mm 下、F・G は4.2mm 下でした。大きさや形の話をしているつもりが、実際には高さの違和感も混ざっていたわけです。眼鏡だけを替えた比較にして、ようやく「何を直すと良く見えるか」を切り分けられました。

AIが「こっちが高品質です」と言った案を、ボツにした

H が気に入ったところで、もう一歩欲を出しました。

「H を土台に、目・髪・質感を、別の方法で一気に絵に近づけられないか?」

AIに、部位ごとに複数の方法を試させ、比べさせ、良いものだけを組み合わせる、という実験をさせました。目なら「今のまま」「E の目を移植」「デザイン画から設計し直す」の3案を、ほかの条件をすべて固定して 比べています。

基準のデザイン画とH由来、E由来、再設計した目を素顔と眼鏡付きで比較
画像内の「採用」は I の実験内での選定を指し、この実験の結果できた I 自体は最終的にボツになった。

結果できた候補 I は、数字の上では確かに絵に近づきました。目の縦横比は、絵が 1.60、H が 1.16、I が 1.51。ポニーテールも絵の形に寄りました。AIの報告書には「元デザインへの再現度は向上した」と書いてあります。

でも、ボツにしました。

左からデザイン画、H、不採用のIの顔を並べた比較
絵には近づいたけど、別の子に見えた。

並べてみると、I は「絵に似ている別の子」なんです。H の丸い目のほうが、私の中の「ぐうたらするめ」でした。

目の縦横比は「幅 ÷ 高さ」です。I の値が絵に近いこと自体は間違っていません。ただ、その値が近ければ、立体として眺めたときの印象も好きになる、とは言えませんでした。絵の形に合わせることと、画面の中で一緒にいてほしい顔にすることは、私の中では少し違ったようです。

ここで分かったのは、

大きな変更をまとめて入れると、良くなった所より「違う子になった」が勝つ。

ということ。だから、ここから先は H を基準にして、気になる所を1つずつ直す 方針に決めました。

最後の敵:髪の中から、肌色の「耳」が見える

H を正面や斜めから見ると、髪で隠れているはずのこめかみに、肌色の筋や耳のような形が見える 問題がありました。

原因は2つ。

  1. 髪に耳の形の穴が空いていた。 生成モデルから髪を切り出したとき、顔と耳を切り離した跡が、そのまま穴として残っていました。
  2. 耳が髪より外に飛び出していた。 耳の外の端が頭の中心から 98.8mm、まわりの髪は 91〜94mm。正面から見ると、髪の横から耳がのぞいてしまいます。
頭、髪、耳の位置と髪の穴をふさぐ下地の面を説明する修正前後の断面模式図
髪の穴を髪色の下地でふさぎ、耳の張り出しを内側へ寄せた仕組みを模式的に示した。

直し方はかなり地味です。

  • 髪の下、肌から 1.2mm 外側に、髪と同じ色の面を1枚張って穴をふさぐ
  • 耳の張り出しを元の30%にして、内側へ寄せる
  • 眼鏡のつるが肌に近すぎて面が入らなかったので、つるを 2mm 外へ
  • 以前ごまかしのために肌に塗っていた茶色を消す

こうしてできたのが 候補 J です。

上段Hのこめかみと右斜めの肌色の筋を赤丸、下段Jの同じ位置を緑丸で示した実画像
上段 H の肌色が見える部分を赤丸、下段 J の同じ位置を緑丸で示した。

地味です。でも、この「変な肌色が見えない」だけで、顔全体がずいぶん自然になりました。

もちろん、穴をふさいだのであって、髪を一束ずつ作り直したわけではありません。こめかみにはギザギザも残っています。J は「ここで一度区切る」ための到達点です。

正面で穴が目立たなくなっても、横や斜めから同じ場所を見ないと、何を隠したのか分からなくなります。今回は H と J を同じ視点で並べ、髪の色がつながって見えるかを確かめました。顔全体を作り替えるより地味ですが、気に入った顔を保ったまま違和感を減らせたのは、かなりうれしかったです。

おまけ:「正式版」にする直前に見つかった、ちょっと怖い話

J を正式版にするとき、ファイルの中身(メタ情報)を確認したら、アバターのサムネイル画像が、第一世代の別モデルの顔のまま になっていました。D から J まで、ずっとです。

さらに、連絡先の情報もファイルの書き出し時に消えていました。

正式版では、形・骨・表情・テクスチャのデータには1バイトも触らず、メタ情報とサムネイルだけを直しています。直したあとに撮影した65枚の画像は、直す前とすべて一致しました。

診断用の J は約24.4MB、正式版は約23.5MBですが、軽くするために形を削ったわけではありません。サムネイルとメタ情報の整理による違いです。

見た目に出ないところほど、最後に確かめないと危ない。

実際、何を使ったのか

技術面が気になる人向けに、使ったものをまとめます。

分類使ったもの・役割
AIへの制作指示主に Claude Code。Blender 用スクリプトの作成、比較画像・検査の自動化
ローカルPCWindows 11 Pro、Ryzen 7 5700X、RTX 5070 12GB、メモリ 64GB
元のアバターVRoid Studio 由来の VRM。顔の表情・骨格などを再利用
3D編集・組み立てBlender(画面を開かずスクリプトで動かす)、Python、VRM Add-on for Blender
画像から3D生成Tripo API(多視点の画像を入力)
制作手順の参考Charakuru(きゃらくる)。体の重み付け(ウェイト)の転送に一部を使用
クラウドGPUGoogle Colab(A100)。画像の前処理・編集
画像編集AIQwen-Image-Edit-2511(Apache-2.0。眼鏡・ヘッドセットを消す工程など)
表示と検証three-vrm(ブラウザでの表示と撮影)、glTF Validator(ファイルの検査)
VRMの仕組みVRM 1.0、MToon(アニメ調の描画)、Humanoid 骨格、表情モーフ、SpringBone

お金(クレジット)の話

Tripo は生成するたびにクレジットを消費します。記録に残っている主な使用量は次のとおり。

用途Tripo
最初の試作(頭と体)80 クレジット
候補 C の頭と体120 クレジット
候補 E の髪の作り直し60 クレジット
合計260 クレジット

Colab の CU(コンピューティングユニット)は GPU の利用量を表す単位です。候補 C の画像処理で約 10.83 CU、E の髪の前処理で約 2.23 CU を使いました。

候補 C の画像処理では A100 を約77分使いました。便利ですが、作り直すたびにコストが積み上がります。後半は「使い回せる部品は使い回す」方針に切り替えました。

最後の J(正式版)の中身

項目値
ファイルsurume_gen2_v1.0.vrm、23,539,004 バイト(約 23.5MB、VRM 1.0)
三角形133,901(約 13.4 万)
骨Humanoid 54本
表情23個(まばたき、口パク5音、笑顔、眠そう、マイクを消す など)
揺れもの鎖17本・関節65(three-vrm が計算する関節は、末端を除いて48)
glTF Validatorエラー 0、警告 25
Jのまばたき、笑顔、口パク、視線、首の動きなどを32コマで確認した画像
happy は笑顔、sleepy は眠そう、aa は口パク「あ」、look_left25 は左を見る、mic_off はマイクを消す動き。

確認できた範囲

ただし、確認できたのは Blender とブラウザ(three-vrm 3.5.5)まで。Unity や実際の配信ソフトでは未検証 です。エラー0は「ファイルの形式が正しい」という意味で、「どのアプリでも完璧に動く」という意味ではありません。

技術的にハマったところ(同じことをする人向け)

本筋から外れるけど、次にやる人の役に立ちそうなものをまとめておきます。

  • 今回の生成モデルは、部品に分かれていない。 今回の生成物では髪・顔・服がつながっていたため、表面の色を手がかりに切り分けた。
  • 今回の生成顔には、表情を動かす構造がなかった。 目や口が「描かれている」だけなので、まばたきの変形をそのまま付けられない。表情が必要なら、表情つきの顔を別に用意する。
  • 髪を切り出すと、切り口が穴になる。 正面から肌が見えたら、まず切り口を疑う。
  • 「なんとなく細く」は危険。 顔の輪郭は、部分ではなく比率で見る。
  • 眼鏡は数ミリで印象が変わる。 高さを何通りか並べて、人の目で選ぶ。
  • ポニーテールを数式で一から作ったら、硬い柱になった。 小さい面積(こめかみ等)なら数式で作る毛束も有効。長い束は生成物のほうが自然。
  • Blender の画像で良くても、実際の表示では違って見える。 毛束が輪郭線のせいで「板」に見えたことがある。最後は必ず実際の表示環境で見る。
  • 書き出したファイルのメタ情報を確認する。 サムネイルや連絡先が、気づかないうちに古いまま・欠けたままになっている。
  • 設定に古い候補名が残ると、エラーなしで見た目が変わる。 体の設定に古い候補名が残っていたせいで、髪のテクスチャが黙って差し替わらず、ファイルが正しく適用したときの約24.5MBから35MBに膨らんだことがあった。

今回いちばん分かったこと

画像生成AIで「きれいなキャラクター」を出すことと、そのキャラのまま、どの角度から見ても自然で、笑って、まばたきして、髪が揺れること は、まったく別の課題でした。

そして、AIが「こちらの案の方が再現度が高い」と評価しても、私が「顔が好みじゃない」と思ったら戻す。実際、D から E、F、G と進めて D に戻り、I もボツにしました。

遠回りに見えますが、何が好きで、何が嫌なのかが、言葉と数字ではっきりした ので、無駄ではありませんでした。

  • 顔の輪郭は細くしすぎない。逆三角形はNG
  • 目は丸く大きいままがいい
  • 眼鏡は大きめで、ずり落ちて見えないこと
  • 変えるのは1か所ずつ

AIは、案を出して、測って、並べるのがとても速い。でも「この子らしいか」を決めるのは、作者の目でした。

これから

J にもまだ直したいところがあります。前髪の切り口、ポニーテールの形、キュロット、小物の細部。

ただ、AIの利用枠や生成クレジットにも限りがあるので、ここで研究はいったん中断。J を第二世代の正式版として整理しました。余裕ができたら再開する予定です。

次に直すときも、基準は J のまま残します。いきなり全体を良くしようとせず、気になる場所を決めて、直す前と並べて判断する。遠回りしてようやく、自分に合う進め方が見えてきました。

第二世代Jの全身と顔の正面、側面、背面の実画像
第二世代の正式版 J の全身と頭部を、正面・側面・背面から確認した。

まだ荒いけど、だいぶ可愛い。

今回はそれで十分、前進したと思っています。

前回の衣装制作は、「Blenderがわからない私が、AIにVTuberの新衣装を作らせたら、何が起きたか」にまとめています。

まぁええか、乾杯!🍺

もしこの記事を楽しんでもらえたら、乾杯チップで応援していただけるとうれしいです。
次の実験と、お酒のおともに使わせてもらいます。🍺

コメント

タイトルとURLをコピーしました