どうも、ぐうたらするめです🍺
まだ荒い。でも、だいぶ可愛い。
自作キャラクター「ぐうたらするめ」を、もっと可愛く、もっと自分のデザイン画に近い3Dアバターにしたい。
そう思って、AIに3D制作をほぼ丸投げしてみました。
結果、候補は A から J まで10体。そのうち1体は首が外れていて、顔が別人に見える案もできて、AIが自信満々に「品質が上がりました」と出してきた案は、私が見た瞬間にボツにしました。
それでも最後に残った J は、まだ荒い。でも、だいぶ可愛い。

この記事は作り方の解説ではなく、試行錯誤の記録です。今回は、
- 見た目が大きく変わったところ
- 盛大に失敗したところ
- 次に同じことをする人の役に立ちそうなところ
だけに絞って書きます。
AIが出した結果を眺めて終わるのではなく、同じ条件で並べて、好みのものを選び直した記録です。作業の多くはAIに任せていますが、「この子の顔はこれ」と決めるところだけは、どうしても私の仕事として残りました。
先に、この記事でいちばん言いたいことを3つ置いておきます。
- 画像から3Dを作るのは一瞬。でも「笑って、まばたきして、どの角度でもそのキャラ」にするのは別の仕事。
- AIの「品質が上がりました」と、私の「可愛い」は一致しない。
- だから、変えるのは1か所ずつ。並べて比べて、選ぶのは人間。
今回の登場人物(候補A〜J)
途中でアルファベットがたくさん出てくるので、先に一覧にしておきます。全部覚えなくて大丈夫。D が好みの土台、H が戻る基準、J が正式版 です。
| 候補 | ひとことで言うと | 結果 |
|---|---|---|
| A | AIに作らせた最初の第二世代 | 土台 |
| B | Aを高品質化。体はここで完成 | 体だけ採用 |
| C | 生成AIで頭も体も作り直し。豪華 | 首が外れて表情も動かない |
| D | Bの体 + 既存の顔 + Cの髪の「いいとこ取り」 | 顔はここが一番好き |
| E | デザイン画に合わせて顔と髪を作り直し | 顔が好みから離れる |
| F・G | 輪郭を細く調整 | 逆三角形っぽくなる |
| H | Dに戻して、Eの眼鏡だけ採用 | 基準に決定 |
| I | 目・髪・質感を絵に寄せた「AIのおすすめ」 | ボツ |
| J | Hの髪の穴をふさいだ | 正式版に |

そもそも何を作っていたのか
「ぐうたらするめ」は私のオリジナルキャラクターです。
茶髪の高いポニーテール、黒縁メガネ、ヘッドセット。黒いインナーに白いオフショルダー、黒いキュロット風の衣装。
作りたいのは、このデザインのまま、表情が動いて、髪が揺れる3Dキャラクター。
使うのは VRM というファイル形式です。ざっくり言うと「VTuberの3Dアバターを持ち運ぶための形式」。見た目の形だけでなく、
- 骨(ボーン):体を動かすための骨組み
- 表情モーフ:まばたきや口の形を作るための「顔の変形パターン」
- 揺れもの(SpringBone):髪やスカートが揺れる設定
までまとめて入っています。

技術メモ:表示と検査の道具
three-vrm はブラウザで VRM を表示する仕組みで、今回はここで表示・撮影して確かめました。glTF Validator は3Dファイルの形式が正しいかを検査する道具です。
ここで大事なのは、3Dの「形」ができても、骨・表情・揺れが入っていなければ、ただの置物だということ。この記事の苦労の半分は、ここにあります。
第1の壁:白い上着が、ぴっちりした服になった
最初の段階では、VRoid Studio で作ったアバターに新衣装を着せました(前回の記事)。
AIに Blender 用のスクリプトを書かせて服を組み立てたのですが、いきなり失敗。
体の表面をコピーして白い上着を作ったら、オーバーサイズにしたかったのに、体の凹凸がそのまま出たぴっちりした服になりました。腕を下ろすと脇に食い込み、前回の記事でも修正に手間がかかりました。
そこで、
- 体に沿う部分(インナー)は、体の形を利用する
- ふくらんだ袖やキュロットは、輪郭を数式で組み立てる
という作り方に変更。ポーズを変えては食い込みを検査し、新衣装の第1版ができました。

ただ、「動く衣装ができた」と「自分の絵のように可愛い3Dができた」は別の話。ここから顔や髪を含む第二世代へ進みます。
服では「どの部分を体から借り、どの部分を別に作るか」で結果が変わりました。あとから振り返ると、この分け方は第二世代の顔と髪でも同じでした。全部をまとめて任せるより、欲しい性質ごとに作り方を選ぶほうが、私には合っていたようです。
第2の壁:生成AIの3Dは、豪華だけど「置物」だった
第二世代では、画像から3Dモデルを作るAI Tripo と、キャラ制作の手順の参考として Charakuru(きゃらくる) を試しました。
流れはこうです。
- デザイン画から、正面・横・後ろの画像をそろえる
- 邪魔な眼鏡やヘッドセットを、画像編集AIで消す(Google Colab のGPUで実行)
- 頭と体を、別々に Tripo で3D化
- Blender で骨・表情・揺れを付けて VRM にする
- ブラウザ(three-vrm)で表示して確かめる

こうしてできた候補 C は、ぱっと見はかなり豪華でした。髪は細かく、陰影もきれい。
ところが、斜めから見ると 顔と首がつながっていない。しかも、まばたきも視線移動もできない。
理由は単純で、今回の生成モデルでは、目や口の見た目が主に表面の絵として作られていたからです。まばたきや口を開けるための構造と変形が用意されておらず、そのままでは表情を動かせません。絵が立体に貼り付いた、よくできたフィギュア なんです。
ほかにも、ポーチが2つに増えたり、指の形がおかしかったりと、生成AIらしい取り違えもありました。

ここで学んだのは、
描き込みや陰影が増えても、可愛くなったとは限らない。
情報量が多いと「すごい」と感じてしまいますが、見るべきはデザインとの一致と、顔の形そのものでした。
正面の静止画だけなら、きれいな陰影でそれらしく見えます。でも、横から見て首が離れていたり、笑わせようとしても顔が動かなかったりすると、使いたいアバターにはなりません。見た目の豪華さと、必要な機能を分けて確かめるようになりました。
第3の壁を越えた:「いいとこ取り」で D が生まれる
そこで方針を切り替えます。
- 顔:表情が動く既存の顔を残す
- 髪:生成モデルから、見栄えのいい髪だけを取り出す
- 体:すでに動作を確かめた B の体を使う
- 首と襟:顔と体がつながるように作り直す
こうしてできたのが 候補 D です。

まばたき、口パク、視線移動がちゃんと動く。ここでようやく「動く3Dキャラクター」になりました。
技術メモ:生成モデルから髪だけを取り出す
今回 Tripo が作ったモデルは、髪も顔も服も「1枚につながった面」で、部品に分かれていません。そこで、テクスチャ(表面の絵)の色で「茶色い所=髪」を見分けて切り出しました。ただし、まつ毛や眉も茶色なので、「顔の表面に張り付いている茶色は髪ではない」という判定を足しています。
ただし、元のデザイン画と比べると、目が丸く大きく、眼鏡も顔の印象も違う。ここから「絵に寄せる」旅が始まり、そして迷子になります。
D で気に入ったのは、部品ごとの高級さよりも、顔全体を見たときのまとまりでした。生成した髪を使っても、表情のある顔は残せる。体まで毎回作り直す必要もない。この組み合わせができたことで、ようやく「もっと良くしたい」と思える基準ができました。
第4の壁:絵に寄せるほど、好みから離れた
次の候補 E では、デザイン画の正面・横・後ろの3枚から髪を作り直し、顔の輪郭や目の形も絵に寄せました。
技術的には、たしかに絵に近づいた部分もありました。
でも、顔がどうにも好みと違う。頬からあごへのラインが急に絞られて、逆三角形っぽく見えるんです。
そこで F、G と輪郭を調整。でも、ここで大事なことに気づきます。
「頬の幅を何%細くする」という数字の調整では、可愛さは決まらない。
F では頬をD の87〜88%まで細くしたのですが、あごの幅はほぼそのまま。結果、目の高さから頬までが急に細くなって、逆三角形に見えたんです。逆三角形かどうかを決めていたのは、あごの細さではなく「目の高さの幅に対する、頬の幅の比率」でした(D は79%、E は76%、F は73%)。

頬だけを細くしたつもりでも、目の横幅やあごとの関係で、顔全体の印象が変わります。「細くすればデザイン画に近づく」と考えていたのに、私が好きだった丸さまで削っていました。輪郭の数字は、好みを説明する材料にはなっても、好みを自動で決めてはくれません。
数字を測ればいくらでも「改善」はできる。でも、見た瞬間の「なんか違う」は数字に出てこない。
最終的に、いちばん好みだった D の顔と髪に戻す ことにしました。そこに E の大きめの眼鏡だけを採用。これが 候補 H です。
数ミリの戦い:眼鏡がずり落ちて見える問題
H を作るときに、眼鏡の高さを4通り並べて比べました。
レンズの中心が瞳より 4.2mm 下、2.5mm 下、1.0mm 下、0.5mm 上。

たった数ミリなのに、下だと「眼鏡がずり落ちている」感じ、上だと顔にきちんと収まる感じになる。目安は2つありました。
- 上の枠が、上まつ毛に重ならないこと
- 眼鏡のつる(耳にかける棒)が、ほぼ水平になること
採用したのは「瞳より 0.5mm 上」。D の元の眼鏡は 9.0mm 下だったので、かなり持ち上げたことになります。3Dモデルづくり、こういうところが妙に難しい。
途中の E は7.2mm 下、F・G は4.2mm 下でした。大きさや形の話をしているつもりが、実際には高さの違和感も混ざっていたわけです。眼鏡だけを替えた比較にして、ようやく「何を直すと良く見えるか」を切り分けられました。
AIが「こっちが高品質です」と言った案を、ボツにした
H が気に入ったところで、もう一歩欲を出しました。
「H を土台に、目・髪・質感を、別の方法で一気に絵に近づけられないか?」
AIに、部位ごとに複数の方法を試させ、比べさせ、良いものだけを組み合わせる、という実験をさせました。目なら「今のまま」「E の目を移植」「デザイン画から設計し直す」の3案を、ほかの条件をすべて固定して 比べています。

結果できた候補 I は、数字の上では確かに絵に近づきました。目の縦横比は、絵が 1.60、H が 1.16、I が 1.51。ポニーテールも絵の形に寄りました。AIの報告書には「元デザインへの再現度は向上した」と書いてあります。
でも、ボツにしました。

並べてみると、I は「絵に似ている別の子」なんです。H の丸い目のほうが、私の中の「ぐうたらするめ」でした。
目の縦横比は「幅 ÷ 高さ」です。I の値が絵に近いこと自体は間違っていません。ただ、その値が近ければ、立体として眺めたときの印象も好きになる、とは言えませんでした。絵の形に合わせることと、画面の中で一緒にいてほしい顔にすることは、私の中では少し違ったようです。
ここで分かったのは、
大きな変更をまとめて入れると、良くなった所より「違う子になった」が勝つ。
ということ。だから、ここから先は H を基準にして、気になる所を1つずつ直す 方針に決めました。
最後の敵:髪の中から、肌色の「耳」が見える
H を正面や斜めから見ると、髪で隠れているはずのこめかみに、肌色の筋や耳のような形が見える 問題がありました。
原因は2つ。
- 髪に耳の形の穴が空いていた。 生成モデルから髪を切り出したとき、顔と耳を切り離した跡が、そのまま穴として残っていました。
- 耳が髪より外に飛び出していた。 耳の外の端が頭の中心から 98.8mm、まわりの髪は 91〜94mm。正面から見ると、髪の横から耳がのぞいてしまいます。

直し方はかなり地味です。
- 髪の下、肌から 1.2mm 外側に、髪と同じ色の面を1枚張って穴をふさぐ
- 耳の張り出しを元の30%にして、内側へ寄せる
- 眼鏡のつるが肌に近すぎて面が入らなかったので、つるを 2mm 外へ
- 以前ごまかしのために肌に塗っていた茶色を消す
こうしてできたのが 候補 J です。

地味です。でも、この「変な肌色が見えない」だけで、顔全体がずいぶん自然になりました。
もちろん、穴をふさいだのであって、髪を一束ずつ作り直したわけではありません。こめかみにはギザギザも残っています。J は「ここで一度区切る」ための到達点です。
正面で穴が目立たなくなっても、横や斜めから同じ場所を見ないと、何を隠したのか分からなくなります。今回は H と J を同じ視点で並べ、髪の色がつながって見えるかを確かめました。顔全体を作り替えるより地味ですが、気に入った顔を保ったまま違和感を減らせたのは、かなりうれしかったです。
おまけ:「正式版」にする直前に見つかった、ちょっと怖い話
J を正式版にするとき、ファイルの中身(メタ情報)を確認したら、アバターのサムネイル画像が、第一世代の別モデルの顔のまま になっていました。D から J まで、ずっとです。
さらに、連絡先の情報もファイルの書き出し時に消えていました。
正式版では、形・骨・表情・テクスチャのデータには1バイトも触らず、メタ情報とサムネイルだけを直しています。直したあとに撮影した65枚の画像は、直す前とすべて一致しました。
診断用の J は約24.4MB、正式版は約23.5MBですが、軽くするために形を削ったわけではありません。サムネイルとメタ情報の整理による違いです。
見た目に出ないところほど、最後に確かめないと危ない。
実際、何を使ったのか
技術面が気になる人向けに、使ったものをまとめます。
| 分類 | 使ったもの・役割 |
|---|---|
| AIへの制作指示 | 主に Claude Code。Blender 用スクリプトの作成、比較画像・検査の自動化 |
| ローカルPC | Windows 11 Pro、Ryzen 7 5700X、RTX 5070 12GB、メモリ 64GB |
| 元のアバター | VRoid Studio 由来の VRM。顔の表情・骨格などを再利用 |
| 3D編集・組み立て | Blender(画面を開かずスクリプトで動かす)、Python、VRM Add-on for Blender |
| 画像から3D生成 | Tripo API(多視点の画像を入力) |
| 制作手順の参考 | Charakuru(きゃらくる)。体の重み付け(ウェイト)の転送に一部を使用 |
| クラウドGPU | Google Colab(A100)。画像の前処理・編集 |
| 画像編集AI | Qwen-Image-Edit-2511(Apache-2.0。眼鏡・ヘッドセットを消す工程など) |
| 表示と検証 | three-vrm(ブラウザでの表示と撮影)、glTF Validator(ファイルの検査) |
| VRMの仕組み | VRM 1.0、MToon(アニメ調の描画)、Humanoid 骨格、表情モーフ、SpringBone |
お金(クレジット)の話
Tripo は生成するたびにクレジットを消費します。記録に残っている主な使用量は次のとおり。
| 用途 | Tripo |
|---|---|
| 最初の試作(頭と体) | 80 クレジット |
| 候補 C の頭と体 | 120 クレジット |
| 候補 E の髪の作り直し | 60 クレジット |
| 合計 | 260 クレジット |
Colab の CU(コンピューティングユニット)は GPU の利用量を表す単位です。候補 C の画像処理で約 10.83 CU、E の髪の前処理で約 2.23 CU を使いました。
候補 C の画像処理では A100 を約77分使いました。便利ですが、作り直すたびにコストが積み上がります。後半は「使い回せる部品は使い回す」方針に切り替えました。
最後の J(正式版)の中身
| 項目 | 値 |
|---|---|
| ファイル | surume_gen2_v1.0.vrm、23,539,004 バイト(約 23.5MB、VRM 1.0) |
| 三角形 | 133,901(約 13.4 万) |
| 骨 | Humanoid 54本 |
| 表情 | 23個(まばたき、口パク5音、笑顔、眠そう、マイクを消す など) |
| 揺れもの | 鎖17本・関節65(three-vrm が計算する関節は、末端を除いて48) |
| glTF Validator | エラー 0、警告 25 |

確認できた範囲
ただし、確認できたのは Blender とブラウザ(three-vrm 3.5.5)まで。Unity や実際の配信ソフトでは未検証 です。エラー0は「ファイルの形式が正しい」という意味で、「どのアプリでも完璧に動く」という意味ではありません。
技術的にハマったところ(同じことをする人向け)
本筋から外れるけど、次にやる人の役に立ちそうなものをまとめておきます。
- 今回の生成モデルは、部品に分かれていない。 今回の生成物では髪・顔・服がつながっていたため、表面の色を手がかりに切り分けた。
- 今回の生成顔には、表情を動かす構造がなかった。 目や口が「描かれている」だけなので、まばたきの変形をそのまま付けられない。表情が必要なら、表情つきの顔を別に用意する。
- 髪を切り出すと、切り口が穴になる。 正面から肌が見えたら、まず切り口を疑う。
- 「なんとなく細く」は危険。 顔の輪郭は、部分ではなく比率で見る。
- 眼鏡は数ミリで印象が変わる。 高さを何通りか並べて、人の目で選ぶ。
- ポニーテールを数式で一から作ったら、硬い柱になった。 小さい面積(こめかみ等)なら数式で作る毛束も有効。長い束は生成物のほうが自然。
- Blender の画像で良くても、実際の表示では違って見える。 毛束が輪郭線のせいで「板」に見えたことがある。最後は必ず実際の表示環境で見る。
- 書き出したファイルのメタ情報を確認する。 サムネイルや連絡先が、気づかないうちに古いまま・欠けたままになっている。
- 設定に古い候補名が残ると、エラーなしで見た目が変わる。 体の設定に古い候補名が残っていたせいで、髪のテクスチャが黙って差し替わらず、ファイルが正しく適用したときの約24.5MBから35MBに膨らんだことがあった。
今回いちばん分かったこと
画像生成AIで「きれいなキャラクター」を出すことと、そのキャラのまま、どの角度から見ても自然で、笑って、まばたきして、髪が揺れること は、まったく別の課題でした。
そして、AIが「こちらの案の方が再現度が高い」と評価しても、私が「顔が好みじゃない」と思ったら戻す。実際、D から E、F、G と進めて D に戻り、I もボツにしました。
遠回りに見えますが、何が好きで、何が嫌なのかが、言葉と数字ではっきりした ので、無駄ではありませんでした。
- 顔の輪郭は細くしすぎない。逆三角形はNG
- 目は丸く大きいままがいい
- 眼鏡は大きめで、ずり落ちて見えないこと
- 変えるのは1か所ずつ
AIは、案を出して、測って、並べるのがとても速い。でも「この子らしいか」を決めるのは、作者の目でした。
これから
J にもまだ直したいところがあります。前髪の切り口、ポニーテールの形、キュロット、小物の細部。
ただ、AIの利用枠や生成クレジットにも限りがあるので、ここで研究はいったん中断。J を第二世代の正式版として整理しました。余裕ができたら再開する予定です。
次に直すときも、基準は J のまま残します。いきなり全体を良くしようとせず、気になる場所を決めて、直す前と並べて判断する。遠回りしてようやく、自分に合う進め方が見えてきました。

まだ荒いけど、だいぶ可愛い。
今回はそれで十分、前進したと思っています。
前回の衣装制作は、「Blenderがわからない私が、AIにVTuberの新衣装を作らせたら、何が起きたか」にまとめています。
まぁええか、乾杯!🍺
もしこの記事を楽しんでもらえたら、乾杯チップで応援していただけるとうれしいです。
次の実験と、お酒のおともに使わせてもらいます。🍺

コメント