ここ1~2ヶ月で、カナリーにおけるUI生成フローの事例をいくつも公開してきました。これらは私たちが今たどり着いている現在地をまとめたものです。
今回の事例では、このような状態に至るまでに私たちが取り組んできた検証のプロセスを、明け透けに共有していきます。
ツールやモデルの進化を待つのも良いのですが、私たちはその前にもやれることがあると考えています。
すべての企業が同じプロセスを取れるようになって、やっと市場としてはスタートラインなはず。この不透明な時代だからこそ、オープンに私たちの試行錯誤や知見を共有できればと思います。
カナリーにおいては、すでにUI生成フローはかなりの精度で実用化されています。トンマナの反映はもちろん、カナリーのリードデザイナーが取り組むのと同じような精度での情報設計や、仕様に合わせたUIパターンの発散ができています。
実際に起こっている変化は以下のようなものです。
依頼から実稼働1〜2時間で、新機能のデザインがFIX
デザイン経験の浅い不動産バックグラウンドのPOが新規事業のデザインを担当
デザイナー不在で新規事業のデザイン〜実装が進む開発ラインも誕生
多くの企業では、個々人の検証は進みつつも、共通のUI生成フローをチームで実用可能にするところまでは取り組み中な組織が多いはずです。
一部のデザインフローを受け渡すことに成功していても、すべてのフローを安心してLLMに受け渡すことはできていない場合も多いのではないでしょうか。
カナリーでも、当初はFigma Makeで初期のプロトタイプ生成をするまでにとどめていました。ただ、企画や実装のスピード感も上がり、このままではデザインを手作業で行うことが事業のボトルネックになることが目に見えていました。
そのため、リードデザイナーが見ても完全に納得できるクオリティでUIが生成できるような状態に向けてLLMを育てていくことを決め、検証を始めました。
体制としては、この検証にすべてのリソースを割く役割をデザインパートナーである私が担いました。
リードデザイナー寺本さんがLLMが実用可能かどうかの判断・レビューを行い、私が専任のビルダーとして週5日すべてを検証に充てる体制を取っています。
一つのポイントは、生成とレビューは別の考え方だと気づいたことです。まず、カナリーではつくりやすいデザインレビューの仕組みから先につくりました。
デザインレビューはチェック形式で行えるため、システマチックにSkill(スキル)を組みやすいという特徴があります。以下のような流れで思考してもらうと、ブレが少ないことが分かりました。
入力受付
各観点ごとにサブエージェントを用意し、指摘と評価のループを回す
アクセシビリティ
コンポーネント
レイアウト
情報設計
UXライティング
一定以上の点数を満たすまで、指摘と改善のサイクルを自動でループさせる
評価が終わったら、UIレビューレポートを出力
同時に、デザインガイドラインもアップデートされ、レビュー観点に反映
レビューにおいてはアクセシビリティ・コンポーネントなど、各観点でサブエージェントを分け、その観点での差分をレビューし、品質をレポーティングする方がうまく機能することが分かりました。
これが生成時との違いで、あくまで一つひとつの正誤判定を出していくようなルールベースの思考をしてもらうのがレビュー時の考え方です。
一つひとつのチェック観点のリファレンスは、エージェントのために用意したデザインシステム「NestUI」から読み取っています。
サブエージェント全てが一定の評価を上回ったら、ループを終了させ、各観点でどのようにUIを評価したのかを以下のようにレポートとして出力してもらいます。
寺本さんや私がこのレポートと最終的なアウトプットを見ながら、「本当に良い品質と言えるのか = LLMと意見が一致するか」「ズレがある場合、どの思考がズレているのか = 思考プロセスの矯正」を行い、アウトプットの調整とエージェントのアップデートを同時に行うようにして精度を高めます。
レビューがうまく機能するようになってきたため、その上で生成の自動化を検証していきました。
とはいえ最初は
どこまでモデルに任せ、どのくらいまでこちらで指定した方が良いか
どのようなSkill構成が良いか、そもそもSkillを切り分けた方が良いか、1つにした方が良いか
Skillにはどのような項目を、どのくらいの具体度で記載すれば良いのか
Skillにすべての情報を載せるのが良いか、リファレンスとして切り出す方が良いか
という観点のどれも分かっていないところから始まりました。レビューと違い、UIの生成においてはいくつもの思考を同時並行で行うため、よりエージェントの設計にこだわり、LLMがどのように思考していくと良いアウトプットにつながるのかを細かく検証する必要があります。
何度も検証を重ね、カナリーでUI生成が実用段階に至るまでに気付いた、UI生成ためのエージェントの設計ポイントは4つあります。
一つは、リードデザイナーの考え方を丁寧に落とし込むようにしたことです。
前提として、生成(UIの設計)は順を追った思考というよりも、いくつもの思考を組み合わせているものです。そのため、基本的にはモデル任せにしていると生成の精度はいつまでも安定しないと思います。
LLMに思考のステップを任せず、入力する情報と、出力されるアウトプットはこちら側で出来るだけ具体的に指定し、LLMを高度な計算機械のように扱うことができれば精度は安定しやすいということを学んでいます。
つまり、生成の仕組みをつくる上では、非言語的にデザイナーが頭の中で考えているUIデザインの思考ステップを細かく言語化し、LLMに伝えていくことが求められます。(ビルダーのような専任の役割が有効になるのは、この暗黙知の言語化のステップを客観的に担えるからだと考えています。)
カナリーでいうと、まずこの生成の仕組みを検証し始めた段階で、リードデザイナーである寺本さんの普段のUI設計プロセスを細かくヒアリングしていき、ケーススタディーとして思考の観点を読み取り、それをSkillの設計や各中間アウトプットの指定へと落とし込んでいきました。
この具体的な流れについては、以前の事例にもまとめているので、合わせて参照いただければと思います。
どのようにSkillを組めば、意図通りの思考プロセスで、理想的なアウトプットをつくってくれるのかを検証していきました。
同時並行で、細かくパターンを分けたSkillで生成を繰り返していく中で今のところ、汎用的な部分では以下のようなことを意識すると良いことが分かっています。(書ききれないため、一部だけ抜粋します)
デザイナーの思考ステップの通りにステップを区切り、それらで毎回リファレンスを読み込む方が精度が高い
生成の流れはSkillを組み合わせるより、一つのSkillで実行する方が精度が高い。これはSkillの中で思考されたことも情報として残すことで、リファレンスとなる情報が増えるため
また、このようにSkillを組むと、後から生成ログを見返すこともしやすく、後述するSkillの改善もやりやすくなる
コンポーネント定義を置いておくだけだと、LLMが各用途でどのコンポーネントを利用すれば良いのかが理解しづらいので、理想的にはAgenticに構成されたデザインシステムを用意する方が良い
このような学びは、専任のビルダーとして検証を進める中で日々更新されていきました。世の中のベストプラクティスを参考にしつつ、実際に出力とエージェントのアップデートを繰り返し、そこで得られた学びを残しながら粘り強く精度を高めていきました。
具体的には、カナリーのUI生成Skillは基本的に一つのエージェントが各プロセスを実行していくようなシンプルな構成に落ち着きました。
各画面の生成については前述した「デザイナー人格Skill」を組み込んだサブエージェントを走らせ、画面出力の後にレビューエージェントに受け渡していくようなフローを取っています。
このSkill構成・エージェントの組み方自体は、今後もほとんど変えないはずです。
この精度を高めるプロセスで1番大事なのは、目視でログを確認し、アウトプットの差分がなぜ生まれたのかを理解して、Skillやリファレンスの記載をアップデートしていくことです。
例えば初期は、同じ依頼を10のSkillに投げて生成を行い、各アウトプットに至った理由を一つひとつ生成のログを確認しながら、LLMが意図通り生成できている理由・できていない理由を理解していきました。
前述した、基本的には1つのSkillで完結するエージェント構成を取った理由の一つは、この分析・精度向上を行いやすくする意図があります。
いくつものSkillでエージェントを構成すると、後からなぜそのアウトプットが生まれたのかの分析が行いづらいのですが、1つのSkillで出力を行えるようにしていたので「人がデザインするときと、LLMがデザインするときの思考のズレ」を分析しやすくなりました。
ちなみに今は、このログの分析もLLMに行ってもらえるようにしています。
どこがSkillとして問題があるか、あるいはリファレンスとして問題があるかを特定し、修正するようにし、王道のSkillのパターンが決まったら、運用しながら裏側ではログを確認し、Skillやリファレンスの微修正を行うようにしていくと、だんだんと精度が高まっていきます。
生成とレビューのSkillは分けるようにしましたが、共通して使えるものは切り出してリファレンスとしてまとめることも大事です。
例えば、どちらのSkillでもデザインシステムは共通で活用します。そのため、デザインシステムはSkillの中に書くのではなくて、リファレンスとして別ファイルにまとめ、各Skillから呼び出す仕様としています。
一つのSkillが膨大になればなるほど、意図した思考を毎回するようにコントロールするのは難しくなります。
基本的には細かく切り分けた方が精度が上がりますので、複数のエージェントで同じ情報を使うのならば、リファレンス化しておく方が精度が上がります。
結果として、UI生成フローはかなりの精度で機能するようにアップデートされ、多くのカナリーのプロジェクトで実用されています。詳細な現在地を知りたい方はこちらの事例も合わせて参照ください。
また、デザインシステム「NestUI」は一部をGitHubで公開しています。こちらも良ければ参考にしてもらえれば嬉しいです。
結果として、冒頭にも書いたような変化がカナリーに起こっています。
依頼から実稼働1〜2時間で、新機能のデザインがFIX
デザイン経験の浅い不動産バックグラウンドのPOが新規事業のデザインを担当
デザイナー不在で新規事業のデザイン〜実装が進む開発ラインも誕生
また、これらの変化によって、リードデザイナーの寺本さんをはじめとするカナリーのデザイナーは、新しいチャレンジに時間を使えるようになりました。
例えば、コーポレートキャラクターやブランド定義など、プロダクトデザイナーの職分を超えて、全社のワークフローをAI化していく存在として役割がアップデートしてきています。
各社のゴール設定にもよるのですが、カナリーの場合は、以下をLLM活用の基準としています。
簡易なアウトプットを任せるのではなく、リードデザイナークラスのアウトプットを任せられる存在にLLMを位置付ける
すべてのLLMのアウトプットには再現性があり、責任者が思考プロセスも含め説明可能な状態とする
そのために、モデルの発展を待たず、カナリーに最適化されたLLMになるようにSkillやリファレンスを育てる
そうなると、大事なのは「モデル任せにしないこと」だと思います。ツールの発展により、このようなプロセスを踏まずとも、より簡易に自社最適なアウトプットができるLLMへとセッティングが可能になることもあるでしょう。
それでも、事業は止まってくれません。今できる最大限のパフォーマンスをするならば、LLMを育てる選択肢に賭けてみてはいかがでしょうか。
また、その際にデザイナー(人)が何をすべきかについても、カナリーでは答えが出つつあります。
一つは、先ほどもお伝えしたように「ドメイン理解に力を注ぐこと」です。
仕組みがあれば、世の中で語られているように「つくることは誰でもできる」世界がきます。そうなると、「何をつくるのかを決める」ためのドメイン理解こそが競争優位になっていくはずです。
カナリーでも、不動産のバックグラウンドがあるPOがデザイン力によらず顧客に求められるアウトプットをつくり、新規事業を進めています。このドメイン理解や、チームのインサイト理解を補うことがデザイナーの役割になるはずです。
不動産ドメインに特化した企業であるからこそ、どれだけ一つのドメインのインサイトを深く理解していけるのかがカナリーの競争優位になっていくはずです。こちらの事例は少し前にリリースしたものですが、同じような方向での取り組みを今後さらに強めていきたいと思っています。
もう一つは、今回のような属人的なワークフローを科学し、再現可能なものへと落とし込んでいく「ビルダー」としての役割です。
私は、AIでUIを作ることではなく、AIが設計判断を行うための知識体系と、そのワークフローを設計しています。
専門家の知識を棚卸しして一つひとつ仕組みの構築を進めてきましたが、これによって起こることは、専門家の代替ではないと考えています。むしろ、その基盤を土台にして、これまで以上に高度な専門性や創造性が求められるようになると考えています。
その根底にあるのは、テクノロジーの進化を既存の仕事を奪うものという視点だけで捉えるのではなく、「これまでできなかった何が可能になるのか」という観点から考える姿勢です。私は今、「ビルダー」という役割を実践しながら、その可能性を探究しています。
新しい職能のあり方が求められる今、ワークフローを自ら組み立てるという、新しい創造の領域が広がっています。私は、この「ビルダー」という新たな役割が広がっていく未来を楽しみにしています。今回の事例を見て共感した方は、ぜひ声をかけてください。

