画像やテキストをChatGPTで解析・要約して建築設計業務の効率化を図る

先端技術を活用したソフトウェア・ハードウェア開発に取り組むmignは、ChatGPTとStable Diffusionを連携した機能を建築・構造物画像生成studiffuse（スタディフューズ）に追加実装した。入力した画像やテキストをChatGPTで解析・要約することで、設計業務の効率化やクライアントとのコミュニケーション削減が期待できる。

入力した画像

ChatGPTによって解析し、Stable Diffusionで生成した画像

開発背景

設計の最初のフェーズにおいては、デザイナーはクライアントのインタビューを通じて、要望に近いような様々なプランを作成し、フィードバックを受けながらプランを修正するといったプロセスを何度も繰り返している。これには多くの手間とコミュニケーションコストがかかっている。画像生成モデルでは、これらのコミュニケーションを削減することが期待できる。自動デザイン生成ソフトウェアstudiffuseは、クライアントもしくは担当のデザイナーが入力した画像やキーワードをもとに画像を作成することに加え、生成した画像に類似する画像を検索エンジンからキュレーションすることで、クライアントの要望に近いデザインを創出し、デザイナーのコミュニケーションコストを削減する。また、自社ブランドのデザイン事例画像をモデルに入力し学習させることで、自社ブランドに近いデザインを創り出すことも可能だ。 今回、新たに実装した追加機能として、ChatGPTを活用することで、入力した画像やクライアントの議事録等からデザイン案の作成に必要なキーワードの抽出が可能となり、よりクライアントのイメージに近い画像の生成ができる。

利用例（建築設計の場合）

1. 設計者がクライアントに要望をヒアリングする。
2. デザイナーやクライアントは、クライアントのニーズに合った画像もしくはキーワードをソフトウェアに入力する。
3. studiffuseが入力した情報を踏まえて様々な画像の生成や、類似する画像を収集し、画像を一覧表示する。
4. デザイナーやクライアントが画像を見ながら打ち合わせをし、画像やキーワードの入力を修正する。
5. 上記を繰り返す。
6. 出力された画像から要望に近い画像をダウンロードし、基本設計などその後のプロセスで使用する。

新規機能

• ChatGPT（gpt-3.5）を用いて入力した画像を解析し、類似する画像をStable Diffusionで自動生成
• ChatGPT（gpt-3.5）を用いて議事録などのテキストを解析・要約し、その情報を踏まえた画像をStable Diffusionで自動生成

カスタマイズの例

• 自社デザイン事例画像を入力し、機械学習させることで、自社ブランドらしい画像の出力に適応できる。
• 他の画像サービス（Pinterest、Instagram、Twitter、Alibaba）からの画像収集。 ユーザーのWebサイトにアプリケーションを埋め込み、訪問したユーザーが自由にデザインをつくることができる。
• クライアントのヒアリングの議事録からキーワードを自動で抽出し、studiffuseで画像を出力。

料金

SaaS（初期セットアップ料金＋月額メンテナンス料金）。目安の料金はデモ動画のページに記載。

提供までの流れ

ヒアリング→要件定義→見積もり→初期設定→サービス開始

最短でヒアリングから1ヶ月でサービスを開始することが可能

応用可能領域

建築業、土木業、製造業、不動産業