【論文要約】Query2CAD: 自然言語を用いたCADモデル生成
下記論文の要約です。
1. 背景と目的
CAD設計は、プロトタイプを反復的に改良するプロセスであり、専門的なスキルと時間を要します。
Query2CADは、大規模言語モデル（LLM）を活用し、自然言語クエリからCADマクロを生成して自動的にCAD設計を行うシステムです。
このシステムは、設計の反復プロセスを模倣し、自己改善ループ（self-refinement loops）を活用することで、初期生成物の欠点を修正します。
2. 主要な機能
大規模言語モデルの利用:
GPT-3.5 TurboおよびGPT-4 Turboを使用してPythonマクロを生成。
マクロはオープンソースのCADソフトウェア「FreeCAD」で実行されます。
エラー修正:
初回のマクロ実行時にエラーが発生した場合、エラーメッセージとコードをLLMに送り修正を試みます（最大3回）。
モデル改良:
モデルの改良では、生成されたCADモデルの視点画像を用い、BLIP2キャプションモデルが生成したフィードバックを活用。
必要に応じて人間のフィードバックを追加。
3. 結果と性能
簡単なクエリに対しては高い成功率（GPT-4 Turboで95.23%）。
中難度および高難度のクエリでは、成功率が70%および41.7%に低下。
自己改善ループの最初の反復で大幅な改善が見られる（初回で成功率が20%以上向上）。
4. 課題
システムは強力なモデル（GPT-4 Turboなど）に依存しており、オープンソースのLLMでは性能が劣る。
現在のデータセットは57件と限られており、さらなる多様性を持つデータセットの拡張が必要。
自動化されたキャプションモデル（BLIP2）のみでは限界があり、人間のフィードバックの方が効果的。
5. 今後の展望
ユーザークエリに加え、スケッチや画像を入力可能にすることで改良の余地がある。
データセットの拡張やモデルの微調整によって、中難度・高難度クエリでの成功率向上を目指す。