月曜日に発表された査読付き研究によると、生成AIツールは組織が意思決定のための目標をブレインストーミングするのに役立つが、人間の介入なしでは不完全で冗長な結果を生成する。これは複雑な分析タスクにおけるAIの限界を浮き彫りにしている。
アメリカン大学のジェイ・サイモン氏とインスブルック経営センターのヨハネス・ウルリッヒ・ジーベルト氏は、GPT-4o、Claude 3.7、Gemini 2.5、Grok-2が生成した目標セットを、6つの既発表研究で専門の意思決定アナリストが開発したものと比較した。学術誌『Decision Analysis』に掲載された結果によると、AIは個々の目標としては合理的なものを頻繁に生成するものの、セット全体として完全性と一貫性に欠けることが明らかになった。
著者らは「AIは重要となり得る要素を列挙できるが、真に重要な要素を区別することはまだできない」と記している。各AI生成セットは、完全性・分解可能性・冗長性など価値重視思考に基づく9つの基準で評価された。明示的に回避するよう指示されていたにもかかわらず、ツールはしばしば「手段目標」を含んでいた。
専門家の検証が必要
価値重視思考の先駆者ラルフ・キーニーは、AI生成リストについて「いずれも個人作成例より優れている」と認めつつも、基本目標のみを含む場合を除き、質の高い意思決定分析には使用すべきでないと指摘した。
研究者らは結果改善のため高度なプロンプト戦略を検証した。思考連鎖法と専門家による批判・修正手法を組み合わせた場合、AI出力は著しく改善し、より焦点化され論理的に構造化された目標セットを生成した。
「生成AIは複数の基準で良好な性能を示す」とサイモンは述べた。「しかし一貫性があり冗長性のない目標セットの生成には依然苦戦している。AIが生成した内容を精緻化し検証するには、人間の意思決定分析者が不可欠である」。
