何が起きたか
Pathwayは、思考連鎖(chain-of-thought)トークンを出力する代わりに潜在空間で推論を行う、脳型のポストトランスフォーマー・アーキテクチャ「Baby Dragon Hatchling(BDH)」を発表した。
同社は、大規模AI学習向けに専用構築されたインフラであるAmazon SageMaker HyperPod上でBDHを開発し、スケールさせた。
発表によると、BDH-CQと呼ばれる派生モデルは、ARC-AGI-1ベンチマークで新たなコスト効率の節目を達成した。
なぜ重要か
潜在空間で推論するというBDHの手法は、明示的な推論トークンの生成に伴う計算オーバーヘッドを削減でき、コストを下げつつ効率を高める可能性がある。
汎用知能を試すために設計されたベンチマークであるARC-AGI-1での成功は、ポストトランスフォーマー・アーキテクチャが、より高性能で効率的なAIシステムへの有力な道筋を示しうることを示唆している。
このようなアーキテクチャをSageMaker HyperPodのようなマネージドサービス上でスケールさせることで、大規模なインフラを持たない組織でも先進的なAI開発に取り組みやすくなる可能性がある。
主な事実
BDHは、潜在空間で推論を行う脳型のポストトランスフォーマー・アーキテクチャである。
PathwayはAmazon SageMaker HyperPod上でBDHを開発し、スケールさせた。
BDH-CQはARC-AGI-1ベンチマークで新たなコスト効率の記録を樹立した。
今後の注目点
BDHの性能指標に関するさらなる詳細や、他のベンチマークでトランスフォーマーベースのモデルとどう比較されるかに注目したい。
他の組織が、コストに敏感なAIアプリケーション向けに同様の潜在空間推論アーキテクチャを採用するかどうかを見守りたい。
非トランスフォーマー型モデルの学習プラットフォームとしてのSageMaker HyperPodの進化を注視したい。