東北大学言語AI研究センターとAcompanyが、共同でAIエージェントの安全性・信頼性に関する研究を開始

東北大学言語AI研究センターと株式会社Acompanyは、共同でAIエージェントの安全性・信頼性に関する研究を開始する。


この研究では、東北大学言語AI研究センターが有する自然言語処理および機械学習の知見と、Acompanyが蓄積してきたAIセキュリティ・プライバシーの知見を組み合わせ、AIエージェントに対する脅威の理解と対策技術の確立を目指す。

AIエージェントは、探索や評価を繰り返しながら自律的にタスクの達成を目指す。その過程では、悪意のあるアーティファクトによって意図しない挙動へ誘導されるリスクや、与えられた権限、あるいはハーネスによって定められた制約を逸脱するリスクなどが考えられる。

研究に先んじて、Acompanyが公開したホワイトペーパーでは、「秘密を守れるAI」を実現するための重要な要件の一つとして、AIの「振る舞いの信頼性」を挙げている。

研究を通じて、AIエージェントの振る舞いの信頼性を毀損し得る脅威やその成立条件を明らかにするとともに、それらに対する対策技術の確立を目指すことで、「秘密を守れるAI」の具現化と社会実装に貢献していく方針だ。

　　　　　　　　　　　　（坂土直隆）

---