← ポータルに戻る

Omni Interaction Agent Technical Report💻 コードあり

Orantqing, Shengpeng Ji, Junlong Tong, Jialong Zuo, Dongjie Fu等 · Cerebellum-Brain collaborative framework, streaming Thinker-Talker architecture, token stream · 2026-09-08 ⭐ 8/10
💡 Ganderは、複数モダリティのストリーミング入力をリアルタイムで処理し、全二重対話とエージェント能力を統合したエンドツーエンドモデルだよ。
🤖 Ayumuより: Ganderは、リアルタイムで多モダリティを扱うエージェントモデルとして、すごく面白いアプローチだね。特にCerebellum-Brainの役割分担と、ストリーミングThinker-Talkerアーキテクチャで低遅延を実現している点が画期的だよ。朋義さんなら、このフレームワークが他の複雑なAIシステムに応用できる可能性も探ってみるんじゃないかな。コードも公開されているから、実際に触ってみるのも楽しそうだね。
Omni Interaction Agent Gander Cerebellum-Brain framework streaming Thinker-Talker architecture full-duplex interaction multi-modal realtime agent
1. どんなもの？
  • ポイント1: Ganderという、エンドツーエンドの統合モデルだよ。
  • 詳細: オムニパーセプション（複数モダリティ入力）、リアルタイムインタラクション、エージェント能力を単一のフレームワークに統合しているんだ。
  • ポイント2: 従来のターンベース対話とは異なり、ストリーミング入力（ビデオ、音声、テキスト）を連続的に受け取り、自然な全二重インタラクションを実現するよ。
  • 詳細: ユーザーはいつでもモデルを中断でき、モデルも能動的に中間フィードバックや質問を提供できるんだ。
2. 先行研究と比べてどこがすごい？
  • ポイント1: 従来のターンベース対話モデルの限界を克服し、リアルタイムで連続的な全二重インタラクションを可能にした点だね。
  • 詳細: 複数モダリティのストリーミング入力に対応し、ユーザーの中断やモデルの能動的な応答をサポートしているよ。
  • ポイント2: Cerebellum-Brain協調フレームワークとstreaming Thinker-Talkerアーキテクチャにより、リアルタイム性と複雑な推論を両立させているんだ。
  • 詳細: SOTAオープンソースモデルの自然な音声対話能力を維持しつつ、オムニインタラクションで競争力のある性能を発揮しているよ。
3. 技術や手法の肝はどこ？
  • ポイント1: Cerebellum-Brain協調フレームワークを採用している点だよ。
  • 詳細: Cerebellumがリアルタイム対話と会話能力を担当し、Brainが複雑な推論と高レベルエージェントタスクを担当するんだ。両者はツール呼び出しとエージェントオーケストレーションランタイムを通じて継続的に連携するよ。
  • ポイント2: Cerebellumはstreaming Thinker-Talkerアーキテクチャに基づいて構築されている点だね。
  • 詳細: ユーザー入力とモデル出力をチャンクレベルで順序付けられたトークンストリームに平坦化し、低遅延で連続的なインタラクションを統一的に表現しているよ。
4. どうやって有効だと検証した？
  • ポイント1: 会話能力、オムニ理解、インタラクティブ能力、エージェント知能の4つの次元で包括的な評価を実施したんだ。
  • ポイント2: 内部人間評価を実施し、GanderがSOTAオープンソースモデルの自然で表現豊かな音声対話能力を維持しつつ、オムニインタラクションで競争力のある性能を達成することを示したよ。
  • ポイント3: 背景ノイズ干渉、多人数対話、バックチャンネル通信といった困難な実世界シナリオでも堅牢性を示すことを検証したんだ。
5. 議論はある？
  • アブストラクトからは具体的な議論や限界についての記述はないね。一般的に、リアルタイム性や多モダリティ統合の難しさ、計算リソース、そして各コンポーネント間の最適な連携方法などが今後の研究課題になることが多いかな。
6. 次に読むべき論文は？
  • Ganderが参照している「SOTAオープンソースモデル」の論文や、全二重対話、マルチモーダルエージェント、ストリーミングLLMに関する最新の研究論文が良いだろうね。特に、Cerebellum-BrainフレームワークやThinker-Talkerアーキテクチャの着想元になった論文も興味深いかもしれないよ。

Abstract (原文)

In this work, we present Gander, an end-to-end model that unifies omni perception, realtime interaction, and agentic capabilities within a single framework. In contrast to turn-based conventional paradigms, Gander continuously receives streaming inputs across multiple modalities, including video, speech, and text, enabling natural full-duplex interaction in both everyday conversations and complex workflow-oriented agent scenarios. Users can interrupt the model at any time, while the model can also proactively provide intermediate feedback or ask follow up questions. To natively support these capabilities, Gander adopts two key architectural designs: 1) It employs a Cerebellum-Brain collaborative framework, in which the Cerebellum is responsible for realtime interaction and omni conversational capabilities, while the Brain handles complex reasoning and higher-level agentic tasks. The two components interact continuously through tool calling and the agent orchestration runtime. 2) The Cerebellum is built upon a streaming Thinker-Talker architecture, user inputs and model outputs are further flattened into an ordered token stream at the chunk level, providing a unified representation for low latency, continuous interaction. We conduct comprehensive evaluations of Gander across four dimensions: conversational ability, omni understanding, interactive capability, and agentic intelligence. Internal human evaluations demonstrate that Gander maintains the natural and expressive spoken dialogue capabilities of SOTA open source models while achieving competitive performance in omni interaction. Gander also demonstrates robustness in challenging real-world scenarios, including background noise interference, multi-party interactions, and backchannel communication. We release Gander together with its models, code, and data to facilitate further research and development in the community.

📄 arxiv ページ 📑 PDF ⭐ GitHub (137 stars)