Googleは2026年1月27日(米国時間)、Gemini 3 Flashの新機能「Agentic Vision」を発表しました。画像理解を1回の静的な処理から能動的な調査プロセスへ変えるもので、視覚的な推論とコード実行を組み合わせ、モデルが計画を立てて段階的にズーム・検査・加工を行い、視覚的証拠に基づいて回答します。コード実行を有効にすると大半の視覚ベンチマークで5〜10%の品質向上が得られるとし、Google AI StudioとVertex AIのGemini APIで提供が始まったほか、Geminiアプリへの展開も始まっています。

Think・Act・Observeループ

• ▸Think — ユーザーの質問と初期画像を分析し、複数ステップの計画を立てる
• ▸Act — Pythonコードを生成・実行し、切り抜き・回転・注釈などの画像操作や、計算・バウンディングボックスの数え上げなどの分析を行う
• ▸Observe — 変換後の画像をモデルのコンテキストウィンドウに追加し、より良い文脈で新しいデータを検査してから最終回答を生成する

従来のフロンティアAIモデルは世界を1回の静的な処理で捉えるため、マイクロチップのシリアル番号や遠くの道路標識のような微細な部分を見逃すと推測に頼らざるを得ませんでした。Agentic Visionは視覚を能動的な調査として扱い、コード実行を組み合わせて回答を視覚的証拠に基づかせます。コード実行を有効にすると、大半の視覚ベンチマークで5〜10%の品質向上が一貫して得られるとしています。

活用例

• ▸ズームと検査 — 微細な部分の検出時に暗黙的にズームするよう訓練されている。建築図面検証プラットフォームのPlanCheckSolver.comは、高解像度の図面の屋根の縁や建物の一部などを切り出して反復検査させることで精度を5%改善
• ▸画像への注釈 — 手の指を数える例では、特定した指ごとにバウンディングボックスと番号ラベルを描き込み、視覚的な作業メモとして数え間違いを防ぐ
• ▸視覚的な計算とグラフ描画 — 高密度の表からデータを読み取り、決定的なPython環境に計算をオフロードしてMatplotlibのグラフを生成。多段階の視覚的な計算で標準的なLLMが起こしがちなハルシネーションを、検証可能な実行に置き換える

今後の予定

• ▸暗黙的な挙動の拡大 — 現在は明示的な指示が必要な画像の回転や視覚的な計算も、将来の更新で自動的に発動するようにする
• ▸ツールの追加 — ウェブ検索や画像の逆検索などのツールを追加し、世界の理解の根拠づけをさらに強化することを検討
• ▸対象モデルの拡大 — Flash以外のモデルサイズへの展開を計画

利用方法

Google AI StudioとVertex AIのGemini APIで提供が始まっており、Geminiアプリでもモデル選択で「Thinking」を選ぶ形で順次展開されています。開発者はGoogle AI Studioのデモアプリを試すか、AI StudioのPlaygroundでツールの「Code Execution」を有効にして実験できます。APIではモデル名gemini-3-flash-previewにコード実行ツールを指定して呼び出します。