[개발] 토큰 88% 줄이는 Gemini 에이전틱 비디오 이해

구글이 2026년 9월 1일 Introducing agentic video understanding with Gemini에서 Gemini 3.7 Flash, 3.6 Flash, 3.5 Flash-Lite에 에이전틱 비디오 이해를 추가했습니다. 모델이 필요한 구간을 스스로 찾아 보는 방식이며, 표준 벤치마크에서 토큰 사용량을 최대 88%, 비용을 최대 66% 줄이면서 정확도를 최대 7% 올렸습니다. 추가 요금 없이 API 설정 하나로 켭니다. 코텍시스는 이를 개발·구축 관점에서 읽습니다. 개발자가 직접 짜던 프레임 샘플링과 구간 탐색 로직이 모델 안으로 들어갔으므로, 구축 중인 시스템이라면 그 코드를 걷어낼 수 있는지 검토할 가치가 있습니다.

출처: Google, Introducing agentic video understanding with Gemini

정적 처리와 에이전틱 처리의 차이

기존 정적 처리는 기본 1FPS로 영상 전체를 토큰으로 바꿔 넣습니다. 긴 영상일수록 토큰이 늘고 줄이려면 세부를 버려야 했습니다. 에이전틱 처리는 모델의 추론에 네이티브 비디오 도구를 붙입니다. 모델이 전사(get_transcript)를 먼저 읽고, 필요한 구간의 프레임(get_frames)과 오디오(get_audio)를 원하는 FPS로 불러와 관찰하고 다시 생각하는 루프를 돕니다. 어디를 어떤 속도로 볼지 모델이 정합니다.

출처: Google, Introducing agentic video understanding with Gemini

벤치마크 수치

Gemini 3.7 Flash 기준으로 세 벤치마크의 쿼리당 토큰과 정확도가 함께 개선됐습니다.

구글은 1H-VideoQA의 정확도 대비 비용에서 에이전틱 처리를 켠 3.7 Flash가 GPT-5.6과 Claude Opus 5를 포함한 비교 모델 가운데 파레토 프런티어에 있다고 밝혔습니다.

대표 활용: 긴 영상의 바늘 찾기

구글이 든 활용은 1초 미만의 순간 검색, 여러 시간짜리 영상의 바늘 찾기, 이상 탐지, 동작·객체 계수 네 가지입니다. 가장 효과가 큰 것은 바늘 찾기입니다. 90분 강의나 여러 시간의 회의 녹화에서 전사로 후보 구간을 좁힌 뒤 그 구간만 높은 FPS로 다시 보므로 수백만 토큰을 쓰지 않습니다. 빠른 동작 계수도 같은 원리입니다.

구축 시 판단 기준

활성화는 Gemini API 입력의 video 항목에 processing을 "agentic"으로 지정하면 되고 업로드 영상과 YouTube URL을 지원합니다. 요금은 표준 토큰 단가이며 기능 추가 요금은 없습니다. 코텍시스가 보는 판단 기준은 두 가지입니다. 첫째, 이득은 긴 영상에서 큽니다. 짧은 클립 위주라면 정적 처리와 비교 측정이 먼저입니다. 둘째, 모델이 볼 구간을 고르므로 호출마다 관찰한 구간이 달라질 수 있어 결과 회귀 테스트를 갖춰야 합니다. 원문은 Introducing agentic video understanding with Gemini에서 볼 수 있습니다.