NVIDIA Flora: открытый движок разметки видео роботов

Что такое Flora

NVIDIA выложила Flora — набор моделей и движок разметки, который одновременно генерирует три типа меток для роботизированных видео: временные подписи действий (timestamped captions), по‑шаговые оценки исполнения (process reward labels) и оценку результата эпизода (outcome reward labels). Компания описывает систему как «data engine», применяемый при подготовке данных для семейства GR00T‑моделей.

Официальное описание и технические таблицы опубликованы лабораторией GEAR на сайте Nvidia NVIDIA GEAR. Чекпойнты моделей и сопутствующие артефакты доступны в коллекции на Hugging Face Hugging Face — Nvidia Flora.

Архитектура и роли моделей

Flora состоит из нескольких дообученных моделей семейства Qwen3.5. В релизе Nvidia указано: 9B‑модель сегментирует видео по границам действий, одна 27B‑модель описывает сегменты с учётом контекста до и после действия, а вторая 27B‑модель, именуемая Flora‑Rewarder, выполняет три задачи в зависимости от промпта — оценивает исход эпизода по шкале 1–5, классифицирует полусекундные шаги как нормальные, субоптимальные или ошибочные и выставляет баллы по заданной рубрике.

Эти архитектурные детали и роли моделей подробно изложены в релизе Nvidia; обзор и журналистский разбор опубликованы в статье The Decoder The Decoder: Nvidia open-sources Flora.

Бенчмарки и основные результаты

Nvidia приводит сравнительные результаты Flora на нескольких наборах: WGO‑Bench, DenseCaptionBench, RoboRewardBench / RobometerBench и внутренних тестах. По данным компании, модель особенно хорошо локализует временные границы действий и лидирует по ряду метрик для человеческих записей в DenseCaptionBench. Для общего качества описаний на некоторых наборах выигрывают конкуренты, включая GPT‑6 Astra и Gemini 3.8 Flash.

В релизе Nvidia и в журналистском пересказе указаны конкретные цифры и сравнения; примеры: снижение ошибки по RoboRewardBench на 27.8% против GPT‑6 Astra; 53.3% обнаружения ошибочных шагов внутри эпизодов у Flora (в сравнении с существенно меньшими значениями у конкурентов); и 57.1% качества аннотаций у Flora при расчётной стоимости $0.72 за час видео против 53.7% и ~$88.49 у GPT‑6 Astra. Эти утверждения в тексте явно атрибутированы Nvidia и/или The Decoder и оформлены как данные исследований и оценок.

Оценка стоимости и масштабирование

Nvidia называет проектную оценку стоимости разметки в $0.72 за час видео при использовании Flora и сравнивает её с примерно $88.49 за час при разметке GPT‑6 Astra; на основании этого компания приводит отношение «~125× дешевле». Компания подчёркивает, что эти числа — расчётные оценки, а не замеры в полевых условиях.

Расчёт стоимости основан на допущении аренды GPU примерно по $10 в час. Nvidia указывает, что Flora уже применялась в производственном масштабе при обучении GR00T: по данным компании, движок помечал до 200 000 часов данных в сутки на кластере из 512 GPU GB300 NVIDIA GEAR — Flora.

Ограничения и методологические оговорки

В релизе Nvidia отмечены методологические нюансы. Сравнения зависят от набора задач — локализация границ действий и описательная точность оцениваются по разным метрикам, а часть измерений опирается на внутренние наборы данных и рубрики оценки. В некоторых тестах GPT‑6 Astra показывает лучшее описание и лучше проходит рубричную оценку, тогда как Flora сильнее в обнаружении промежуточных ошибок и в локализации шагов.

Nvidia прямо указывает, что оценка стоимости проектная и зависит от инфраструктуры и цен на оборудование. Для воспроизведения результатов и проверки применимости в других пайплайнах компания и сообщество могут работать с открытыми чекпойнтами и артефактами на Hugging Face Hugging Face — Nvidia/Flora.

Источники

Документ и описание проекта: NVIDIA GEAR lab — Flora: An Open Model Suite for Scaling Robotics Data Engines (NVIDIA Research) — https://research.nvidia.com/labs/gear/flora/

Коллекция моделей и релизы: Hugging Face — NVIDIA/Flora — https://huggingface.co/collections/nvidia/flora

Журналистский пересказ и разбор результатов: The Decoder — «Nvidia open-sources Flora to make robot video labeling 125x cheaper than GPT-6 Astra» — https://the-decoder.com/nvidia-open-sources-flora-to-make-robot-video-labeling-125x-cheaper-than-gpt-6-astra/