Создавайте кастомные видеопайплайны — Streamline

Кому полезен Streamline и какие задачи решает

Streamline — экспериментальный playground от Cloudflare, показывающий, как собирать кастомные видео‑пайплайны поверх Cloudflare Stream и Developer Platform. На практике это значит: можно в реальном времени накладывать прозрачные графические аннотации на livestream, встраивать субтитры в запись или создавать изменённые варианты уже загруженных видео, не останавливая источник.

Ключевые понятия, которые важно понимать с самого начала: Container — это долго живущий runtime, подходящий для непрерывной обработки медиа; Durable Object — распределённый объект для оркестрации и хранения состояния сессии; Worker — серверная логика для управления сессией, авторизации и связи с пользователем. Эти три примитива работают вместе: Container выполняет тяжёлую обработку, Durable Object координирует сессию, Worker обеспечивает API и UI.

Архитектура: Media Engine в Container и управляющее приложение в Workers

Streamline делит систему на две части. Media Engine — это Container с двумя подсистемами: Controller и Processor. Controller написан на Go и предоставляет HTTP‑сервер для управляющих запросов; Processor отвечает за саму обработку потоков — в текущей реализации в нём используется FFmpeg, но это внутренняя деталь, и движок можно заменить в будущем.

Управляющее приложение строится на Cloudflare Workers и включает пользовательский интерфейс и оркестратор, реализованный через Durable Object. Оркестратор создаёт и хранит сессии, управляет жизненным циклом Container и служит ретранслятором превью‑видеопотока. В локальной разработке Durable Object необязателен: Container может быть локальным Docker‑инстансом, а авторизация упрощается.

Container запускает долгоживущую медиа‑сессию: после старта обработка продолжается, даже если управляющий Worker отключился. Чтобы контейнер не уходил в спящий режим, Streamline переопределяет callback onActivityExpired и регулярно продлевает таймаут активности до максимальной длительности сессии; при превышении лимита контейнер уничтожается. Пока сессия активна, экземпляр Container недоступен для других приложений.

Как работать с API и строить пайплайны

Streamline экспортирует две библиотеки: @cloudflare/streamline/client — клиентский, сессийный API, и @cloudflare/streamline/ — базовый класс Durable Object для интеграции в управляющее приложение. Управление происходит через сессии: создаёте сессию, настраиваете конфигурацию пайплайна как JSON и запускаете обработку.

Конфигурация пайплайна описывается тремя блоками: input, pipeline и output. input может быть типа rtmp (подходит для Stream Live), hls (например, видео из Cloudflare Stream) или webcam (данные присылает контролирующее приложение). pipeline — это последовательность операций: overlay (наложение PNG с прозрачностью), subtitle (чтение и рендеринг субтитров), filter, encode и прочие. output может публиковать резулbтат в RTMP, сохранять в Stream или отдавать превью по WebSocket.

Классические вызовы клиентского API включают создание и возобновление сессии, старт пайплайна, отправку чанков видео (session.ingest()), обновление аннотационной PNG‑наложки (session.annotation()), получение метрик и остановку сессии. Для превью Streamline публикует фрагменты fMP4 в Durable Object, который ретранслирует их через WebSocket на URL /relay/view; контролирующее приложение должно установить соединение с этим WebSocket (перед запуском пайплайна, иначе издатель может быть отклонён) и получать данные по session_id.

Практический пример работы и ограничения взаимодействия

Для быстрого превью часто используют режим webcam: браузер захватывает медиапоток, MediaRecorder выдаёт чанки webm, и приложение пересылает их в session.ingest(). Аннотации обновляются через session.annotation(), где отправляют PNG‑снимки канвы (canvas). Такой подход удобен для интерактивных демонстраций и агентов на устройствах, но накладывает практические ограничения: частота обновления аннотаций будет ограничена размером PNG, доступной пропускной способностью и возможностями процессора внутри Container.

Ещё один момент: при приёме HLS‑входа Streamline может извлекать сегменты и читать встроенные субтитры, рендеря их в выходное видео. При публикации в RTMP обработанная версия можно направить в Stream Live Input для трансляции или записи. Архитектура модульна: если впоследствии потребуется другой энкодер или специализированный движок, Media Engine можно заменить без изменения внешнего API.

Ограничения и технические нюансы

Session lifecycle. Каждая сессия имеет максимальную длительность: если управляющее приложение пропало, обработка не будет бесконечно держать контейнер. Пока сессия активна, Container блокируется для других задач.

Пропускная способность и скорость обновлений. Обновление аннотаций и передача чанков зависят от сети и размера изображений; частые и тяжёлые PNG‑оверлеи снизят частоту обновлений и увеличат задержку превью.

Локальная разработка безопасна, но упрощена. В локальном режиме нет Durable Object и нет встроенных проверок доступа: это удобно для тестов, но в продакшен‑развёртывании нужно учитывать авторизацию через Workers и Durable Object.

Требование к превью. Для получения низколатентного превью управляющее приложение должно установить WebSocket‑соединение с /relay/view до вызова session.start(): иначе ретранслятор может отказать издателю.

Имплементация Processor. Текущее решение использует FFmpeg как реализацию процессора, но это описано как внутренний механизм, не ограничивающий внешний API; при необходимости его можно заменить.

Когда использовать Streamline

Streamline подходит, если нужно быстро прототипировать потоковую обработку видео с возможностью интерактивных аннотаций, вставки субтитров или комбинирования нескольких входов. Подготовьте конфигурацию пайплайна как JSON, убедитесь, что для превью открыт WebSocket‑релей и протестируйте работу локально через Docker перед развёртыванием на Cloudflare.

Контролируйте длительность сессий и объём аннотационных изображений; проектируйте оркестрацию так, чтобы контейнеры запускались и останавливались аккуратно — Streamline даёт инструменты для этого, но ответственность за управление ресурсами остаётся у разработчика.