OpenAI показала голосового помощника на LED-панели с GPT-Live-1 и Codex

Голосовой интерфейс для панели собрали из локальных сервисов и API

В блоге OpenAI Developers опубликован проект голосового помощника для RGB LED-панели HUB75 разрешением 128 на 64 пикселя. Автор Сид Рампалли собрал систему вокруг Raspberry Pi, контроллера на базе ESP32 с WLED-MM, модели GPT-Live-1 и Responses API с GPT-5.6 Luna. Codex использовался в процессе разработки: он помогал разобраться с незнакомым оборудованием, подключением, настройками экрана и ошибками в коде.

Практическая ценность этого примера — не в самой LED-панели, а в разделении системы на понятные слои. Один сервис отвечает за голос, другой — за отрисовку, а модель решает, достаточно ли ей текущего диалога или для ответа нужен поиск либо отдельный инструмент. Такой подход позволяет не смешивать в одном процессе работу микрофона, разговорную логику, внешние данные и вывод изображения на физический экран.

Система начиналась на Mac, а затем переехала на Raspberry Pi

Первая версия работала на Mac. На панели она могла выводить погоду, события календаря, прибытие метро, графики, сообщения, отсчёты, фотографии, изображения и анимированные сцены. Затем автор перенёс голосовой сервис и рендерер на Raspberry Pi, чтобы экран мог работать постоянно без подключённого ноутбука.

На Raspberry Pi голосовой сервис управляет микрофоном, PipeWire, эхоподавлением WebRTC, активацией и переходом в режим ожидания, а также перебиваниями во время разговора. Там же используется GPT-Live-1 и выполняется клиентская передача задач. Рендерер, в свою очередь, поддерживает фоновую анимацию, обновляет данные о погоде и метро, работает с очищенными данными календаря, проверяет описания сцен и отправляет кадры на LED-стену.

Это полезный ориентир для прототипов с физическими устройствами. Ноутбук может ускорить первые эксперименты, однако постоянная работа устройства требует отдельно продумать локальные процессы, обработку аудио, обновление данных и устойчивый вывод изображения. Перенос на компактный компьютер здесь стал не косметической доработкой, а изменением архитектуры эксплуатации.

GPT-Live-1 ведёт разговор, а Responses API подключается для задач с данными

GPT-Live-1 сохраняет открытый разговор и определяет, когда пользовательский запрос требует исследования или вызова другого инструмента. В таком случае Raspberry Pi отправляет клиентский запрос в Responses API к GPT-5.6 Luna с низким уровнем усилий на рассуждение.

Среди доступных инструментов названы публичный веб-поиск, доступ к календарю только для чтения, поиск повторно используемых изображений через Wikimedia Commons и инструмент обновления стены. После этого рендерер проверяет JSON-описание сцены и лишь затем преобразует его в RGB-кадры размером 128 на 64 пикселя.

Проверка структуры сцены вынесена в отдельный шаг не случайно. Языковая модель может сформировать описание, но физический экран принимает конкретные кадры с жёстко заданным разрешением. Между текстовым решением и аппаратным выводом нужен контролируемый переход: в этом проекте его обеспечивает валидация JSON до рендеринга.

Codex применяли как помощника при работе с незнакомым железом и кодом

Автор описывает разработку как итеративную. Codex помогал интерпретировать устройство панели и контроллера, определять соединения по фотографиям, выставлять разрешение дисплея, собирать рендерер, находить ошибки и переносить сервисы. При этом подключение физического оборудования и финальные решения оставались за человеком.

Показателен ранний сбой в логике диалога. Если пользователь говорил «покажи это», система передавала дальше только последнюю реплику и теряла, к чему относится указание. Исправление состояло в том, чтобы при передаче задачи включать недавний контекст разговора и прежние результаты. Для голосовых интерфейсов с действиями на внешнем устройстве это критично: короткие указательные фразы почти всегда зависят от того, что уже было найдено или показано.

Материал не предлагает универсальную схему для любого устройства. Зато он показывает рабочий порядок действий: сначала разобраться с аппаратной частью и базовым выводом, затем подключить разговорный слой, после этого добавить инструменты и отдельно проверить передачу контекста между ними.

Ограничения проекта

Это авторский разбор одного прототипа, а не независимое сравнение инструментов или руководство с полной спецификацией. В исходном материале нет данных о стоимости, задержках, надёжности длительной работы, качестве распознавания речи или требованиях к сети. Поэтому по нему нельзя судить, как система поведёт себя в других конфигурациях.

Также проект зависит от нескольких внешних и локальных компонентов: Raspberry Pi, ESP32-контроллера, LED-панели, голосового сервиса, Responses API и подключаемых инструментов. Любое изменение в проводке, настройках контроллера, доступе к календарю или формате ответа может потребовать отдельной отладки. Автор прямо подчёркивает, что Codex помогал в итерациях, но не заменял человеческий контроль над физическими подключениями и окончательными решениями.