TD DeepFace
TD_DeepFace — библиотека компонентов TouchDesigner для интеграции анализа лиц DeepFace в визуальные пайплайны реального времени.
Распознавание лиц, определение возраста, пола и эмоций из видеопотока или TOP-входа — для интерактивных инсталляций, live AV и экспериментов с машинным зрением внутри TouchDesigner.
Возможности
- Детекция и распознавание лиц — обнаружение и идентификация лиц в живом видео с камеры или на любом TOP-входе.
- Анализ атрибутов лица — оценка возраста, пола и доминирующей эмоции (радость, грусть, злость, удивление, нейтральность и другие) для каждого найденного лица.
- Любой TOP как источник — веб-камера, видеофайл, NDI-поток или отрендеренная текстура: всё, что существует в сети как TOP.
- Результаты возвращаются в сеть — данные анализа доступны внутри TouchDesigner и могут напрямую управлять визуалом, звуком или логикой взаимодействия.
- На основе DeepFace — использует открытый Python-фреймворк DeepFace, который оборачивает современные модели распознавания лиц (VGG-Face, FaceNet, ArcFace и другие).
Как это работает
Компонент берёт кадры с TOP-входа и передаёт их в DeepFace, работающий на Python. DeepFace находит лица и возвращает структурированные данные — совпадение идентичности, ограничивающий прямоугольник, возраст, пол и оценки эмоций, — которые компонент отдаёт обратно в сеть TouchDesigner для генеративного визуала, управляющих сигналов или логирования.
Требования
- TouchDesigner с поддержкой Python
- Python-пакет
deepface, установленный для окружения Python в TouchDesigner - Источник видео (веб-камера, видеофайл или любой TOP)
Шаги установки и готовый компонент — в репозитории GitHub.
Применение
- Интерактивные инсталляции — зеркала и экраны, реагирующие на лицо, возраст или эмоцию посетителя.
- Live AV перформансы — управление генеративным визуалом мимикой зрителей или исполнителя в реальном времени.
- Эксперименты с машинным зрением — прототипирование идей компьютерного зрения внутри TouchDesigner, не покидая нодовую среду.