GestSync

GestSync

GestSync — программное обеспечение, которое позволяет определять говорящего в видео на основе жестов.

Проект направлен на выполнение двух основных задач:
▫️Синхронизацию, где предсказываются временные задержки между аудио- и видеопотоками на основе жестов.
▫️И определение активного говорящего, что позволяет идентифицировать говорящего в многочеловечной сцене без использования распознавания лиц.

Пользователи могут легко интегрировать модель, скачать необходимые пакеты и запускать её на любых видео, где видны жесты говорящих.

https://github.com/Sindhu-Hegde/gestsync

Site: https://www.robots.ox.ac.uk/~vgg/research/gestsync/