На сегодняшний день существует много компьютерных программ, которые в состоянии с переменным триумфом читать по губам человека то, что он в настоящее время говорит. Тогда как у людей, умеющих это делать, уровень «понимания» составляет чуть не менее 50%. Даже очень профессиональный сурдопедагог способен достигнуть точности только в 50-60%.
А все дело в том, что профессионалы из Англии, из Оксфордского университета, разработали компьютерную программу Lipnet, которая способная читать по губам с точностью до 93,4 процента.
Алгоритм анализирует предложения на 100%, но не по утверждению, и использует методы глубокого обучения, чтобы расшифровать произнесенное. Нейронные сети представляют из ебя математические модели, симулирующие процесс обучения человека. Но человеческая речь является очень трудной и многогранной, где одно движение губ может соответствовать разным фонемам либо основным единицам звука. Пока, разумеется, LipNet умеет распознавать по губам только англоязычную речь.
Пока сеть закономерно работает только с одним языком — британским. Вы можете увидеть, как работает метод в видео, размещенном на официальном канале одного из исследователей.