Не только люди могут учиться, смотря телепередачи. Разработанное в Великобритании программное обеспечение освоило символьный язык, изучая ТВ-программы, где изображение сопровождается субтитрами и символьным языком, облегчающим просмотр глухим.

Патрик Бьюлер (Patrick Buehler) и Эндрю Зиссерман (Andrew Zisserman) из Оксфордского университета и Марк Эверингем (Mark Everingham ) из Университета Лидса решили посмотреть, может ли программа выучить британский символьный язык посредством видео. Для начала они разработали алгоритм для распознавания изображаемых знаков. ПО по положению рук определяет приблизительное расположение кистей, а затем работает с окрашенными в телесный цвет пикселями для точной идентификации показываемых руками форм.

Когда команда ученых стала уверена в правильности работы приложения, компьютеру отдали на анализ 10 часов телематериала со смешанным показом 210 существительных и прилагательных в виде субтитров и знаков, повторяемых множество раз. Поскольку не было очевидно, какая часть последовательности знаков соответствует ключевому слову, система сопоставляла демонстрируемые знаки с появляющимися в субтитрах словами снова и снова.

Начав без каких-либо данных о знаках для этих 210 слов, программа в конечном итоге корректно распознала 136, или 65%. По словам Эверингема, некоторые слова имеют отличающиеся знаки в зависимости от контекста изложения. Так, знак, означающий выкапывание дерева не эквивалентен таковому для выкапывания розы. Поэтому результат можно назвать успешным.

Хелен Купер (Helen Cooper) и Ричард Боуден (Richard Bowden) из Университета Суррей (University of Surrey), Великобритания использовали несколько иной метод для обучения компьютера языку знаков. Программное обеспечение выделяло наиболее часто появляющиеся символы и соотносило их с более употребимыми словами, проверяя их значение по субтитрам. Такой подход оказался более успешен и масштабируем - он применим для быстрой работы с большим объемом данных. Но, как считает Эверингем, в этом случае программное обеспечение способно распознавать отличия между терминами куда менее успешно, чем его метод.

Обе разработки имеют не только академическую ценность в виде демонстрации мощности программных алгоритмов. Они могут послужить созданию систем автоматической анимации в виде знаков цифровых данных, которые бы сопровождали любую телепрограмму. Предшествующие попытки приводили к слишком неуклюжему отображению символов для людей, свободно владеющих языком знаков.

Описанные работы были презентованы в рамках Конференции компьютерного сообщества по компьютерному визуальному восприятию и распознаванию образов (IEEE Computer Society Conference on Computer Vision and Pattern recognition, CVPR 2009), прошедшей на пошлой неделе во Флориде.