Речевой диалог

В общем случае система речевого диалога осуществляет распознавание, смысловую интерпретацию и синтез речевых сигналов и обеспечивает устный диалог человека с ЭВМ либо на формализованных, либо на усеченных естественных языках. В такого сорта системах можно выделить две основные компоненты - средства распознавания речи и средства синтеза речи.

Для надежного распознавания как отдельно произносимых слов, так и слитной речи в реальном масштабе времени требуется производительность порядка 10 млн оп/с.

Появились коммерческие системы речевого ввода, распознающие порядка 1000 слов. Слова определяются как отдельные высказывания, отделенные достаточно длительными промежутками от других слов во фразе. Для целей диалога распознаватели речи используются в составе вспомогательных средств подачи отдельных простых команд. На графических рабочих местах такие системы могут освобождать пользователя от необходимости задания команд с помощью клавиатуры или меню, например, при вводе графической информации с помощью планшетов, когда подача команд с помощью обычных средств диалога нарушает так называемую тактильную непрерывность диалога.

Синтез речи обычно производится по формантному методу. Сначала текст переводится в последовательность фонем, затем по ней рассчитывается динамика управления формантным синтезатором, который генерирует и выдает сообщение.

В системах виртуальной реальности, в отличие от обычных приложений компьютерной графики, как правило, требуется вывод и ввод трехмерной координатной информации, как для управления положениями синтезируемых объектов, так и для определения координат частей тела оператора и направления его взгляда.

Space ball. Одним из первых появилось устройство спейсбол (space ball), представляющее собой конструктивное объединение мышки и небольшого трекбола. Мышка перемещается оператором по столу и обеспечивает ввод двух координат. Ввод третьей координаты обеспечивается вращением шарика трекбола большим пальцем руки.

Для манипулирования объектами в трехмерном пространстве часто используется техника виртуальной сферы. Управляемый объект окружается (воображаемой) сферой. Для перемещения сферы используется мышь, а вращение сферы и заключенного в нее объекта обеспечивается вращением шарика трекбола.

Head Mounted Display. В системах виртуальной реальности используются устройства вывода в виде монтируемых на голове дисплеев (Head Mounted Display - HMD) с бинокулярным всенаправленным монитором (Binocular Omni-Orientation Monitor - BOOM) со средствами отслеживания положения головы (head tracking) и даже отслеживанием положения глаза (eye tracking). Это требуется для создания эффекта "погружения" со стереоскопическим изображением и оперативным изменением сцены при поворотах головы и/или глаз.

Используемые в HMD жидкокристаллические дисплеи обычно невысокого разрешения (до 417x277 пикселов). Сравните это с 1280x1024 и 1600x1200 для настольных систем или с разрешением монитором для телевидения высокой четкости (ТВВЧ) - 1920x1035 и 1920x1135. Поэтому ведутся интенсивные исследования по созданию средств отображения для систем виртуальной реальности, обладающих высоким разрешением при приемлемых значениях электромагнитных наводок. Одна из таких систем, использующих миниатюрные монохромные прецизионные электронные трубки и жидкокристаллические затворы, обеспечивает разрешение до 2000x2000. Интересное решение заключается в формировании изображения лазером непосредственно на сетчатке, но эти предложения пока далеки от коммерческой реализации.

Отслеживание положения головы обеспечивается либо механическими рычажными системами, либо комплектом инфракрасных или электромагнитных датчиков.

Power Glove, Date Glove, Date Suit. Непосредственный ввод геометрической информации о положении частей тела с поддержкой тактильной и даже силовой обратной связи обеспечивается перчатками и костюмами данных. Перчатка данных - Power Glove, используемая для игр, обеспечивает только четыре уровня данных [4].

В более продвинутой перчатке данных Date Glove фирмы VPL (рис. 3.7) для определения углов сгибания пальцев используются оптические волокна. Для обеспечения тактильной обратной связи используются пневматические активаторы.

Рис. 3.7. Перчатка данных фирмы VPL [4]

Были эксперименты обеспечения тактильной обратной связи за счет вибрации пьезокристаллов.

Более точный ввод координатной информации обеспечивают системы с использованием механического рычажного экзоскелета руки (Exos Dexterous Handmaster) и датчиками углов сгибания пальцев на основе эффекта Холла. Это позволяет достигнуть точности 0,5. Системы с экзоскелетом позволяют обеспечить и силовую обратную связь.

Более простой прибор, использующий силовую обратную связь, был разработан фирмой Digital и представляет собой рукоятку, подобную рукоятке газа в мотоцикле, которая может менять свое сопротивление скручиванию.

Проблема в обеспечении тактильной и силовой обратной связи состоит в том, что пользователь реагирует на воздействия и вносит изменения быстрее, чем система сможет среагировать. Для хорошего ощущения объекта система тактильной обратной связи должна обеспечивать скорость порядка 100-300 Гц, что почти на порядок выше обычной скорости перезаписи визуальной информации.

Пиджак данных (Date Suit) по принципам работы подобен перчатке данных и отличается только количеством датчиков. Также в настоящее время

В числе самых известных и продаваемых сегодня решений - очки виртуальной реальности Oculus Rift. Они были созданы в США, их разработчики - Палмер Лаки, военный инженер, и Джон Кармак, который создал такие игры, как Wolfenstein, Doom и Quake, которые известны во всем мире. Очки виртуальной реальности Oculus Rift также иногда именуются шлемом. Они относятся к полноценным виртуальным решениям - визуальное окружение пользователя полностью цифровое.

Вывод по лекции: таким образом, на сегодняшний день имеется огромное множество разновидностей устройств ввода-вывода графической информации, что представляет возможность использовать все возможности устройств для воспроизведения графической информации в естественном виде.

Вопросы для самопроверки

• 1. Охарактеризуйте устройства ввода информации и их характеристики, достоинства и недостатки.
• 2. Охарактеризуйте устройства вывода графической информации и их характеристики, достоинства и недостатки.
• 3. Поясните возможности устройств виртуальной реальности.

Литература: 6, 7.