Математичне та програмне забезпечення подання відеоконтенту для осіб з вадами зору Текст научной статьи по специальности «Компьютерные и информационные науки»

р-К8К 1607-3274. Радюелектронжа, шформатика, управлiння. 2016. № 3 е-ЕЗБЫ 2313-688Х. Каёю Е1еойоп^, Сошриег Баепое, Сопйо1. 2016. № 3

УДК 004.89

Литвин В. В.1, Демчук А. Б.2, Оборська О. В.3

1Д-р техн. наук, професор, завдувач кафедри «1нформаЦйН системи та мереж» Нацонального унверситету

«Львiвська полтехнта», Львiв, УкраТна 2Канд. техн. наук, асистент кафедри «lнформацiйнi системи та мереж» Национального унверситету «Львiвська

полтехнка», Львiв, УкраТна

3Аспiрант кафедри «1нформаЦйн системи та мереж» Национального унверситету «Львiвська полтехнка», Львiв,

УкраТна

МАТЕМАТИЧНЕ ТА ПРОГРАМНЕ ЗАБЕЗПЕЧЕННЯ ПОДАННЯ _В1ДЕОКОНТЕНТУ ДЛЯ ОС1Б З ВАДАМИ ЗОРУ_

У статт дослщжено проблему доступу до вщеоконтенту людей з повною, або частковою втратою зору, розглянуто тифлокоментування, як метод адаптаци вщеоконтенту для незрячих. При дослщженш проблеми доступу людей з вадами зору до вщеоконтенту, слщ розумгги, що бшьшють шформацп надаеться глядачев1 за допомогою зображення, так, незряч1 чують вс слова актор1в, звуки навколишнього середовища, процеав на екраш, але 1м важко щентифжувати кому яга слова належать, що саме у цей конкретний момент вщбуваеться з героями, що зображено у данш сцеш, яка реакщя актор1в, !хш емоци, яга найчастше виражаються за допомогою руив чи м1мжи. Тифлокоментар1 до фшышв для незрячих людей - ось один з реальних кроюв виршення обмеженост доступу до такого виду контенту. Розроблено математичне забезпечення подання вщеоконтенту для оаб з вадами зору на основ! використання теори координаци, спектрального анал1зу. Також побудовано архитектуру програмно-алгоритшчного комплексу адаптаци вщеоконтенту для оаб з вадами зору Реал1зовано метод пошуку вшьних вщ д1алопв та шших важливих звугав мюць у вщеоконтенп, яга слугують для вставки тифлокоментар1в. На основ! логжи 1-го порядку та асощативних правил розроблено правила тифлокоментування для тифлокоментатор1в, сценарис™ та звукорежисер1в. Розв'язано актуальну науково-прикладну задачу подання вщеоконтенту у формату доступному для сприйняття особам з вадами зору Експериментально доведено дощльшсть застосування методу тифлокоментування для опису сюжет1в вщеоконтенту, що дало змогу до 30% пщвищити сприйняття вщеоконтенту особам з вадами зору.

Ключовi слова: програмно-алгорштшчний комплекс, тифлокоментування, тифлокоментар, аудюдескрипщя, подання вщеоконтенту для оаб з вадами зору, вщеоконтент, вада зору, адаптований вщеоконтент.

НОМЕНКЛАТУРА

ПАК - програмно-алгорштшчний комплекс;

НЧ - низькочастотш фшьтри;

ВЧ - високочастотш фшьтри;

Sj - i-й сюжет;

8вт(81) - семантика г'-го сюжету;

t ) - тривал1сть г'-го сюжету;

От - середне геометричне спектру вщповщно! дшянки;

Ат - середне арифметичне спектру вщповщно! дшянки;

п - кшьюсть частотних смуг;

х{ - значення енергл вщповщно! частотно! смуги;

х - значення кожно! частотно! смуги вщповщно для спектр1в дшянки та еталону;

у - значення кожно! частотно! смуги вщповщно для спектр1в дшянки та еталону.

ВСТУП

Одним 1з здобутюв людства, який майже незрозумь лий для омб з вадами зору - це вщеоконтент (фшьми, мультиплжащя, науково-популярш, навчальш та шзна-вальш програми). У час, коли юношдустр1я волод1е техн-1чними можливостями, яких достатньо для втшення будь-якого художнього задуму - перед людьми вщкриваеться величезний свгт можливостей сучасного кшомистецтва. Однак вш щ можливост недоступш для омб з вадами зору Тому виникае проблема адаптаци вщеоконтенту для такого контингенту людей. Одним 1з шдход1в до виршення ще! проблеми е використання тифлокоментар1в.

На даний момент масов1 юнотеатри та телебачення майже недоступш особам з обмеженим зором. Поруч тако! особи завжди мушв би бути домашнш «комента -

© Литвин В. В., Демчук А. Б., Оборська О. В., 2016

БОТ 10.15588/1607-3274-2016-3-9

тор», який б «озвучував» те, що вщбуваеться на екраш. Тобто особи з вадами зору не мають достатшх можливостей для забезпечення себе шформацшними ресурсами, зокрема, поданих у вщеоформатг

Вщомо, що близько 80% шформацп надаеться гляда -чев1 за допомогою зображення. Тотально незряча особа може отримати лише близько 16% шформацп, яка над-ходить через слуховий орган. Так, незряч! чують вм слова актор1в, звуки навколишнього середовища, процешв на екраш, але !м важко щентиф1кувати кому яю слова належать, що вщбуваеться на екраш, яка реакщя актор1в, яку часто виражають за допомогою рух1в чи м1м1ки.

Тифлокоментар до вщеоконтенту для незрячих людей - ось один з реальних кроюв виршення обмеженост доступу до такого виду мистецтва. Вш вщкривае великий простар для адаптаци до сощуму не лише дорослих незрячих людей, а в першу чергу дггей, яю мають проблеми 1з зором, \ яю могли б переглядати мультфшьми, вчи-тися л1чити, вивчати абетку за допомогою вщеоконтенту з тифлокоментарем. Тифлокоментар - це закадровий опис вщеоряду, складений сценаристом \ начитаний тиф-локоментатором. Тифлокоментування - це коментар в1зу-альних елеменлв (жест1в, зовшшнього вигляду актор1в, предметав, костюм1в, декорацш). Таким чином, за допо-могою тифлокоментування, особи з вадами зору можуть уявити соб1 весь спектр в1зуальних прийом1в, яю викори-стовував режисер та сценарист вщеоконтенту. Виникае задача в розробленш математичного та програмного забезпечення адаптаци вщеоконтенту до потреб ошб з вадами зору на основ1 тифлокоментування [2].

Об'ектом дослщження е процес подання вщеоконтенту для омб з вадами зору.

Предметом дослiдження е методи та засоби побудо-ви, редагування та адаптацп вiдеоконтенту для омб з ва-дами зору.

Метою роботи е розроблення математичного та про-грамного забезпечення адаптацп вiдеоконтенту для осiб з вадами зору.

1 ПОСТАНОВКА ЗАДАЧ1

Задача дослiдження полягае в розробленш ПАК адаптацп вщеоконтенту для осiб з вадами зору. Для 11 досяг-нення необхщно розв'язати такi задачi:

1) розробити математичне забезпечення подання вще-оконтенту для осiб з вадами зору на осжда процесу тифлокоментування;

2) розробити правила тифлокоментування;

3) побудувати архiтектуру програмно-алгорштшчно-го комплексу адаптацп в^еоконтенту для осiб з вадами зору;

4) здшснити апробацiю функцюнування розроблено-го програмно-алгоритмiчного комплексу адаптацп вще-оконтенту для осiб з вадами зору на практищ.

2 О1ЛЯД Л1ТЕРАТУРИ

Дослiдження вiдомих шоземних вчених на початку XXI ст. показали важливють процесу навчання та адаптацп в сустльство дггей з вадами зору [1, 3]. У вщомих дослiдженнях, пошук мюць для вставки тифлокоментарiв завжди виконувався за допомогою людини. Тому необх-iдно розробити методи та програмш засоби адаптацп вще-оконтенту для омб з вадами зору, яю б здiйснювали пошук вшьних вiд дiалогiв та важливих шучшв мiсць у звуко-рядi вщеоконтенту. Також у роботах [2, 6-8] - дослщжено проблему доступу омб з вадами зору до вщеоконтенту, визначено метод тифлокоментування як оптимальний для виршення ще1 задачi. У працях [4, 5] розглянуто вне-сок у розвиток освiти омб з вадами зору Лу1 Брайля, тактильним шрифтом яким користуються й дом. В основу шрифту покладено комбшащю зi шести крапок. Брайль використав порядок букв латинського алфавпу. Для по-значення перших букв алфавпу використовують верхнi й середш крапки шести крапок. Для позначення наступ-них букв додаеться нижня крапка лiворуч, потiм лiворуч i праворуч, потiм праворуч. Такими самими знаками позначаються i букви укра1нського алфавiту з додаван-ням спецiальних знакiв. Рiзнi комбшацп шести крапок дають можливють позначати також цифри, роздiловi знаки, математичш, хiмiчнi й нотнi знаки.

Росшський вчений Сергiй Ваньшин [3] вперше на те-ренах колишнього Радянського Союзу описав проблему осiб з вадами зору у доступ до культурних надбань люд-ства засобами вщеоконтенту, який адаптований для такого контингенту омб, систематизував вимоги до майбутшх тифлокоментаторiв, критерп вщбору людей до таких про-фесш. Вiн також описав першi результати навчання мис-тецтву тифлокоментування омб з вадами опорно-рухо-вого апарату. Його раннi працi були псно пов'язанi з бiблiотечним обслуговуванням омб з вадами зору, по-шуком можливостей для якiснiшого i повшшого обслу-говування ще1 категорп чшалв.

Крогiус А. А., Щербина А. М. та iншi автори [9] роз-вивали iдеалiстичну концепцiю переважного розвитку

психiки в разi слшоти, стверджуючи, що нестача функцп зору сприяе розвитку i багатству «внутршнього» життя. Будучи вiдгородженим вiд зовшшнього свiту, слiпий, на 1хню думку, створюе за допомогою мислення та уяви свш «внутршнш свiт», а це сприяе розвитку «вищих» психiчних процесiв. Уяву осiб з вадами зору зазначеш автори характеризують як бшьш живу, нiж у зрячих, 1м приписують високий розвиток творчо-музично1 та ма-тематично1 уяви тощо.

Сьогодш питанням навчання омб з вадами зору (дош-кшьнят, школярiв, студентiв, осiб, що бажають тдвищити квалiфiкацiю) займаються багато вчених, дослщниюв, фахiвцiв з медицини у провщних кра1нах свiту, а держава забезпечуе 1х матерiальною тдтримкою. В Украlнi цi питання залишаються проблематичними i наболiлими. Частково щ питання розглянули кiлькаукраlнських дослi-дниюв. Вирiшення проблеми доступностi iнформацil та тдготовки навчально-методичного контенту допоможе самореалiзуватися людям з частковою та повною втра-тою зору.

На основi проведеного аналiзу встановлено, що для створення в^еоконтенту з тифлокоментарем в Украlнi не ^нуе жодних програмних засобiв, яю б поеднували всi етапи побудови такого роду шформацшного контенту. Тому робота з дроблення ПАК для виршення таких проблем е актуальною.

3 МАТЕР1АЛИ I МЕТОДИ

Очевидно, що тифлокоментар у вщеоконтент можна вставити у м^ця вiльнi вiд дiалогiв або шшо! шумно1 iнформацil. Для пошуку у вiдеоконтентi дiлянок вiльних вщ дiалогiв використано спектральний аналiз. Процес пошуку таких дшянок використовуе 6 параметрiв:

Порiг енергil сигналу, К, % - це пор^ енергл сигналу, при перевищенi сигналом якого розпочинае свою роботу алгоритм пошуку. Цей параметр необхщний для того, щоб не пропускати шуми, зайвi звуки, якi тихiше за порщ а також для прискорення роботи алгоритму, так як для дшянок яю нижче порогу не виконуеться спектральний аналiз. Цей параметр бажано виставляти на рiвнi 15-40%. Рiвень щiльностi спектру, % - це пор^ щiльностi спектру, перевищуючи який програма переходить до наступного аналiзу Як виявив практичний аналiз, цей показник зале-жить вiд типу звукового сигналу. Для широко смугових сигналiв, з рiвномiрним спектром (як наприклад для шуму, чи насиченого музичного фрагменту) цей показ-ник низький, для голосового сигналу де розподшення частотних смуг нерiвномiрне - цей параметр вищий. Тобто цей параметр показуе наявшсть явно виражених певних частотних смуг у спек^ по вщношенню до iнших. На практицi цей параметр бажано виставляти на рiвнi 40-60%. При встановлеш на 0% програма пропускае цей аналiз, тобто вважае що весь звуковий сигнал задоволь-няе вимоги.

Коефiцiент кореляцп спектру, % - це пор^ кореляцil спектру у кожнiй дшянщ звукового сигналу до заданого еталонного спектру. При перевищеш кореляцil порогу програма вважае сигнал таким, що вщповщае голосовому. На практищ бажано виставляти на рiвнi 40-70%.

Фшальний пор^ пошуку, % - це пор^ на результую-чому графiку роботи алгоритму. Коли сигнал нижче цьо-

р-К8К 1607-3274. Радюелектронжа, шформатика, управлiння. 2016. № 3 е-ЕЗБЫ 2313-688Х. Каёю Е1еойоп^, Сошриег Баепое, Соп^о1. 2016. № 3

го порогу, програма вважае в1дпов1дну д1лянку тишею та заносить И до списку. Значення за замовчуванням - 50%.

Мшмальна довжина тиш1, мс - це такий час, з яким пор1внюеться довжина знайдено! дшянки тишг Якщо три-вал1сть дшянки тиш1 менша за цей параметр, то вона ви-даляеться з1 списку дшянок тишг

Мшмальна довжина корисного сигналу, мс - це такий час, з яким пор1внюеться штервал м1ж сумдщми дшянками тишг Якщо цей штервал менший за вказане значення, то щ дв1 дшянки тиш1 об'еднуються в одну, таким чином штервал м1ж ними також стае в склад1 дшянки тишг Це необхщно для того, щоб виключити раптов1 ко-ротю скачки сигналу. Цей параметр бажано встановлю-вати на р1вш 50-200 мс. Якщо програма вважае тишею дуже коротю слова, то потр1бно цей параметр зменши-ти. Якщо е багато дуже коротких дшянок «корисного» сигналу м1ж дшянками тиш1, яю насправд1 не мають ко-рисно! шформацп, а лише яюсь клацання, чи хлопки, то потр1бно цей параметр трохи збшьшити.

Арх1тектура ПАК адаптацп в1деоконтенту до омб з вадами зору складаеться з трьох р1вшв - вщображення, компонента та керування даними (рис. 1). Ивень вщоб-раження в1дпов1дае за взаемод1ю тифлокоментатора з ПАК. Ивень компонента складаеться 1з модушв, яю при-значеш для розв'язання задач введення, виведення та оп-рацювання даних. ПАК у сукупност з базами даних вще-оконтента належать до р1вня керування даними.

Розроблено алгоритм пошуку у аудюряд1 дшянок, яю можуть бути використаш для накладання тифлокомен-тар1в. Блок-схема алгоритму наведена на рис. 2.

Звукова дор1жка попередньо розбиваеться на ввдр1зки довжиною 10 мс. В оперативны пам'ята комп'ютера створюеть-ся масив ввдповщного розм1ру до кшькосп ввдр1зюв по 10 мс. Для кожно! д1лянки довжиною 10 мс розраховуеться спектр завдяки перетворюванню WaveLet. Для аналзу ПАК бере 1024 семпли звукових даних та рекурсивним методом WaveLet роз-под1ляе на 10 частин довжинами 1,2,4,8,16,32,64,128,256 та 512 семшпв. Кожна частина вщповщае сво!й смуз1 частот. Псля чого для кожно! частини розраховуеться енерпя. Таким чином отримуемо 10 значень р1вня вщповщно до частотних смуг для кожно! д1лянки звуку.

Дал1 скануеться кожна д1лянка звуково! дор1жки за на-ступними чотирма етапами:

Етап 1. Ф1льтращя д1лянки звуку за допомогою НЧ та ВЧ фшьтр1в, пропускаючи д1апазон частот в1д 50 до 300 Гц. Розрахунок енерп! отриманого сигналу та пор1вняння !! р1вня з проыдним порогом. Таким чином виконуеться вщсго-вання явно зайво! шформаци, шумв, тощо. Якщо дшянка прой-шла перев1рку, [ значення енерги вище за порщ то вщповщному елементу масиву присвоюеться значення 255, якщо т - то при-своюеться значення 0.

Етап 2. Для кожно! д1лянки звуково! дор1жки, якщо вщпо-ввдний !й елемент масиву дор1внюе 255, виконуеться пере-в1рка на щшьшсть спектру. Щшьшсть спектру розраховуеться за формулою 8Ы¥йЪ = - \о%10(От / Ат).

Середне арифметичне розраховуеться за формулою - 1 п

х = — У , а середне геометричне за формулою: п,=1

(

в(Х1, Х2,...Х„ ) = фх1

Х . . .Х =

П х

ч1/п

Р:вень вщображення та керування програмою

Коржтувач

I

Клаыатура та мшпа

Е*рзя компьютера

Мпсрофов

Нзвушн геснаоо

коле н:-з£

Ртсгп, компикигш

Компонент обробки команд користувача та паэелаи вотовцнии команд до головного модуля 1фарнв

т Ещоораженш нпврфейпг корипувача (головне бвео. вш5а редагуБання.вш-:а далопв. мешо. тощо)

запису з мисрофона

Компонент програвання аушо-

Р1вень керування даними Г"

Гоповнин модуль програ.\ш

звуково! хвшп та графпов робаги алгоритму пошуку

Ш а а в- II II 'г. а 1

1 1 1 а #! р 3 5 р г'

1 й'В 11 а ^

§ 5 я |

3 м 3

Iй

¡з§ 1 ?

Ко1шоненг зашку текстового файту з позначенЕзш дшянок тиии

Козшоненг для зчит}вання запасу фа&иву формата \\ГА\||Е РОЛ

Компонент буферезовзного зчнг>зання ■запжу даних для оптшпзацйвнкористашя оперативно! пам=ят1 компьютфа

Зыкова зэргажа

Жорстыш диск комп'ютера

Рисунок 1 - Арх1тектура програмного комплексу адаптаци в1деоконтенту для ос1б з вадами зору

I_

Фльтраця масиву. Длянки „0" дрвжиною

менш нж 500 мс вважаються помилковими \ заповноютьсязначенням,, 255". Длянки ,255" донж^ою менш нЖ 150 мс вважаються помилковим \

Сканування масгау та пошук длянокв яких значення масиЕу менше заданого порогу. Я<що дляжадовжиною не менше нж задано у параметрах, то во на додаеться до списку делянок тиш1

Анэлв стску длянок тш1. Якщо вдстань мж початком поточно!' дганки та кнцем попереднюТ меше нгж задано у параметрах (параметр Т2), то ц дв1 длянки об'еднуются в одну)

Юнец

Рисунок 2 - Блок-схема алгоритму пошуку д^нок доступних для накладання тифлокоментарiв

Якщо для конкретно! дшянки значення щшьносп спектру вище за встановлений порщ то в масив1 вщповщний елемент залишаеться р1вним 255, а якщо щшьтсть спектру не задовшьняе вимогу, то значення масиву для ще! дшянки прир1внюеться до 0.

Етап 3. Для кожно! дшянки звуково! дор1жки, якщо вщповщний 1й елемент масиву дор1внюе 255, виконуеть-ся перев1рка на корелящю 11 спектру з еталонним спектром (заданим по замовченню в ПАК, або знятим корис-тувачем з обрано! дшянки звуково! дор1жки). Розрахунок кореляцп виконуеться за наступною формулою:

г ССУХУ К X - X )(Т - Т)

ГХУ --- I „ „ .

СТХСТТ ЩХ-X))К(Т-Т))

Пор1внюеться розрахований коефшдент кореляцп з вста-новленим порогом. Якщо перев1рка вщповщае встанов-леному значению, то в масив1 залишаеться значення 255, якщо ш - то вщповщне значення масиву стае р1вним 0.

Таким чином в результата проходження трьох еташв маемо масив, в якому кожний елемент дор1внюе 0 або 255. 0 - якщо не пройшла хоча б одна перев1рка, 255 -якщо дана дшянка вщповщае вмм трьом вимогам. На цьому можна було б завершити перев1рку та розпочати пошук дшянок в масив1 (елементи масиву, яю дор1вню-ють 0). Але в результат проходження трьох еташв мо-жуть пройти перев1рку коротю сигнали, яю мали спектр схожий до заданого, або навпаки, коротка пауза м1ж словами актора може не пройти перев1рку. Наприклад, за енерпею сигналу [ в масив1 для ще! дшянки буде значення 0. Тому, щоб виршити цю проблему був доданий чет-вертий етап перев1рки.

Етап 4. Для видалення раптових значень 0 або 255 виконуеться згладжування масиву Спочатку виконуеться по-

шук дшянок масиву з значеннями «0», довжина яких не перевищуе 500 мс. Таю дшянки вважаються помилковими, значення масиву в них змшюеться на 255. Потм виконуеться пошук дшянок масиву з значеннями «255», довжина яких не перевищуе 150 мс. Таю дшянки вважаються помилковими, та значення масиву в них зм1нюеться на 0. Виконуеться згладжування у прямому напрямку, потам виконуеться згладжування у зворотному напрямку. Та -ким чином при згладжуванш короткий сигнал (значення 255) дае значно менше значення для цього елементу масиву, але створюе залишковий шум завдяки фшьтру низько! частоти. При зворотному напрямку значення елементу масиву для щй дшянки також значно нижче за 255, [ також присутнш залишковий шум, але вш мае протилежний на-прямок. Таким чином при розрахунку кореляцп м1ж цими двома згладженими масивами, отримуеться наступний ефект: коротю сигнали практично видаляються завдяки тому, що 1хт залишков1 шуми тсля НЧ-фшьтр1в не пере-кривались, а для корисного сигналу навпаки - згладжеш в прямому [ протилежному напрямку значення перекрива-ються [ тому залишаються в масив1 (навггь якщо за р1внем енергп корисний сигнал був менший за короткий парази-тивний сигнал). I на заюнчення, корелящя м1ж згладжени-ми масивами пор1внюеться з порогом прийняття ршен-ня, [ якщо вш не вщповщае встановленому параметру, то цей елемент масиву дор1внюе 0.

Нами розроблено правила тифлокоментування. З щею метою було проведено опитування 100 оЫб уах вжових груп з вадами зору. Шсля перегляду адаптованого ф1льму з тифлоко-ментарями, 1м було задано 10 питань.

1. Чи запам'ятали Ви назву вщеоконтенту?

2. Чи пригадаете назву студи яка зняла даний вщеокон-тент?

3. Чи запам'ятали ви головних геро!в вщеоконтенту?

4. Чи зрозумши ви сам сюжет, його розвиток протягом вщеоконтенту, розв'язку?

5. Чи не було моментв у вщеоконтенл коли Ви втратили зрозумЫсть того що вщбуваеться на екраш(незрозумЫ звуки яю не були описан тифлокоментарем)?

6. Чи не було момента коли слова тифлокоментатора на-кладались на слова актор1в, важлив1 звуки, [ тим самим зава-жали сприйняттю вщеоконтенту?

7. Чи зрозумши ви побут(м1сцев1сть, предмети) герогв, як! були важлив1 для сприйняття вщеоконтенту?

8. Чи не був тифлокоментар заплутаний, незрозумший? Чи були терм1ни яю ви не зрозумши?

9. Чи не був тифлокоментар надм1рним/недостатшм?

10. Чи задоволеш ви переглядом даного вщеоконтенту з тифлокоментарями?

Для опрацювання результата проведеного опитування, використано теорж> асощативних правил. Наприклад, було обчислено достов1ршсть правила {ЯКЩО Ви зрозумши сюжет, ТО чи Ви задоволеш переглядом вщеоконтенту з тифло-коментарем ?}. Достов1ршсть такого правила складае 95%:

95%

со^=--100% - 95%.

100%

Метою пошуку асощативних правил е встановлення таких залежностей: якщо зустр1вся деякий наб1р елемента Р, то на п1дстав1 цього можна зробити висновок про те, що шший наб1р елемент1в <2 також повинен зустргтися з певною достов1рш-

стю VxP(x) ^ Q(x)). На основ1 отриманих даних розробле-но правила тифлокоментування.

Розроблений програмно-алгоритмчний комплекс дав змогу реал1зувати вш етапи побудови адаптованого ввдеоконтенту для оЫб з вадами зору.

4 ЕКСПЕРЕМЕНТИ

На основ1 запропонованих метод1в, розроблено програм-ний-алгоритмч1ний комплекс «Audio Editon>, в якому викори-стано побудоваш методи та алгоритми, яю описаш вище. Цей ПАК розв'язуе таю задача 1) визначення мкць у звукоряд1 вщеоконтенту для вставлення тифлокоментарiв, 2) начитування тифлокоментарiв, 3) вибiр з множини начитаних тифлокомен-тарiв релевантного, який ввдповвдае певним параметрам (час, семантика), 4) норматзащя основно! звуково! дорiжки, 5) по-будова паралельно! звуково! дорiжки з накладених тифлоко-ментарiв, 6) поеднання звукоряду з ввдеоконтентом. Результатом роботи ПАК е змонтована звукова дорiжка, яку можна експортувати, або в звуковий файл форматв WAV та MP3, або у формат вiдео-файлу AVI, MPEG, WMV. За допомогою цього ПАК адаптовано для оЫб з вадами зору фшьм « Дотор-кнись i побач» (в Iнтернетi фшьм з тифлокоментарем можна переглянути за адресою: https://www.youtube.com/ watch?v=3h_73FHAq3M).

На рис. 3 наведено сюжети кiнофiльму «Доторкнись i побач», а у табл. 1 наведено часов1 рамки цих сюжетiв, та !хнш опис за допомогою тифлокоментар1в.

5 РЕЗУЛЬТАТИ

Результати експерименту наведено на рис. 4. Зл1ва наведено вщносну юльюсть схвальних вщповщей на пи-тання тсля перегляду фшьму «Доторкнись i побач» без тифлокоментар1в, а з право! сторони - тсля перегляду з тифлокоментарями. Були задаш такi запитання:

1. Чи зрозумши ви сам сюжет, його розвиток протя-гом вiдеоконтенту?

2. Чи не було моментiв у вщеоконтенл коли Ви втра-тили зрозумЫсть того, що вiдбуваеться на екраш (не-зрозумiлi звуки, шуми)?

Рисунок 3 - Сцени змши сюжету протягом 0:00 - 1:10 хв.

Таблиця 1 - Опис окремих сюже™ фшьму «Доторкнись i побач» за допомогою тифлокоментарiв

Оригшал фiльму Часовий промiжок Тифлокомеш^

0:00-1:10 0:00-0:08 титр: Доторкнись i побач.

(Без будь яких 0:12-0:16 Дощовий, вечiрнiй Львiв.

пояснень грае 0:17-0:25 У мерехтливих вогнях

саундтрек) 0:32-0:40 лiхтарiв площi Ринок

«пробшае» трамвай.

0:41-0:57 Чоловiк одягнутий у

коричневу куртку з

0:59-1:07 капюшоном йде вулицею.

Пiд пазухою вш несе

коробку з подарунковою

стрiчкою.

Необачно переходячи дорогу

його збивае автомобшь. До

нього вискакуе водш:

Вщеоконтент до адаптацн

■ Вщеоконтент з тифлокомента рем

Рисунок 4 - Графж спiвставлення вщповщей глядачiв

3. Чи задоволенi Ви переглядом даного вiдеоконтенту з тифлокоментарем?

Тим самим експериментально доведено доцшьшсть застосування методу тифлокоментування для опису сю-жетiв вiдеоконтенту, що дало змогу до 30% тдвищити сприйняття вщеоконтенту особам з вадами зору.

6 ОБГОВОРЕННЯ

Сьогодш в усьому свт ведеться активна робота над розробленням нов1тшх шформацшних технологш, яю допомагають особам з ф1зичними вадами здоров'я максимально самостшно взаемод1яти з шшими людьми та комп'ютерами, забезпечувати себе необхщною шфор-мащею [10-11]. Проблематика доступност до шформацп для омб з вадами зору спричинена неяюсним способом представлення шформацп на сайтах, малою адаптоваш-стю сучасного телебачення до потреб таких людей.

У свт немае розроблених шформацшних систем, яю би забезпечували повний комплекс технолопчного про-цесу адаптацп вщеоконтенту для омб з вадами зору, е одиничш системи, яю виконують лише деяю функцп, але по- перше, вони комерцшш, а по-друге, [ вони мають певш недолжи. Це спричинено складшстю адаптацп та об'еднання р1зних програмних та апаратних засоб1в у одну систему. У результат! немае повнощнних розроблених програмно-алгорштшчних засоб1в, яю би забезпечували виршення сформульованих задач.

ВИСНОВКИ

Проблема доступу до вщеоконтенту омб з вадами зору дуже гостро сто!ть в даний час. У проблематищ навчання таких людей також виникають велик пробле-ми, людина яка отримуе шформащю повинна мати добре розвинену уяву, мати достатнш запас знань, що доз-воляють сприймати шформащю на слух.

Тифлокоментування як спошб донесення шформацп до незрячого або слабкозрячого користувача е надзви-чайно яюсним методом донесення суп, важливих деталей того, що зряч! бачать в конкретний момент на екраш телев1зора, диспле! моштора або навпъ на театральнш сцеш. Вперше розроблено математичне забезпечення подання вщеоконтенту для омб з вадами зору на основ! процесу тифлокоментування, яке базуеться на спектральному анал1з1 побудови паралельно! звуково! дор1жки, що дало змогу формал1зувати процес адаптування вщеокон-тенту для омб з вадами зору. На основ! теорп асощатив-них правил та лопки першого порядку розроблено правила побудови тифлокоментар1в, яю служать базою для сценаристав та звукорежисер1в, яю здшснюють процес адаптування вщеоконтенту до потреб омб з вадами зору. Для автоматизацп процесу побудови вщеоконтенту для омб з вадами зору розроблено архитектуру та реал1зова-но програмно-алгорштшчний комплекс тифлокоментування, функщонування якого Грунтуеться на пошуку м1сць у вщеоконтенл для вставки тифлокоментар1в, на-читуванш у часов! рамки вщповщних тифлокоментар1в, редагуванш [ накладанш аудюряду з тифлокоментарем на вщеоряд. Отримав подальший розвиток метод пошуку дшянок тиш1 в звукових даних на основ! використання перетворювання WaveLet, який складаеться ¿з 4 етатв (фшьтращя дшянки звуку, перев1рка щшьност спектру,

nepeBipKa кореляцп спектру з еталонним спектром, зглад-жування дiлянок масиву), що дало змогу визначити дшянки тишi для вставлення тифлокоментарiв у вщеоконтент. Експериментально доведено доцiльнiсть застосування тифлокоментарiв для опису сюжету вщеоконтенту для осiб з вадами зору, що дало змогу до 30% пщвищити ефектившсть сприйняття вiдеоконтенту такими глядача -ми. За допомогою розроблених методiв i програмних засобiв, адаптовано та викладено у вшьний доступ ко-роткометражний фiльм «Доторкнись i побач». ПОДЯКИ

Дослiдження, що становлять матерiал статтi, безпосе-редньо пов'язаш з науково-дослiдним напрямом кафед-ри iнформацiйних систем та мереж Нащонального уш-верситету «Львiвська полггехшка». Результати, викладенi у роботi, виконано вщповщно до державно! науково-дос-лщно! роботи за темою Мiнiстерства освгга i науки Ук-ра!ни ДБ «ЖЕСТ» у 2011-2012 рр. (номер державно! рее-стращ! 0111U001222).

СПИСОК ЛГГЕРАТУРИ

1. Петров Ю. I. Оргашзащя i методика навчання слших ор1енту-ванню в простор! / Ю. I. Петров. - М. : ВОС, 1998. - 276 с.

2. Демчук А. Б. Вщеоконтент для незрячих: метод тифлокоментування / А. Б. Демчук // Радюелектронжа, шформатика, уп-равлшня. - 2014. - №1 (30). - C. 146-149.

3. Ваньшин С. Н. Словесное описание для слепых / С. Н. Вань-шин, О. П. Ваньшинаю. - М. : Логосвос, 2011. - 62 с.

4. Земцова М. И. Пути компенсации слепоты в процессе познавательной и трудовой деятельности / М. И. Земцова. - М. : Из-во АПН РСФСР, 1956. - 420 с.

5. Таланчук П. М. Супровщ навчання студенпв з особливими потребами в штегрованому освнньому середовищ! / П. М. Таланчук, К. О. Кольченко, Г. Ф. Нжушна. - К. : Со-цшформ, 2004. - 128 с.

6. Кунанець Н. Е. Оргашзащя освгтшх та шформацшних про-цеав для людей з вадами зору ¡з застосуванням спещальних комп'ютерних технологш / Н. Е. Кунанець, О. А. Лозицький, В. В. Паачник // Матер. III наук.-практ. конф. «1нновацшш комп'ютерш технологй у вищш школЬ>. - Льв1в : Вид-во Льв1всько! полггехнжи, 2011. - С. 156-158.

7. Литвин В. В. Метод автоматизовано! розбудови та оцшювання якост онтологш баз знань / В. В. Литвин, М. Я. Гопяк,

A. Б. Демчук // Автоматизоваш системи управлшня та прила-ди автоматики. Харгав : ХНУРЕ, 2012. - № 161. - С. 62-69.

8. Демчук А. Б. Метод побудови штелектуального агента на основ! онтологп предметно! область / А. Б. Демчук,

B. В. Литвин, М. М. Войчишен // 1нформацшш системи та мережг Вюник НУ «Льв!вська полггехшка». - Льв1в : НУ «Льв!вська полггехшка», 2011. - № 715. - С. 215-225.

9. Палагин А. В. Архитектура онтологоуправляемых компютер-ных систем / А. В. Палагин // Кибернетика и системный анализ. - 2006. - № 2. - С. 111-125.

10. Нивиков П. С. Элементы математической логики 2-е изд. / П. С. Новиков. - М. : Наука, 1973. - 400 с.

11. Гильберт Д. Основы теоретической логики / Д. Гильберт, В. Аккеман. - М. : ГИИЛ, 1947. - 302 с.

Стаття надшшла до редакци 14.03.2016.

Шсля доробки 20.05.2016.

Лытвын В. В.1, Демчук А. Б.2, Оборская О. В.3

1Д-р техн. наук, профессор, заведующий кафедрой «Информационные системы и сети» Национального университета «Львовская политехника», Львов, Украина

2Канд. техн. наук, ассистент кафедры «Информационные системы и сети» Национального университета «Львовская политехника», Украина

3Аспирант кафедры «Информационные системы и сети» Национального университета «Львовская политехника», Львов, Украина

МАТЕМАТИЧЕСКОЕ И ПРОГРАММНОЕ ОБЕСПЕЧЕНИЕ ПРЕДСТАВЛЕНИЕ ВИДЕОКОНТЕНТА ДЛЯ ЛИЦ С НАРУШЕНИЕМ ЗРЕНИЯ

В статье исследована проблема доступа к видеоконтенту людей с полной или частичной потерей зрения, рассмотрены тифлокомен-тування, как метод адаптации видеоконтента для незрячих. При исследовании проблемы доступа слабовидящих к видеоконтенту, следует понимать, что большинство информации предоставляется зрителю посредством изображения, так, незрячие слышат все слова актеров, звуки окружающей среды, процессов на экране, но им трудно идентифицировать кому какие слова относятся, что именно в данный конкретный момент происходит с героями, что изображено в данной сцене, какова реакция актеров, их эмоции, которые чаще всего выражаются с помощью движений или мимики. Тифлокоментари к фильмам для незрячих людей - вот один из реальных шагов решения ограниченности доступа к такому виду контента. Разработаны математическое обеспечение представления видеоконтента для лиц с недостатками зрения на основе использования теории координации, спектрального анализа. Также построена архитектура программно-алгоритмического комплекса адаптации видеоконтента для людей с недостатками зрения. Реализован метод поиска свободных от диалогов и других важных звуков мест в видеоконтенте, которые служат для вставки тифлокомментариев. На основе логики 1-го порядка и ассоциативных правил разработаны правила тифлокомментирования для тифлокомментаторов, сценаристов и звукорежиссеров. Решена актуальная научно-прикладная задача представления видеоконтента в формате, доступном для восприятия людям с плохим зрением. Экспериментально доказана целесообразность применения метода тифлокомментирования для описания сюжетов видеоконтента, что позволило до 30% повысить восприятие видеоконтента лицам с недостатками зрения.

Ключевые слова: программно-алгоритмический комплекс, тифлокомментирование, тифлокомментатор, аудиодескрыпция, представление видеоконтента для лиц с недостатками зрения, видеоконтент, недостаток зрения, адаптированный видеоконтент.

Lytvyn V. V.1, Demchyk A. B.2, Oborska O. V.3

'Dr.Sc., Professor, Head of Information Systems and Networks Department, Lviv Polytechnic National University, Lviv, Ukraine

2Ph.D., Assistant of Information Systems and Networks Department, Lviv Polytechnic National University, Lviv, Ukraine

3Postgraduate student of Information Systems and Networks Department, Lviv Polytechnic National University, Lviv, Ukraine

MATHEMATICALAND SOFTWARE SUBMISSION VIDEO CONTENT FOR VISUALLY IMPAIRED PEOPLE

The article studies the problem of access to video people with complete or partial loss of vision, are considered typhlocomments as video content adaptation method for the blind. In the study of the problem of access of visually impaired to the video, it is understood that most of the information provided the viewer through the image, so that the blind can hear all the words of the actors, environment sounds, the processes on the screen, but it is difficult to identify anyone what words are, that it is at this particular moment it happens to the characters, what is depicted in this scene, what is the reaction of the actors, their emotions, which are often expressed through movement and facial expressions. Tiflokomentari to films for blind people - that's one of the real steps solutions limited access to view this content. Developed software representation of video content for persons with visual impairments through the use of the coordination theory of spectral analysis. Also built the architecture of software and algorithmic complex adaptation of video content for people with visual impairments. Implemented method for finding free conversations and other important sounds in video sites, which are used to insert typhlocomments. On the basis of the logic of the 1-st order and association rules are designed for rules typhlocomments typhlocomentators, writers and sound engineers. Back-to-date scientific and applied problem presentation video in a format accessible to the perception of people with poor eyesight. Experimentally proved the feasibility of typhlocomments method to describe the scenes video, which allowed up to 30% increase in the perception of video content for people with visual impairments.

Keywords: complex algorithmic search include video-insertion typhlocomments, audiodescription, submitting video content for people with visual impairments, video content, defect of vision, is adapted video content.

REFERENCES

1. Petrov U. I. Organizatsiya technique navchannya slipih orientuvannyu prostori. Moscow, VOS, 1998, 276 p.

2. Demchuk A. B. Vydeokontent for the blind: the method tyflokomentuvannya, Radio Electronics, Computer Science, Control, 2014, No. 1 (30), pp. 146-149.

3. Vanshina S. N., Vanshinayu O. P. Slovesne opysannja dlya slipyh. Moscow, Logosvos, 2011, 62 p.

4. Zemtsova M. I. Puti compensation v process poznavatelnoj i trudovoy deyatelnosti. Moscow, APN RSFSR, 1956, 420 p.

5. Talanchuk P. M., Kolchenko K. O., Nikulina G. F. Suprovid navchannya studentiv s osoblivimi potrebami in integrovanomu osvitnomu seredovischi [Text]. Kiev, Socinform, 2004, 128 p.

6. Kunanets N. E., Lozitsky O. A., Pasichnik V. V. Organizatsiya osvitnih Ta informatsiynih protsesiv dlya lyudey s vadami zoru iz zastosuvannyam spetsialnih komp'yuternih tehnologiy, Mater. III-

nauk. prakt. konf. "Innovatsiyni komp 'yuterni tehnologii' in vischiy shkoli". Lviv, Vid-vo Lvivskoi politehniki, 2011, pp. 156-158.

7. Lytvyn V. V., Hopyak M. J., Demchuk A. B. Metod avtomatyzovanoyi rozbudovy ta otsinyuvannya yakosti ontolohiy baz znan, Avtomatyzovani systemy upravlinnya ta prylady avtomatyky. Harkiv, XNYRE, 2012, No. 161, pp. 62-69.

8. Demchuk A. B., Lytvyn V. V., Voychyshen M. N. Metod pobudovy intelektualnoho ahenta on osnovi ontolohiyi predmetnoyi oblasti. Informatsiyni systemy ta merezhi. Visnyk NU «Lvivska politehnika». Lviv, NU «Lvivska politehnika», 2011, No. 715, pp. 215-225.

9. Palagin A. V. Arhitektura ontologoupravlyaemyh kompyuternyh sistem, Kibernetika and sistemny analyz, 2006, No. 2, pp. 111— 125.

10. Nivikov P. S. Elementy matematicheskoy logiki 2 yzd. Moskva, Nauka, 1973, 400 p.

11. Gilbert D., Akkeman V. Osnovy teoreticheskoy logiki. Moskva, GIIL 1947, 302 p.