CC BY
12
54
ВМУ. Серия 3. ФИЗИКА. АСТРОНОМИЯ. 2010. № 6
Зависимость регулярности выходного импульсного сигнала нейронной модели от отношения частот входных колебаний
Ю. В. Ушаков0, A.A. Дубков6
Нижегородский государственный университет имени Н. И. Лобачевского, радиофизический факультет, кафедра математики. Россия, 603950, г. Нижний Новгород, пр. Гагарина, д. 23.
E-mail: а [email protected], ь [email protected] Статья поступила 26.03.2010, подписана в печать 18.05.2010
Рассматривается модель нейронной системы, генерирующей последовательность дельта-импульсов под действием шумов и синусоидальных сигналов с соизмеримыми частотами. С использованием теории скрытой марковской цепи получена зависимость регулярности указанной импульсной последовательности от отношения частот входных колебаний.
Ключевые слова: условный марковский процесс, нейрон, спайк, теория информации, энтропия, регулярность.
УДК: 537.86, 621.371.399, 519.216, 519.217.2. PACS: 05.40.-a, 02.50.Ga, 87.19.Dd.
Введение
Теория информации позволяет решать весьма актуальные на сегодняшний день технические задачи, относящиеся, в основном, к передаче, хранению и получению (сбору) информации [1]. На основе этой теории разрабатываются алгоритмы кодирования и декодирования, позволяющие эффективно передавать сигналы через зашумленные каналы, а также обнаруживать и выделять полезное информационное содержимое в сложных избыточных процессах. Ярким примером системы, принимающей сложные сигналы, а также включающей в себя зашумленные каналы [2] и подсистемы кодирования-декодирования, является мозг млекопитающих и, в частности, изучаемая в настоящей работе слуховая нейронная система [3]. Для нее построена стохастическая математическая модель, в которой в качестве внешнего детерминированного воздействия используются синусоидальные во времени сигналы с соизмеримыми частотами fii и 02: О1/О2 = т/п, где т,пе N.
Задача работы состоит в выявлении связи между отношением т/п и регулярностью выходного импульсного сигнала при постоянном уровне шума в системе. Этот вопрос изучался ранее [4] с вероятностной точки зрения: были построены распределения интервалов между импульсами на выходе нейронной системы, показывающие, что, чем больше числа тип, тем менее регулярным является выходной сигнал, и наоборот. В настоящей работе на основе аппарата теории информации для марковских процессов дается более ясное количественное описание регулярности сигнала и ее поведения при изменении отношения частот пары входных колебаний.
Далее коротко излагаются необходимые сведения об исследуемой модели и некоторые результаты ее анализа, опубликованные в предыдущих статьях. Затем обосновывается возможность использования этих результатов для нахождения удельной информационной энтропии выходного сигнала. В третьем разделе вводится формальное определение регулярности сигнала и анализируется ее зависимость от отношения частот fii/fi2- Сравнение этой зависимости с грубой числен-
ной оценкой дается в четвертом разделе, после которого следует заключение.
1. Модель слухового анализатора
Слуховой анализатор млекопитающих устроен таким образом, что звуковой сигнал раскладывается на частотные составляющие, каждая из которых затем действует на соответствующую группу сенсорных нейронов (сенсоров). Они генерируют последовательности электрических импульсов (спайков), которые отправляются по нервным волокнам в мозг для дальнейшей обработки [3]. Модель исследуемой системы составлена из двух сенсоров и одного промежуточного нейрона (интернейрона, ИН), моделируемых стохастическими уравнениями Ланжевена в форме так называемого «порогового интегратора с утечкой» [5]. Сумма спайковых последовательностей (СП), генерируемых не связанными друг с другом сенсорами под действием синусоидальных сигналов и статистически независимых шумов, является входным сигналом для ИН, который также подвержен влиянию независимого источника шума (рис. 1). Подробное описание математической модели, значения используемых параметров, методы и результаты анализа представлены в статьях [4, 6, 7].
Напомним, что СП на выходе ИН рассматривается как точечный процесс, так как все спайки считаются одинаковыми. Этот случайный процесс полностью характеризуется межспайковыми интервалами (МСИ) и не является, вообще говоря, марковским. Однако для него удается построить скрытую марковскую модель [8-10], которая в случае целых тип имеет М = т + п - 1 состояний и соответствующую матрицу переходов с элементами жц, где /,/ = 0,1,... ,М—\.
Исследование такой простой модели актуально с точки зрения теории восприятия музыки [11, 12]. Известно, что созвучие двух синусоидальных сигналов (тонов) с отношением частот, выражаемым малыми целыми числами тип (2/1, 3/2 и т.д.), производит приятное, гармоничное ощущение и называется консонансом. Если же т и п — большие целые числа (напр., 16/15, 45/32), то пара таких тонов производит диссонанс. Таким образом, получаемые резуль-
РАДИОФИЗИКА, ЭЛЕКТРОНИКА, АКУСТИКА
55
^icos £2ji
wv
Рас. 1. Исследуемая модель из трех нейронов. Ы\ и N0 — сенсоры, Щ — интернейрон, £](/), и — статистически независимые белые гауссовы шумы
таты имеют непосредственную область приложения. К тому же использование музыкальной терминологии, а также отношений частот 01 /02, соответствующих музыкальным интервалам, оказывается весьма удобным в описываемых исследованиях.
2. Удельная энтропия цепи Маркова
В рамках гипотезы о временном кодировании информации [11] считается, что нейрон генерирует конечное или счетное множество МСИ, комбинации которых и являются некими сообщениями. В изучаемом случае последовательность МСИ в среднем однозначно определяется последовательностью состояний скрытой марковской цепи. Здесь говорится «в среднем», так как при переходе из одного состояния в другое генерируется МСИ, длина которого имеет, вообще говоря, некоторое вероятностное распределение около соответствующего переходу среднего значения. Предполагается, что полезная информация кодируется именно множеством в среднем хорошо различимых МСИ без учета их флуктуаций, которые около средних значений достаточно точно описываются узким нормальным распределением [13]. Напомним также, что площадь под плотностью распределения МСИ около среднего значения, соответствующего переходу из /-го состояния в /-е, определяет вероятность такого перехода, т.е. элемент матрицы переходов ж-ц [7]. В результате без анализа дополнительных характеристик можно использовать известное [1] выражение для удельной информационной энтропии
М-1 М-1
н=- J2 р'> 12 1о&2 ^v-
;=о
/=о
гулярности (выражение регулярности через удельную информационную энтропию вводится ниже) выходной СП от частоты Оь изменяемой в пределах октавы: 02 < О1 < 202 при фиксированной частоте 02 ■ Однако при этом возникает вопрос о выборе ряда значений 01, для каждого из которых величины т,- и р-, находятся численными методами. Согласно изложенному выше, выражение (1) применимо для исследуемой модели в том случае, когда П1/П2 — рациональное число. Поэтому для общей картины остается только дополнить изученный ранее [4] набор отношений натурального музыкального строя промежуточными элементами, для чего предлагается использовать ряд Фарея, упорядочивающий рациональные отношения в множестве действительных чисел.
Рядом Фарея /> порядка г называется возрастающая последовательность неотрицательных несократимых дробей, не превосходящих 1, со знаменателем, не превосходящим г [15]. Например,
1 111/ 2 \ 1 2 1 / 3 \ 1 3 2 3 1
Для получения /> 11 из />, последняя последовательность копируется целиком, и рассматривается каждая ее пара соседних отношений § и |. Если ¡3 + 5 ^ г + 1,
то между этими отношениями вставляется
/>Нт..........т
^ р _ , 0 аа + 77
(1)
где р; — предельная вероятность /-го состояния скрытой марковской цепи [14].
3. Ряд Фарея и основной результат
Приемлемым решением поставленной во введении задачи является, по всей видимости, зависимость ре-
1
1...../?' ß + S' 6.....1/ '
Ряд Фарея позволяет приближать иррациональные числа рациональными с необходимой точностью. Этот термин упоминается в теории связанных динамических систем, поскольку характеризует отношения частот пары генераторов, вблизи которых наблюдается явление синхронизации. В настоящей работе для удобства добавления промежуточных элементов к натуральному музыкальному строю рассматриваются отношения от 1/1 (унисон) до 2/1 (октава), т.е. правая половина ряда Фарея с «перевернутыми» дробями и соответственно в обратном порядке.
Очевидно, что, увеличивая порядок г ряда Фарея, между отношениями малых целых чисел необходимо вставлять неограниченно возрастающее множество отношений больших целых чисел. При этом лишь отношения малых целых соответствуют регулярным СП на выходе системы [4], и им должны соответствовать провалы на графике зависимости удельной энтропии (1) от отношения m/n. Поэтому, говоря о регулярности, введем ее здесь, аналогично работе [16], в виде «перевернутой» энтропии:
R{m/n) = maxH(m/n) - H{m/n),
m,n
где H{m/n) — удельная энтропия выходной СП при fii/fi2 = m/n. Здесь, однако, зависимость R{m/n) не нормируется на тахН(т/п) (см. [16]), так как энтро-
т,п
пия находится лишь для отдельных отношений m/n и глобальный ее максимум, вообще говоря, неизвестен. Для регулярности можно ожидать определенный набор
28 ВМУ. Физика. Астрономия. -Vi 6
56
ВМУ. Серия 3. ФИЗИКА. АСТРОНОМИЯ. 2010. № 6
R
Рис. 2. Зависимость регулярности выходной спайковой последовательности от отношения входных частот П1/П2, где Пг = 0.5, О] = (т/п)Ог. Сплошная линия — теоретический результат. Штрихпунктирная — «грубая» оценка с помощью выражения (2). Рациональных отношений с меньшими числителями т и знаменателями п, чем указаны на рисунке, на представленном интервале не существует
пиков, что и показано на рис. 2 с помощью сплошной линии с черными «точками». Зависимость получена при Q.-2 = 0.4 (напомним, что характеристики исследуемой системы полагаются безразмерными [4, 6]). Обсудим некоторые видимые свойства R{m/n).
1. Как и ранее [4], замечаем, что более регулярными оказываются отношения малых целых чисел. В данном случае можно конкретно говорить о малых целых в смысле т., п < 10.
2. Отношения малых целых чисел на указанном интервале расположены гуще у его краев и разрежаются к середине. Это приводит к тому, что самое регулярное созвучие «3/2» оказывается и самым изолированным: в относительно широкой его окрестности находятся лишь нерегулярные диссонансы. Такая изоляция обеспечивает хорошую различимость структуры выходной СП для созвучия «3/2». Действительно, при незначительной расстройке т/п от 3/2 и не слишком долгом времени наблюдения входной детерминированный сигнал сам по себе трудно отличим от созвучия «3/2», а шумовое воздействие еще больше скрывает отличие на выходе. Увеличение расстройки все больше искажает признаки детерминированной структуры входного сигнала в выходной СП. Однако, если представить некий гипотетический «анализатор структуры» СП, то до определенного значения расстройки т/п от 3/2 он будет сигнализировать, что частоты входных колебаний относятся примерно как 3/2. Иначе дело обстоит с рациональными числами, расположенными ближе к унисону: если, к примеру, уменьшать т/п от 6/5, то структура СП очень скоро начинает соответствовать чуть менее регулярному созвучию «7/6», а затем «8/7». То есть расстройка в этой области быстрее приводит к качественному изменению структуры СП.
3. Созвучия с малыми m, п в отношении частот
дают более регулярные СП, если т/п располагается слева от «3/2», в отличие от похожих отношений, расположенных справа от «3/2». Так, R(5/4) > R(5/3), Ä(8/7) > i?(8/5) и т.д. Следовательно, не только малость чисел отношения частот входного созвучия определяет регулярность выходного сигнала системы, но и расположение т/п относительно унисона «1/1», квинты «3/2» и октавы «2/1».
Аналогичную зависимость R{m/n) получаем и для других фиксированных значений частоты 0.-2. Например, на рис. 3 представлен график для отношений натурального музыкального строя при fi2 =0.5. Видно, что его поведение соответствует описанному ранее.
R
1.5
1.0
0.5 0
1.2 1.4 1.6 1.8 т/п
Рис. 3. Зависимость регулярности выходной спайковой последовательности от отношения входных частот П1/П2, где П2 = 0.4, Oi = (т/п)Ог. Сплошная линия — теоретический результат. Штрихпунктирная — «грубая» оценка с помощью выражения (2). Цифрами подписаны отношения т/п. Крупный наклонный шрифт — отношения частот, соответствующие натуральному музыкальному строю
4. Сравнение с численной оценкой
Для проверки полученных результатов следует получить зависимости, показанные на рис. 2, 3, прямой численной оценкой информационной энтропии реализа-
РАДИОФИЗИКА, ЭЛЕКТРОНИКА, АКУСТИКА
57
ций выходной СП. Однако здесь возникают определенные технические сложности, связанные с недооценкой условной энтропии высоких порядков [1], необходимой для описания последовательности со статистически зависимыми элементарными символами — межспайковы-ми интервалами. В данном случае оказываются неэффективными даже специализированные методы оценки, как, например, метод, предложенный в работе [17]. Поэтому предлагается упрощенный подход, а именно «грубая» оценка энтропии в предположении независимых одинаково распределенных МСИ. В таком простом случае энтропия СП находится непосредственно из выходного вероятностного распределения МСИ рЦ) [4, 6] по формуле
Н =
p{t)\og2p{t)dt.
(2)
На рис. 2, 3 штрихпунктирная линия с белыми «точками» изображает R(m/n) = max Н(т/п) -Н(т/п).
т/п
Нетрудно видеть, что R(m/n) в целом неплохо отражает зависимость R(m/n) регулярности выходной СП от отношения входных частот. Скрывая многие описанные выше нюансы поведения R(m/n), оценка R{m/n) подтверждает тем не менее результат, полученный на основе теории условных марковских процессов.
Заключение
В работе численно-аналитическими методами получен ряд точек зависимости регулярности выходного импульсного сигнала нейронной модели от отношения частот входных синусоидальных воздействий fii и 0,2 при неизменных интенсивностях источников аддитивных белых гауссовых шумов. Полученная зависимость, во-первых, показывает относительное расположение значений частоты fii, для которых наблюдается регулярный выходной сигнал системы, при фиксированном значении 0,2 ■ Во-вторых, она демонстрирует ясные количественные характеристики регулярности, т. е. позволяет выполнять более тонкую классификацию созвучий, чем грубое разделение их на регулярные (консонансные) и нерегулярные (диссонансные).
Несмотря на использование терминов теории музыки и теории восприятия звуковых сигналов млекопитающими, где полученные результаты могут иметь непосредственное приложение для объяснения экспериментальных наблюдений, данная работа выполнена в рамках общей теории случайных процессов и может быть полезна в исследованиях механизмов взаимодействия сигналов и шумов на нелинейностях разнообразных систем.
Работа выполнена при финансовой поддержке ФЦП «Научные и научно-педагогические кадры инновационной России» на 2009-2010 гг. (госконтракт П457).
Список литературы
1. Стратонович Р.Л. Теория информации. М., 1975.
2. Gerstner W., Kistler W.M. Spiking Neuron Models. Single Neurons, Populations, Plasticity. Cambridge, 2002.
3. Николлс Дж.Г., Мартин A.P., Валлас Б.Дж., Фукс П.А. От нейрона к мозгу. М., 2003.
4. Ушаков Ю.В. // Вестник ННГУ. Радиофизика. 2010. № 5. (В печати.)
5. Burkitt A.N. // Biol. Cybern. 2006. 95. P. 97.
6. Ушаков Ю.В. II Вестник ННГУ. Радиофизика. 2010. № 4. С. 67.
7. Ушаков Ю.В., Дубков A.A. 11 Вестн. Моск. ун-та. Физ. Астрон. 2010. № 5. С. 38.
8. Стратонович Р.Л. Условные марковские процессы и их применение к теории оптимального управления. М., 1965.
9. Rabiner L.R. // Proc. IEEE. 1989. 77. N. 2. P. 257.
10. Королёв A.B., Силаев A.M. 11 Изв. вузов. Радиофизика. 2005. XLVIII. № 4. С. 358.
11. Cariani P. 11 J. New Music Res. 2001. 30, N 2. P. 107.
12. Heffeman В., Longtin A. // J. Neurosci. Meth. 2009. 183. P. 95.
13. Plesser H.E., Geisel Т. 11 Phys. Rev. E. 2001. 63. P. 031916.
14. Тихонов В.И., Миронов М.А. Марковские процессы. М., 1977.
15. Математическая энциклопедия. Т. 5 / Под ред. И. М. Виноградова. М., 1985.
16. Постное Д.Э., Сецинский Д.В., Сосновцева О.В. 11 Письма в ЖТФ. 2001. 27, № 11. С. 49.
17. Grassberger Р. // arXiv:physics/0307138v2. February, 2008. http://arxiv.org/abs/physics/0307138v2 (access date: 01.03.2010).
Dependency of regularity of the output pulse signal of neural model on the frequency ratio of input oscillations
Yu.V. Ushakov", A. A. Dubkovft
Faculty of Radiophysics, N. I. Lobachevsky Nizhny Novgorod State University, Gagarin ave. 23, Nizhny Novgorod 603950, Russia. E-mail: a [email protected], b [email protected].
The model of neural system generating a delta-pulse series under influence of noise and sinusoidal signals with commensurable frequencies is considered. By using the theory of hidden Markov chain the dependency of regularity of the mentioned pulse series on the input frequencies ratio is obtained.
Keywords: conditional Markov process, neuron, spike, theory of information, entropy, regularity. PACS: 05.40.-a, 02.50.Ga, 87.19.Dd. Received 26 March 2010.
English version: Moscow University Physics Bulletin 6(2010).
Сведения об авторах
1. Ушаков Юрий Владимирович — ассистент; тел.: (831) 462-32-81, e-mail: [email protected].
2. Дубков Александр Александрович — канд. физ.-мат. наук, доцент, зав. кафедрой; тел.: (831) 462-32-81, e-mail: [email protected].
29 ВМУ. Физика. Астрономия. № 6
