Влияние меры сходства на результативность РС Текст научной статьи по специальности «Математика»

issn 2079-3316 ПРОГРАММНЫЕ СИСТЕМЫ: ТЕОРИЯ И ПРИЛОЖЕНИЯ № 5(23), 2014, с. 55-65 УДК 004.9

Д. М. Понизовкин Влияние меры сходства на результативность РС

Аннотация. В данной работе рассматриваются две основные задачи традиционных РС, вводятся понятия степень релевантности и релевантность между контентами пользователей или объектов, вычисление которых производится с помощью меры сходства. От выбора меры сходства зависит выполнение транзитивности отношения релевантности. В работе показано влияние транзитивности на значение критерия качества, который характеризует качество работы РС. Показано, что не всегда свойство транзитивности выполняется в традиционных РС.

Ключевые слова и фразы: рекомендательная система, мера сходства, транзитивность, релевантность контентов.

Введение

Традиционная рекомендательная система (далее РС) — это информационная система, целевые задачи которой состоят:

(1) в поиске N объектов таких, что степень релевантности их кон-тентов и контента пользователя высока;

(2) в выявлении степени релевантности контента некоторого объекта РС контенту пользователя.

Для упрощения изложения будем считать, что между пользователями и их контентами существует взаимно-однозначное соответствие. Тоже верно и для объектов. Далее по тексту контент пользователя и пользователь или контент объекта и объект — синонимичные и взаимозаменяемые понятия. К примеру, говоря, что объекты релевантны, имеется в виду, что релевантны их контенты. Здесь и далее контент — это некоторая структура и, которая хранит информацию о пользователе, или t, которая хранит информацию об объекте. Множество контентов пользователей обозначим U, | = |, объектов —

© © ©

Д. М. Понизовкин, 2014

Институт программных систем имени А. К. Айламазяна РАН, 2014 Программные системы: теория и приложения, 2014

Т, |Т| = |ТМежду любыми двумя контентами выполняется отношение 'релевантности И., если степень их 'релевантности высока. Говоря о степени релевантности или релевантности пользователя или объекта, будем предполагать степень релевантности или релевантность их контентов. Степень релевантности иг и задается самим пользователем РС оценкой -у* по некоторой шкале 5 в момент работы с системой, однако не для каждой пары (и1 ) 3 -у*. Степень релевантности может быть вычислена алгоритмически через задание меры сходства — функции, сопоставляющей паре контентов вещественное число, определяющее степень релевантности в области определения "Р8;т меры сходства. Система (V, е, э1т) ранжирует множество V: 81т(^,е) > 81т(^+1, е).

Первая целевая задача РС называется top-N [1]. Она заключается в формировании подмножества Т"ор = € Т' С Т |£Има}, |Ц!0р| = N, иа — активный пользователь системы, для которого в данный момент решается задача РС.

Вторая целевая задача РС называется задачей прогнозирования неизвестной оценки V® [2] и определяется как вычисление такой оценки урр , что ур^ « .

Для оценки качества работы РС проводится тестирование, после которого производится расчет критерия оценки. Критерий оценки — функция, сопоставляющая результату вещественное число, по которому можно судить о качестве РС. Множество входных данных, как правило, разбивается на два подмножества: обучающее (будем индексировать его и его элементы символом 0), на котором производится тест, и тестовое (будем индексировать его и его элементы символом х), с котором производится сравнение полученного результата.

1. Задача Шр-М в традиционных РС

1.1. Модель

Неформально модель задачи top-N традиционных РС определяется следующим эвристическим утверждением: если пользователю «нравится» объект Ь1 и объект ¿2 «похож» на объект Ь1, то пользователю «понравится» объект ¿2 [1]. Понятие «похож» определяется традиционными РС на основании значений мер сходства Х^т = ТхТ, понятие «нравится» не определено, так как не введена Х^т = и х Т. Следуя введенной в статье терминологии, утверждение примет вид:

(1) Л ?Ш3 ^ иаШ3

Формула (1) описывает транзитивность отношения релевантности.

Необходимые данные для решения задачи и расчета критерия оценки:

(1) тоа = {*0№а}

(2) Та = И.иа}

(3) т0ап та = 0

1.2. Схема решения

Неформальное описание схемы решения определяется следующим образом: найти N объектов, наиболее «схожих» с теми, которые нравятся пользователю. Схема решения:

(2) Т«р = {¿ь ..., tN} с (Т \ Т$, sim)

to eTg

Модель и решение реализованы, к примеру, компанией Amazon [3].

1.3. Пример традиционного решения задачи top-N

Контентом пользователя является вектор, отображающий информацию о том, какие объекты пользователь предпочел (поставил высокую оценку) за время работы с РС. иа = (vf, ...,vaT|), где:

а 1, если ulRt3

va = 0

IU, иначе.

t3 € То. К примеру, для системы Amazon, если va = 1, то пользователь приобрел товар j.

Контент объекта t3 = (ct[, ..,d?nt) — вектор некоторых характеристик. Множество характеристик объектов и их значения зависят от системы, и для описания решения их определение не является обязательным.

Типичной мерой сходства, используемой при решении задачи top-N является sim(t*,t3) = cos(Z(t*,t3)) — косинус угла между векторами [3].

Модель РС задается матрицей М мер сходства размерности |Т | х

IT

isim(ti ,tj), i = j 10, иначе

Решение основано на (2) и принимает вид:

М

^top = {^ sim(i,io) ^ max |

to

Шаги решения:

(1) s = М х иа = (si,..., s|T|), где

{Sj, если Sj € (s, 0, Si) 0, иначе

в вектор s входит N максимальных элементов, остальные заменяются на ноль

(2) T-p = [tj I Sj = 0}.

Algorithm 1. Построение матрицы мер сходства модели for г =l,i < \Т| do > Построение модели

for j = i,j < IT I do Mij = sim(ti,tj)

Mji = Mij 3 = 3 + 1 end for i = i +1 end for

Algorithm 2. Решение задачи top-N

1: s = (s1, ..., S|T|) = M х иа 2: Tt0p = [tj |Sj € (s, 0, Sj)}

1.4. Схема оценки качества решения задачи top-N. Примеры

Для того, чтобы определить качество решения задачи top-N, необходимо определить число объектов результирующей выборки, релевантных пользователю: |{itop € Tta)p|waRttop}|. Описанная модель и схема решения не использует X>s;m = U х Т, поэтому определение качества основано на (1): tlK Rt^op Л иа R^x ^ waRt^op. Существующие критерии Etop прямо-пропорциональны числу |{ttop|itopR^x}|. Примеры критериев Etop:

• прежде, чем задать примеры, введем функцию

г(.) I 1, 3 tx t\opRtx I 0, иначе.

N

• Точность Р = N • 2 г (г);

i=1

• Р@К = • £ Г(г);

i=1

1 N

• AveP = ^ ^ У) Р@К • г(К);

ErW к=1

i

Результат решения качественный, когда Etop ^ max. При нарушении свойства транзитивности релевантности Etop ^ max.

1.5. Надежность решения и транзитивность релевантности

Схема решения не гарантирует Etop ^ max, так как не гарантирует выполнения (1) в общем случае:

• пользователь предпочитает различные объекты;

• с течением времени вкусы пользователя могут смениться.

Эти причины могут привести к тому, что То = {to|toRtx}, за счет чего Etop ^ max.

2. Задача прогнозирования традиционных РС 2.1. Модель

Неформально модель задачи прогнозирования в традиционных РС определяется следующим эвристическим утверждением: пользователи с «похожими» предпочтениями в прошлом, будут иметь

«похожие» предпочтения в будущем. Предпочтения для задачи прогнозирования выражаются оценкой, а понятие «похож» определяется традиционными РС на основании значений мер сходства Х^т = ИхИ. Следуя введенной в статье терминологии, утверждение примет вид:

(3) и'Ки2 : V} « <

Модель заключается в выявлении множества соседей активного пользователя Мр :

Яр = {u^URu^ Л 3vjp, i = 1..N

На основании оценок этих пользователей составляется прогнозная оценка.

Это направление разрабатывалось, к примеру, разрабатывались исследователями, принимавшими участие в соревновании Netflix Prize. Необходимые данные для решения задачи и расчета критерия оценки:

(1) Щ = {vaj}

(2) U° = {v%}

(3) щ п ииак = 0

2.2. Схема решения

№ = {u\...,uN} С (U,ua, sim), 3v i ,i = 1..N

p

Прогнозная оценка:

урар « рг{VI}, и1 €

рг — некоторая функция, сопоставляющая множеству оценок прогнозную оценку. Примеры функции :

• Средняя оценка:

— V" 4

Р и-ем-

Средняя взвешенная оценка:

У 81т(ма,мг) • VI

геМ?,

У |sim(wa,w*

2.3. Пример традиционного решения задачи прогнозирования

Algorithm 3. Построение множества соседей

1

2

3

4

5

6

7

8 9

10

Л/р = 0

for i = 1, | do

if uaRui АЗи^ then

К = К UM

i = i + 1

end if

if i > N then

выход из цикла end if end for

Algorithm 4. Решение задачи прогнозирования при f, являющей простой взвешенной суммой vp% = 0 divider = 0 for i = 1, N do s = |sim(wa, ul)l

= + s • v"U divider = divider + s г = г +1 end for ,a _ VP?

vpz

divider

Рис. 1. Транзитивность «близких» оценок

2.4. Схема оценки качества, критерий Ер

Расчет оценки качества основан на (3): так как прогнозная оценка строится на оценках релевантных пользователей, то она должна быть приблизительно равна реальной. Для оценки качества определяется разность прогнозной и реальной. Примеры критерия Ер:

м

(1) МАЕ = Мм £ К -

р=1

/ м

(2) RMSE = J М £ - Vар)2

V Р=!

где М — число прогнозных оценок.

Результат решения является качественным, если Ер — min. Традиционные РС основывают решение на предположении, что, если

v^ « v* « v°p « pr({v-}) Ф {vp't — г>"| ^ min. Предполагается, что

модель и схема решения гарантирует выполнение Ер — min, так как (4) uaRui Л uaRuj Ф uiRuj

2.5. Надежность решения и транзитивность релевантности

Схема решения, в общем случае, не гарантирует выполнение Ер — min:

• Отношения « не транзитивно: Vti : v1 « г;2 Л Vii : w2 « v3 ф Vii : г;2 « vf Эта ситуация проиллюстрирована на Рис 1. Таким образом, если u1, u2 G Na ф Vti : г;1 « vi2 ф ЕР — min

• Не всякая мера сходства гарантирует выполнение транзитивности. К примеру, в качестве функции sim часто используются коэффициенты корреляции, для которых транзитивность может не выполняться [4,5]:

u1Ru2 Л u2Ru3 ф u2Ru3, ui G И

Таблица 1. Сравнение качества традиционных РС

Тип РС МАЕ ММАЕ ИМЯЕ

Традиционная РС, Пирсон 0.85 0.21 1.09

Реформированная, Хэмминг 0.65 0.16 0.96

• Если предпочтения пользователей схожи, то это не означает, что их оценки схожи [7]. Данное обстоятельство является следствием того, что характеры пользователей могут отличаться. Лояльные пользователи ставят оценки не ниже определенной, критики — наоборот, поэтому разница оценок может быть существенной, несмотря на релевантность пользователей.

3. Сравнение качества традиционных РС при использовании различных мер сходства

Для проведения тестов РС была взята база данных Моу1еЬепз 1М. Описание данных:

• число пользователей — 6040;

• число объектов — 3952;

• V) € {1, 2, 3, 4, 5};

На этих данных была решена задача прогнозирования в традиционной модели РС с использованием коэффициента корреляции Пирсона в качестве меры сходства. Полученные результаты сравнивались с традиционной РС, работающей с контентами, которые представляют собой нечеткие множества. Описание подобного представления данных приведено в [6].Для этого была проведена небольшое рефор-

- г (<"!)

мирование контентов пользователей: гг- = —^— и использованием расстояния Хэмминга в качестве меры сходства. Кроме данной реформации данных никаких других настроек системы с целью улучшения результата не производилось.

4. Заключение

Для получения хороших показателей критериев качества оценки РС, необходимо, чтобы выполнялось свойство транзитивности релевантности контентов. Однако данное свойство выполняется не всегда в традиционных РС. Качество традиционных РС можно повысить

с помощью небольшой реформации данных и использовании мер сходства, обладающих метрическими свойствами.

Список литературы

[1] M. Deshpande, G. Karypis, "Item-based top-N recommendation algorithms", ACM Transactions on Information System, 22:1, pp. 143-177 t 56.

[2] X. Su, T. M. Khoshgoftaar, "A Survey of Collaborative Filtering Techniques", Advances in Artificial Intelligence, 2009, pp. 19 t 56.

[3] G. Linden, B. Smith, J. York, "Amazon.com recommendations: item-to-item collaborative filtering", IEEE Internet Computing, 7:1 (2003), pp. 76-80 t 57.

[4] A.E.C. Sotos, S. Vanhoof, W.V. Noortgate, P. Oughena, "The Non-Transitivity of Pearson's Correlation Coefficient: An Educational Perspective", Proceedings of the 56th Session of the ISI, Bulletin of the ISI, 62, pp. 4609-4613 t 62.

[5] P. Burger, Non-Transitivity Property of Correlation, http:// ec2-54-245-224-94.us-west-2.compute.amazonaws.com/wordpress/2013/05/24/non-transitivity-property-of-correlation/ t 62.

[6] С. А. Амелькин, Д. П. Понизовкин, «Математическая модель задачи top-N для контентных рекомендательных систем», Известия МГТУ МАМИ, 2, с. 26-31 t 63.

[7] R. Jin, L. Si, C. Zhai, J. Callan, "Collaborative filtering with decoupled models for preferences and ratings", Proc. of the 12th international conference on Information and knowledge management, pp. 309-316 t 63.

Рекомендовал к публикации д.т.н. В. И. Гурман

Об авторе:

Денис Михайлович Понизовкин

Автор статьи — аспирант, интересом исследований которого является область рекомендательных систем.

e-mail: [email protected]

Образец ссылки на эту публикацию:

Д. М. Понизовкин. Влияние меры сходства на результативность РС // Программные системы: теория и приложения: электрон. научн.

журн. 2014. T. 5, № 5(23), с. 55-65.

URL http://psta.psiras.ru/read/psta2014_5_55-65.pdf

Denis Ponyzovkin. Quality of recommender systems and transitivity of content's relevance.

Abstract. In this paper, we propose relevance and degree of relevance of user's or item's contents. Heuristic motivations of traditional recommender systems assume that there is transitivity property of relevance. We introduce importance of transitivity property, its influence on values of evaluation metrics and show that transitivity not performed in general case for traditional recommender systems. (in Russian).

Key Words and Phrases: traditional recommender system, similarity measure, transitivity, content's relevance, evaluation metric.