CC BY
413
ЭКОНОМИКА И ПРАВО
ВЕСТНИК УДМУРТСКОГО УНИВЕРСИТЕТА
21
2014. Вып. 3
УДК 336.717.061 А.А. Банных
МЕТОДИКА ОЦЕНКИ КАЧЕСТВА СКОРИНГОВОЙ МОДЕЛИ С УЧЕТОМ ДОХОДНОСТИ КРЕДИТА
Анализируется проблема оценки качества скоринговой модели, используемой в процессе кредитования заемщиков - физических лиц. Целью исследования является разработка показателя качества дискриминации скоринговой модели, учитывающего не только способность модели отделять дисциплинированных заемщиков от неплательщиков, но и более выгодных заемщиков от менее выгодных. С помощью экономико-математического моделирования была получена методика расчета площади под ROC-кривой, позволяющей сравнивать качество классификации скоринговых моделей с учетом эффективной ставки по кредиту. Результат опробован на данных, предоставленных региональным розничным банком. С помощью полученной методики проведено сравнение двух разработанных в банке скоринговых моделей и предложены рекомендации по выбору модели. Полученную методику имеет смысл использовать для сравнения скоринговых моделей, если в банке не реализовано ценообразование на основе индивидуальной оценки кредитного риска заемщика.
Ключевые слова: кредитный риск, кредитный скоринг, ROC-кривая, площадь под ROC-кривой, вероятность дефолта заемщика.
В июле 2004 г. Базельским комитетом был выпущен документ: Revised Framework on International Convergence of Capital Measurement and Capital Standards (Пересмотренная схема международного объединения подходов и стандартов расчета капитала (далее - Базель 2)). В рамках IRB-подхода банкам предоставляется возможность применять собственные модели для оценки основных рисковых параметров, необходимых для оценки требования экономического капитала.
Среди базовых рисковых параметров Базельский комитет выделяет среднегодовую вероятность дефолта (PD - Probability of default). PD - это оценка вероятности того, что кредит не будет выплачен, то есть произойдет дефолт. В соответствии с Базель 2 под дефолтом понимается невозврат или просрочка основной суммы долга или процентов. Дефолт конкретного должника считается произошедшим, если имело место хотя бы одно из следующих событий: банк считает, что должник не в состоянии полностью погасить свои кредитные обязательства перед банком без принятия банком таких мер, как реализация обеспечения (если такое имеется); должник более чем на 90 дней просрочил погашение любых существенных кредитных обязательств перед банком [1]. Вероятность дефолта рассчитывается для каждого заемщика в отдельности. Существует довольно много различных моделей, позволяющих рассчитать PD; исходя из имеющейся информации, основным классом моделей, применяемых в розничном кредитовании, является класс скоринговых моделей. В результате использования скоринговых моделей каждому заемщику присваивается некоторый рейтинг, характеризующий его способность погасить свои обязательства перед банком. При помощи специальной калибровки ско-ринговому баллу ставится в соответствие вероятность дефолта. PD, сопоставленное с группой заемщиков с одинаковым скоринговым баллом, фактически является оценкой процента заемщиков этой группы, которые испытают дефолт в течение года [2].
После того как скоринговая модель построена, необходимо определить качество созданной скоринговой системы, то есть произвести верификацию скорингового балла. Один из наиболее распространенных способов верификации скоринговых систем - анализ ROC-кривой (англ. Receiver Operating Characteristic).
Общепринято использовать для оценки качества классификации скоринговых моделей площадь под ROC-кривой (AUC), которая представляет собой меру способности модели различать «хороших» и «плохих» заемщиков. В случае если необходимо сравнить между собой скоринговые модели, обычно сравнивают их AUC: модель, у которой этот показатель наибольший, обладает лучшей разделяющей способностью и, следовательно, является предпочтительной [3]. Однако не всегда применение скоринговой модели с наибольшей AUC целесообразно для банка с точки зрения прибыльности. Целью нашего исследования является разработка показателя качества дискриминации скоринговой модели, учитывающего не только способность модели отделять дисциплинированных заемщиков от неплательщиков, но и более выгодных заемщиков от менее выгодных.
2014. Вып. 3 ЭКОНОМИКА И ПРАВО
Банки применяют скоринговые модели в процессе розничного кредитования с целью выявления потенциально более рисковых заемщиков и сокращения потерь, вызванных отказом должников платить по своим обязательствам. Чем более точно скоринговая модель разделяет «хороших» и «плохих» заемщиков, тем меньше потери и больше прибыль банка.
В случае когда скоринговая модель предсказывает вероятность принадлежности заемщика к классу «плохих», предсказанный класс определяется на основе разделяющего значения. Если вероятность выше разделяющего значения, заемщик считается «плохим», если ниже - «хорошим». Учитывая фактический и предсказанный классы, можно отнести заемщика к одной из четырех возможных групп. Если заемщик является «плохим» и классифицируется моделью как «плохой», он считается истинно положительным (TP); если он классифицируется как «хороший», то считается ложно отрицательным (FN). Если заемщик является «хорошим» и классифицируется как «хороший», он считается истинно отрицательным (TN); если он классифицируется как «плохой», это считается ложным срабатыванием (FP). Точность модели характеризуется двумя показателями: чувствительностью (Sensitivity) и специфичностью (Specificity). Чувствительность измеряется долей истинно положительных результатов — долей положительных результатов у «плохих» заемщиков, рассчитывается по формуле TP / (TP+FN). Специфичность измеряется долей истинно отрицательных результатов у «хороших» заемщиков, рассчитывается по формуле TN / (TN+FP). Пары значений чувствительности и 1-специфичности на всем диапазоне разделяющих значений соответствуют координатам ROC-кривой.
Пусть имеется выборка заемщиков S = {{pb y1), (p2, y2), ... (pn, yn)}, где pi e Ж - вероятность принадлежности заемщика к классу «плохих», рассчитанная на основе скоринговой модели; yi e {0,1} - фактическая принадлежность заемщика к классу «плохих», если y = 1, или «хороших», если y = 0. Тогда площадь под ROC-кривой, AUC, для данной модели может быть вычислена по формуле [4]:
AUC - ^ Pieclass (0); p.eclass (1) p, Pj ) (1)
n° ■ n
Где n° и nl - количество заемщиков в выборке, принадлежащих к классу «хороших» и «плохих» соответственно, и s(pi, pj) определяется следующим образом:
0, если pi > p.;
s(pt, pj) - j 0 5 если pt - pj; (2)
1, если pi < pj.
В данном случае при расчете AUC заемщики разделяются на два класса только по одному признаку - вероятности дефолта. Если выдавать всем заемщикам кредит по одной ставке, то сравнение моделей на основе рассчитанной таким образом AUC будет справедливым. Однако на практике в банках действует система индивидуальных скидок и надбавок, поэтому предлагаемые заемщикам ставки различаются. Отсюда возникает проблема выбора скоринговой модели, применение которой позволит получить наибольшую прибыль.
Пусть сравниваются две скоринговые модели, которые на основе социальных характеристик предсказывают вероятность принадлежности заемщика к классу «плохих». Каждому заемщику ставится в соответствие три параметра: pj - вероятность дефолта, рассчитанная на основе скоринговой модели, rj - эффективная процентная ставка и yj - индикатор фактической принадлежности заемщика к классу «плохих». Трансфертная ставка для банка равна rtr.
Координаты ROC-кривой для двух сравниваемых моделей, рассчитанные на основе статистики, предоставленной банком N, а также прибыль, которую мог бы получить банк, применяя ту или другую модель, содержатся в табл.
Прибыль банка на временном горизонте 1 год рассчитывается как сумма финансовых результатов по всем договорам. Финансовый результат по j-му договору, полученный по итогам года, рассчитывается по формуле
ID. ■ (r. - r.r), если y. - 0;
с, -j ' j (3)
1 1 -D. , если y. - 1,
j 7 ^j 7
где Dj - сумма выдачи по j-му договору.
Методика оценки качества скоринговой модели... 23
ЭКОНОМИКА И ПРАВО 2014. Вып. 3
Характеристики моделей
Разделяющее значение Модель № 1 Модель № 2
Чувствительность 1 -специфичность Прибыль, руб. Чувствительность 1 -специфичность Прибыль, руб.
0,000 1,00 1,00 0 1,00 1,00 0
0,015 0,97 0,74 51 627 080 0,96 0,67 19 799 834
0,030 0,91 0,57 71 127 733 0,89 0,49 34 168 811
0,045 0,82 0,44 81 253 315 0,79 0,37 43 201 456
0,060 0,74 0,34 85 827 288 0,72 0,28 48 782 927
0,075 0,65 0,27 85 832 050 0,64 0,22 52 780 692
0,090 0,53 0,21 81 787 829 0,52 0,17 51 519 959
0,105 0,46 0,16 80 473 810 0,46 0,14 51 835 260
0,120 0,37 0,14 74 798 058 0,40 0,11 53 041 657
0,135 0,34 0,11 74 778 575 0,36 0,10 52 805 823
0,150 0,27 0,09 71 912 681 0,31 0,08 51 446 949
0,550 0,00 0,00 58 935 486 0,00 0,00 52 185 142
AUC 0,75 0,78
Как видно из таблицы, модель № 1 имеет меньшую площадь под ROC-кривой по сравнению с моделью № 2, но дает большую прибыль.
Для того чтобы учесть этот факт при выборе модели, предлагается рассчитывать показатель
А11С по формуле (1), а^(Рс'Р;) определять следующим образом:
Г1, если р г < р и г > г ;
Рг, Р} ) (4)
[ 0, иначе,
где s(p1, р^ - модифицированный параметр s(p1, р)
Для модели № 1 показатель, рассчитанный по формулам (1) и (4), равен 0,42, для модели № 2 -0,36. Если перед банком стоит цель увеличения прибыли, то в процессе кредитования заемщиков -физических лиц следует использовать скоринговую модель № 1.
Таким образом, мы получили показатель качества дискриминации скоринговой модели, учитывающий не только способность модели отделять «хороших» заемщиков от «плохих», но и более выгодных от менее выгодных.
Следует отметить, что рассчитанная с помощью формул (1) и (4) площадь под ROC-кривой имеет значение менее 0,5. Для АиС в традиционном понимании это очень низкое значение, однако АиС с учетом доходности нельзя интерпретировать так же. Разработанный показатель следует использовать с целью сравнения прогностических способностей нескольких скоринговых моделей, например, в контексте задачи о замене скоринговой модели.
Полученный показатель имеет смысл использовать для сравнения скоринговых моделей, если в банке не реализовано ценообразование на основе индивидуальной оценки кредитного риска заемщика.
СПИСОК ЛИТЕРАТУРЫ
1. Basel Committee on Banking Supervision, International Convergence of Capital Measurement and Capital Standards, Bank for International Settlements. June, 2004. URL: www.bis.org
2. Груздев А.В. Метод бинарной логистической регрессии в банковском скоринге // Риск-менеджмент в кредитной организации. 2012. № 2. С. 92-107
3. Фаррахов И.Т. Внутренние рейтинги: объективная или субъективная оценка вероятности дефолта? // Риск-менеджмент в кредитной организации. 2011. № 2. URL: http://www.reglament.net/bank/r/2011_2_article_5.htm.
4. Fawcett T. An introduction to ROC analysis // Institute for the Study of Learning and Expertise, Pattern Recognition Letters. 2006. 27 Vol. 27. P. 861-874
Поступила в редакцию 14.06.14
2014. Вып. 3 ЭКОНОМИКА И ПРАВО
A.A. Bannykh
THE METHOD OF QUALITY ESTIMATE OF THE SCORING MODEL WITH CONSIDERATION OF THE CREDIT PROFITABILITY
The article is devoted to the problem of quality estimate of the scoring model for retail crediting. The objective of this research is the development of the discrimination quality indicator for the scoring model, which shows not only the ability to identify possible defaulters, but also the ability to rank borrowers by profitability. Using economic-mathematical modeling, the method of calculating the area under the ROC curve has been devised, which allows one to compare the classification quality of the scoring models taking into account the effective credit rate. The result is tested on the regional retail bank's data. A comparison of two banking scoring models is carried out using the method devised, recommendations on the choice of a model are proposed. It is reasonable to use the above-mentioned method to compare scoring models if the bank does not use risk-based pricing.
Keywords: credit risk, credit scoring, ROC curve, AUC, probability of default.
Bannykh А.А., postgraduate student
Банных Александра Андреевна, аспирант
ФГБОУ ВПО «Удмуртский государственный университет» Udmurt State University
426034, Россия, г. Ижевск, ул. Университетская, 1 (корп. 4) 462034, Russia, Izhevsk, Universitetskaya st., 1/3 E-mail: [email protected] E-mail: [email protected]
