CC BY
16
22. Khovanskov S.A., Khovanskova V.S., Litvinenko V.A. Otsenka sokrashcheniya vremeni postroeniya svyazyvayushchikh derev'ev tsepey s pomoshch'yu raspredelennoy vychislitel'noy sistemy [Estimation of reduction of time of construction of connecting trees of chains by means of the distributed computing system,] Informatika, vychislitel'naya tekhnika i inzhenernoe obrazovanie [Computer science, computer engineering and engineering education], 2016, No. 4 (28), pp. 34-42.
23. Shumigin V.K., Lobashev D.G., Bembeev D.A., Khovanskov S.A. Kompleksnyy podkhod dlya obespecheniya informatsionnoy bezopasnosti v korporativnoy organizatsii [An integrated approach to information security in a corporate organization], Teoriya i praktika sovremennoy nauki [Theory and practice of modern science], 2016, No. 6-2 (12), pp. 427-430.
24. Khovanskova V.S., Khovanskov S.A. Bezopasnost' mul'tiagentnykh sistem [Safety of multiagent systems], Voprosy nauki [Questions of science], 2015, Vol. 2, pp. 83-87.
25. Khovanskova V.S., Khovanskov S.A. Povyshenie stepeni zashchity raspredelennykh vychisleniy [ncreasing the degree of protection of distributed computing], Sovremennoe sostoyanie estestvennykh i tekhnicheskikh nauk [Current state of natural and technical Sciences], 2015, No. XVIII, pp. 96-99.
26. Khovanskova V.S., Khovanskov S.A. Metody zashchity raspredelennykh vychisleniy [Methods of protection of distributed computing], Modernizatsiya sovremennogo obshchestva: problemy, puti razvitiya i perspektivy [Modernization of modern society: problems, ways of development and prospects], 2015, No. 6, pp. 104-107.
Статью рекомендовал к опубликованию д.т.н., профессор Ю.О. Чернышев.
Ховансков Сергей Андреевич - Южный федеральный университет; e-mail: [email protected]; 347928, г. Таганрог, ул. Чехова, 2; тел.: 88634676616; кафедра информационной безопасности телекоммуникационных систем; доцент.
Хованскова Вера Сергеевна - e-mail: [email protected]; кафедра информационной безопасности телекоммуникационных систем; аспирантка.
Литвиненко Василий Афанасьевич - e-mail: [email protected]; 347928, г. Таганрог, пер. Некрасовский, 44; тел.: 88634371651; кафедра систем автоматизированного проектирования; доцент.
Khovanskov Sergey Andreevich - Southern Federal University; e-mail: [email protected]; 2, Chekhov street, Taganrog, 347928, Russia; phone: +78634676616; the department of information security of telecommunication systems; associate professor.
Khovanskovа Vera Sergeevna - e-mail: [email protected]; the department of information security of telecommunication systems; postgraduate student.
Litvinenko Vasily Avanasjevich - e-mail: [email protected]; 44, Nekrasovskiy lane, Taganrog, 347928, Russia; phone: +78634371651; the department of computer aided design; associate professor.
УДК 004.023 DOI 10.23683/2311-3103-2018-4-210-223
А.С. Артюхова
ИССЛЕДОВАНИЕ ЗАВИСИМОСТИ ОПТИМАЛЬНОСТИ (ЭФФЕКТИВНОСТИ) ТЕСТ-КЕЙСА ОТ РАЗЛИЧНЫХ ПОКАЗАТЕЛЕЙ*
В настоящее время процесс испытания программного продукта является трудоемким, и затратным процессом в материальном плане и по времени, отводимом на этот этап разработки. Сложность программ неуклонно растет, что усложняет процесс их верификации. Разработка методов позволяющих оптимизировать этот этап является актуальной задачей. Возможным решение этой задачи является создание метода оптимизации процесса верифика-
*
Работа выполнена при финансовой поддержке грантов РФФИ (проекты: № 16-07-00336, № 16-07-00335) в Южном федеральном университете.
ции, основанного на применении наиболее оптимальных и эффективных, тестов при проведении верификации программного продукта. В этой связи важной задачей является исследование зависимости оптимальности (эффективности) тест-кейса от различных показателей, решение которой позволит сэкономить ресурсы и время при разработке программного обеспечения. Данная работа посвящена выявлению и исследованию зависимости оптимальности тестов от влияния различных показателей. В статье будут рассматриваться такие признаки как: х(1 -среднее время выполнения тест-кейса, х!2 - количество прогонов теста, х(3) - критичность тест-кейса, х(4 - сложность тест-кейса, х(5 - количество ранее найденных дефектов, связанных с тест-кейсом. Учет и разбор зависимостей между вышеназванными параметрами теста и его влиянием на процесс обнаружения дефектов в разрабатываемой программной системе позволит получить дополнительную информацию для оптимизации процесса верификации. Для решения поставленных задач было проведено исследование зависимостей с использованием корреляционно-регрессионного и дисперсионного анализа. В работе показаны математические выражения искомых зависимостей. Приведены результаты моделирования влияния данных показателей на оптимальность тестов из тестовой выборки. Описан характер искомых математических выражений. Полученные в ходе исследования зависимости оптимальности тест-кейса от его параметров позволят в последствии осуществить переход от верификации конкретной программной системы к целым классам продуктов и систем, то есть унификации и формализации процесса верификации.
Верификация; оптимизация; программные системы; корреляционный анализ.
A.S. Artyukhova
INVESTIGATION OF DEPENDENCE OF THE TEST CASE OPTIMALITY (EFFECTIVENESS) ON VARIOUS INDICATORS
Currently, the process of software testing is a time-consuming and costly in terms of resources and time allocated for this development phase. Programs complexity is strongly growing up, so the process of their verification will complicate. The development of the methods that allow optimizing that stage is an actual task. A possible solution to the problem is the creation of an optimizing method of the verification process, based on the applying the most optimal and effective tests for software verification. In this regard, an important task is to investigate the dependence of the test case optimality (effectiveness) on various indicators, thus, the solution of the problem will save resources and time in the development of software. The paper is devoted to finding and investigating the dependence of the test optimality on the influence of various indicators. The article considers such signs as: x(1 - test-case average execution time , x(2 - а number of runs of the test x(3) - test case severity, x(4 i- test case complexity, x(5) - a number of related bugs that is the number of previously detected defects associated with the test-case. Accounting and analysis of dependencies between the described above parameters of the test and influence of test on the defect detection process in the developing software system provide additional information for verification process optimization. To solve the above issues the correlation-regression and variance analysis have been carried out. The paper contains the mathematical expressions of the required dependencies. The results of influence modeling of these indicators on the optimality of tests from the test set are presented. The nature of the found mathematical expressions is described. The dependencies of the test case optimality on its parameters obtained in the research allow making the transition from verification of a concrete software system to whole classes of software products and systems in future, that is unification and formalization of the verification process.
Verification; optimization; software systems; correlation analysis.
Введение. Активное развитие и усложнение программных систем и комплексов влечет за собой и усложнение процесса их верификации. Существует множество различных методов верификации программного обеспечения. Методы верификации программного обеспечения (ПО) предназначены для подтверждения фактов соответствия свойств ПО заявленным требованиям. Такие методы разнообразны и разнородны, как по своему назначению, так и по способам достижения конечного результата.
На современном этапе для эффективного проведения процесса верификации необходимо применять комбинации различных методов верификации, что приводит к определенным трудностям. По этой причине актуально исследование и создание оптимального методов для накопления, анализа и формализации опыта, накопленного в области интеграции различных методов верификации. В настоящий момент не существует такого достаточно эффективного метода, поэтому исследование и оптимизация методов верификации программных продуктов является актуальной задачей.
Во многих научных исследованиях в качестве возможного решения данной задачи предлагается использовать так называемые эффективные тесты в процессе верификации. Эффективный тест, должен быть: независим (от других тестов в наборе), четко сформулирован, лаконичен и не избыточен. Все выше сказанное подводит нас к выбору признаков для исследования зависимости эффективности тест-кейса. Лаконичность и точность формулировок теста связаны с его временем выполнения и сложностью (х(1> и х(4>). Независимость и не избыточность теста связаны с его критичность и числом прогонов (х(22 и х(3)). Несколько особняком стоит х(5 - количество ранее найденных дефектов, связанных данным тест-кейсом (number of related bugs), этот показатель характеризует скорее то, насколько подвержена ошибкам область, которую проверяет (покрывает) определенный тест.
Актуальным является вопрос выбора параметра теста, характеризующего его оптимальность (эффективность) в процессе верификации программной системы. В работе предлагается исследовать такие параметры как х(11 - среднее время выполнения тест-кейса (average execution time), х(22 - количество прогонов теста (number of runs), х(3 - критичность тест-кейса (severity), х(44 - сложность тест-кейса (сотр1ех^), х(5 - количество ранее найденных дефектов, связанных данным тест-кейсом (number of related bugs).
Постановка задачи. В данной работе необходимо исследовать гипотезу об оптимальности (эффективности) некоторого тест-кейса (теста) от различных показателей, и постараться выявить связи этих показателей и закономерности. В данном случае с понятием "эффективность" сопряжено и близкое к нему по содержанию понятие "оптимальность". Последнее трактуется как наилучшее из возможных вариантов, с точки зрения удовлетворения нескольким критериям, взятым поочередно или вместе. Исследование будет проводиться на основе экспериментальных данных. Наиболее распространенным способом обработки экспериментальных данных является метод регрессионного анализа.
Таким образом, в работе изучается линейная (в среднем) зависимость результативного признака Y - ожидаемой оптимальности (эффективности) тест-кейса от пяти факторных признаков - регрессоров х(11 - среднее время выполнения тест-кейса (average execution time), х(2) - количество прогонов теста (number of runs), х(3 - критичность тест-кейса (severity), х(44 - сложность тест-кейса (сотр1ехйу), х(5) - количество ранее найденных дефектов, связанных данным тест-кейсом (number of related bugs). Представлено в табл. 1.
В данном случае под критичностью тест-кейса понимается его принадлежность к одной из четырех заранее определенных категорий: критичный, значительный, средний и малозначительный. Стоит заметить однако, что граница определения критичности не совсем четкая, хотя и существуют формальные признаки критичности. Сложность тест-кейса, в данном случае оценивается по 100 бальной шкале, хотя существуют и другие шкалы для оценки сложности.
1. Модель множественного линейного регрессионного анализа признака Y записывается следующим образом:
У, = а0 + а1 х(1) + а2 (2)+ а3 (3)+ а4 хг(4) + а5 хг(5) + е, = 1,2... ,52,
где случайные величины е,- (случайные эффекты влияния на результативный признак неконтролируемых факторов) независимы и имеют одинаковое нормальное распределение е,- = N(0; оЕ№), или, иначе, наблюдения У, независимы и имеют нормальное распределение
Уг = N (^^У,- = ао + а1 хР + а2 хг (2)+ а3 х, (3)+ а4 х(г4) + а5 х(г5) ; ок =Ощьк).
Функция
Ух = M(У| х1 х(2), х(3 х4 х(5)) = а0 + а1 х(1) + а2 х(2;+ а3 х(з;+ а4 х(4) + а5 х(5); оУ, =oELR). называется линейной функцией множественной регрессии. 2. Определим коэффициент корреляции между показателями, предположительно влияющими на эффективность теста. Полученные числа, указывающие соответствующие значения коэффициентов корреляции (грасчет 1) представлены в табл. 2. Некоторые из полученных в табл. 2 коэффициентов корреляции, имеют знак минус, что говорит об обратном соотношении указанных параметров.
Таблица 1
№ п / п У хи) х(2) х(3) х(4) х(5)
1 74 1,9 369 3 100 2
2 66 3,83 127 2 50 3
3 73 1,5 165 2 99 1
4 69 3,2 384 1 87 3
5 68 2,8 182 2 95 2
6 75 1,58 211 4 99 1
7 53 4,7 353 3 35 4
8 73 2,03 168 4 99 2
9 66 1,88 245 4 99 1
10 74 2 179 1 99 1
11 73 1,7 251 2 99 1
12 70 4,5 160 3 68 3
13 57 2,7 230 4 81 2
14 69 1,94 288 1 99 1
15 47 6,94 220 3 18 5
16 71 1,5 166 1 85 1
17 74 1,83 129 2 99 1
18 64 1,83 293 1 99 1
19 63 3,33 163 4 88 3
20 66 6,67 172 4 62 4
21 43 5,94 205 1 53 4
22 67 2,4 157 3 99 2
23 73 1,47 259 1 99 1
24 73 1,88 336 4 88 2
25 65 4,9 281 4 73 4
Окончание табл. 1
26 73 2,06 252 2 97 2
27 75 1,4 248 1 77 1
28 65 2,1 193 4 93 2
29 60 3,77 257 4 48 3
30 69 3,21 355 1 81 3
31 44 6,68 334 1 73 5
32 65 1,82 198 2 97 1
33 58 4,48 247 4 52 3
34 63 3,35 264 4 90 3
35 73 1,99 316 3 98 1
36 72 1,8 316 4 100 1
37 74 1,4 282 2 95 1
38 74 1,8 305 1 99 1
39 74 1,3 238 3 97 1
40 71 2,5 144 3 93 2
41 76 1,55 266 4 99 1
42 66 3,51 329 1 78 3
43 68 1,65 143 3 96 2
44 74 1,9 216 2 94 2
45 74 1,8 375 4 97 1
46 75 1,6 338 3 99 1
47 67 1,84 229 4 78 2
48 75 2,1 361 1 99 1
49 69 2,47 135 3 87 2
50 51 6,81 134 4 24 5
51 76 3,1 271 2 93 3
52 62 4,37 173 1 76 3
Таблица 2
Фактор влияния Коэффициент корреляции
х(1) -0,808381893
х(2) 0,09767698
х(3) -0,061368937
х(4) 0,754271463
х(5) -0,775608401
3. Рассчитана матрица оценок коэффициентов парной корреляции [ввиду
симметричности этой матрицы (г^) в результатах работы приводится только часть
матрицы - не выше главной диагонали]. Результаты представлены в табл. 3.
Таблица 3
У х(1) х(2) х(3) х(4) х(5
У 1
х(1 - 1
Х<2 0,09767698 - 1
х(3 - 0,08350044 - 1
х(4 0,75426146 - 0,13766109 - 1
х(5 I 6 0,94045796 - 0,13228124 - 1
Дадим статистическую оценку выполненных расчетов, т.е. проверим на адекватность рассматриваемые события. Для этого сопоставим рассчитанные значения коэффициентов с табличным показателем гкрит, находим, что для уровня значимости (т.е. вероятности допустимой ошибки в прогнозе) а = 0,05 и заданного числа измерений п табличное значение гкрит = 0,7. Жирным шрифтом выделены коэффициенты корреляции, оценки которых по модулю превосходят 0,7.
В случаях когда выполняется соотношение I грасч > гкрит I, можно с уверенностью 95 % полагать, что между рассматриваемыми числовыми совокупностями существует корреляционная связь. Вместе с тем обсуждаемые причины можно ранжировать по степени влияния.
На основе анализа матрицы оценок коэффициентов парной корреляции длаем вывод: наиболее сильна линейная связь результативного признака У с факторным признаками Х(1), Х(4) и Х(5), поскольку модули оценок соответствующих коэффициентов парной корреляции достаточно велики:
| Г (У;Х(1)) | = 0,803 , | Г (У;Х(4)) | = 0,754 и | Г (У;Х(5)) | = 0,776.
Линейная связь У с Х(2) и с Х(3) выражена слабее.
Достаточно сильна линейная связь между каждой парой регрессоров Х(1), Х(4) и Х(5): |г (Х(1);Х(4)) | = 0,833,| г (Х(1);Х(5)) | = 0,940,| г (Х(4);Х®) | = 0,808 — это может свидетельствовать о коллинеарности регрессоров Х(1) и Х(4), Х(1) и Х(5) , Х(4) и Х(5). Малые абсолютные значения оценок коэффициентов корреляции между остальными регрессорами говорят об относительно слабой линейной связи между ними.
Рассчитаем оценки а0, а1, а2, а3, а^ а5 и SELR параметров модели линейной регрессии. Результаты представлены в табл. 4. Получаем оценки ао= 66,65, а1 = -2,6, а2 = 0,000726, а3 = 0,22, а 4 = 0,104, а 5 = -0,634 параметров а0, а1, а2, а3, а4, а5. Таким образом, оценка линейной функции регрессии такова:
ух = ао + а 1 X1 + а 2 х()+ а з X)+ а 4 X 4 + а 5 х()= =61,97-3,37 х(1) +0,000384 х(2) +0,23 х(3) +0,085 х(4) +0,207 х(5) .
Таблица 4
Коэффици енты Стандартная ошибка Г- статистика Р- Значение Нижние 95% Верхние 95%
У- пересечение 66,6519305 7,756557743 8,59297806 4,0136Е-11 51,0387896 82,2651
х(1) -2,61508964 1,402680306 -1,8643519 0,0686607 -5,4385387 0,20836
х(2) 0,00072675 0,009414174 0,07719693 0,9388017 -0,0182230 0,01968
х(3) 0,22249431 0,585954669 0,3797125 0,7059063 -0,9569713 1,40196
х(4) 0,10416131 0,061445167 1,70669853 0,0946213 -0,0188143 0,22855
х(5) -0,63429908 1,717753427 -0,3692608 0,7136277 -4,0919574 2,82336
В табл. 5 «Вывод остатка», содержится предсказанное Y - это у, , рассчитанные по построенному уравнению регрессии, и остатки - это разности (у - у) . Зная эти остатки, рассчитаем среднюю относительную ошибку аппроксимации (в процентах):
1 vn lyt~yil о— Л i=i-.
п 1 yi
В условиях примера 5 -0,054 = 5,4 %.
В табл. 6 «Регрессионная статистика» приведены:
а) оценка коэффициента множественной линейной детерминации
R 2= (7| х(1), х(2), ... х(т))=0,68
Таблица 5
Наблюдение Предсказанное Остатки
1 71,83715157 2,162848429
2 60,513944 5,486056004
3 73,04186777 -0,041867766
4 66,00585963 2,994140371
5 68,60083332 -0,600833317
6 73,3110795 1,688920498
7 56,41823006 -3,418230055
8 71,46874003 1,531259969
9 72,55126195 -6,551261952
10 71,52200307 2,477996931
11 72,58134994 0,41865006
12 60,89594161 9,104058392
13 67,87405742 -10,87405742
14 71,75812369 -2,758123694
15 48,04671065 -1,046710649
16 71,35194294 -0,35194294
17 72,15272535 1,84727465
18 72,04941728 -8,049417282
19 66,27763855 -3,277638553
20 54,188903 11,811097
21 54,51060273 -11,51060273
22 70,27066835 -3,270668353
23 72,96614021 0,033859789
24 70,82954457 2,170455433
25 60,05037905 4,94962095
26 70,79660858 2,203391419
27 70,83409802 4,165901981
28 70,67464214 -5,674642135
29 61,00057814 -1,000578143
30 65,32942286 3,670577138
Окончание табл. 5
31 54,13225498 -10,13225498
32 72,01928493 -7,019284926
33 59,55607055 -1,556070546
34 66,50847479 -3,508474795
35 71,98783833 1,012161673
36 72,91693642 -0,916936422
37 72,96893244 1,031067564
38 72,13659092 1,863409084
39 73,63069567 0,369304334
40 69,37050144 1,629498556
41 73,42950319 2,570496813
42 64,21139546 1,788604538
43 71,90720602 -3,907206023
44 70,87425496 3,125745037
45 72,64520927 1,354790728
46 73,12858006 1,871419937
47 69,80770264 -2,807702639
48 71,39276176 3,607238236
49 68,81320317 0,18679683
50 49,17587677 1,824123235
51 67,03695093 8,96304907
52 61,63930934 0,360690663
^-квадрат) — судя по наблюдениям, 68 % вариации оптимальности тест-кейса обусловлено влиянием на нее рассматриваемыми параметрами;
б) оценка коэффициента множественной линейной корреляции
Й = (У| х(1), х(2), ... х(т))=0,82.
(Множественный R) - такова, судя по наблюдениям, степень линейной зависимости Y от Х(1), Х (2), ... , X (т);
в) оценка нормированного коэффициента линейной детерминации
Й = (У| х(1), х(2), ... х(т))=0,64.
(Нормированный R-квадрат) - в отличие от коэффициента Й2 , который при включении в имеющуюся линейную регрессионную модель дополнительного рег-рессора всегда увеличивается, нормированный коэффициент детерминации Д2 может и увеличиваться, и уменьшаться; чем больше Й2, тем более адекватно уравнение регрессии;
г) стандартная ошибка регрессии sELR = 4,89 (стандартная ошибка).
Таблица 6
Множественный R 0,822530342
R-квадрат 0,676556164
Нормированный R-квадрат 0,641399226
Стандартная ошибка 4,891592505
Наблюдения 52
4. Рассмотрим табл. 7 «Дисперсионный анализ».
В столбце приводятся количества степеней свободы т = 5, п - т = 46, п - 1 = 51 соответственно случайных величин
Таблица 7
df SS MS F Значимость F
Регрессия 5 2302,307616 460,4615233 19,24388726 2,73596E-10
Остаток 46 1100,673153 23,92767724
Итого 51 3402,980769
SSperp 2 j = 1 2 SS ост 2 j = 1 SS итог 2 j = 1
значения которых, равные соответственно 2302,31; 1100,67 и 3402,98, приводятся в столбце «SS»; а в столбце «MS» приведены значения величин
М5регр = 55регр / т, М5ост = £5ост / (п - т - 1),
равные соответственно 460,46 и 23,93. Нетрудно убедиться в том, что
88регр=п ст? 2 К2 , а 88ост=п ст? 2 ( 1 - К2) .
Проверка гипотезы Н0: а1 = а2 = ... = ат = 0 производится на основе анализа статистики
_ М^регр _ ^регрМ _ __
т;п—т—1 ~ д^ ~ _ т _ 1) " (1 _ д2)/(п _ т _ 1)
имеющей (в предположении справедливости Н0) распределение Фишера-Снедекора с т и (п - т - 1) степенями свободы. В данном случае наблюдаемое значение статистики 46 равно 19,24, что больше критической точки/0 05; 5; 46 = 2,4, поэтому гипотеза Н0 отвергается на 5 %-ном уровне значимости.
Гипотезу Н0 можно проверить и так: если значимость F (рассчитанный уровень значимости гипотезы Н0) оказывается больше принятого уровня значимости а (в данном случае а = 0,05), то гипотезу Н0 принимают (и говорят, что уравнение регрессии статистически незначимо, не адекватно), а если значимость F оказывается меньше а, гипотезу Н0 отвергают (уравнение значимо, адекватно). Для данной модели значимость F равна 2,74^10-10 - уравнение значимо.
Наблюдаемое значение статистики Fа;m;n-m-1 и рассчитанный уровень значимости гипотезы Н0 приводятся в таблице «Дисперсионный анализ» (столбцы «Р» и «Значимость Р»).
Проверим теперь гипотезы Н^^ а,- = 0 при альтернативах//^: а7- Ф 0 , у=1, 2, 3, 4, 5.
В выделенной таблице (в результатах работы программы «Регрессия» - табл. 4) в столбце «t-статистика» приводятся значения статистики = /5^ , которая
при выполнении гипотезы Н^) имеет распределение Стьюдента с (п - т - 1) степенью свободы. Область отклонения гипотезы Н(') (на уровне значимости а) такова: .
В задаче значение статистики равно -1,86, статистики - 0,077, статистики Т4(^ ) - 0,38, статистики Т4(4 — 1,71, статистики Т4(| ) - - 0,37. Так как критическая точка /0,05; 46 = 2,0, то гипотезы Н( 1): а 1 = 0 , Н( 2 ^ а 2 = 0 , Н( 3 ^ а 3 = 0,
(4") ("5")
/ : а4 = 0 , / : а 5 = 0 не отвергаются (оценки а1 , а2, а3 , а4 , а5 параметров а1,
а2, а3, а4, а5 незначимы).
В той же таблице в столбце «Р-значение» приводятся рассчитанные уровни значимости гипотез - это вероятности (гипотезу
отвергают при альтернативе Н^, еслиР] < а).
Так как р! = 1,403, р2 = 0,009, р3 = 0,586, р4 = 0,061, р5 = 1,718, то гипотезы , , , , не отвергаются.
Эти же гипотезы можно проверить при помощи интервальных оценок параметров уравнения регрессии. Все в той же таблице в столбцах «Нижние 95%» и «Верхние 95%» приводятся нижние и верхние границы интервальных оценок параметров а1, а2, а3, а4, а5.
Результаты, полученные в пункте 4 и далее в пункте 5, систематизированы в табл. 8.
5. В построенном уравнении регрессии большинство коэффициентов оказались незначимы, и такое уравнение нельзя считать приемлемым.
Исключим из уравнения регрессор х(2), при котором коэффициент незначим, а соответствующая этому коэффициенту абсолютная величина значения статистики Г^ равного 0,077, является наименьшей (рассчитанный уровень значимости р3 = 0,939 является наибольшим).
Оценка линейной функции регрессии будет такой: ух = а0 + а 1 хт + а 3 х(3)+ а 4 х(4) + а 5 х<5>=66,8 -2,63 хт +0,216х3 +0,105 х(4) - 0,618 х(5).
стандартная ошибка = 4,84, средняя относительная ошибка аппроксимации 5-5,4 %, оценка коэффициента множественной линейной корреляции равна 0,82, оценка коэффициента множественной линейной детерминации равна 0,68, оценка нормированного коэффициента множественной линейной детерминации равна 0,65.
Гипотеза Н0 о том, что все параметры при регрессорах одновременно равны нулю, отвергается на 5%-ном уровне значимости, поскольку значимость Е (равная 5,12х10-11) меньше принятого уровня значимости а = 0,05.
Так как р1 = 0,0634, р3 = 0,708, р4 = 0,089, р5 = 0,716, то гипотезы не отвергаются.
Теперь исключим из уравнения регрессор х(5), при котором коэффициент незначим, а соответствующая этому коэффициенту абсолютная величина значения статистики Г^ , равного 0,366, является наименьшей (рассчитанный уровень значимости р5 = 0,716 является наибольшим). Оценка линейной функции регрессии будет такой:
ух = а0 + а 1 х(1) + а 3 х(3)+ а 4 х() = 66,54 -3,04 х(1) +0,186 х(3) +0,108 х(4).
стандартная ошибка sELR = 4,8, средняя относительная ошибка аппроксимации 5-5,4%, оценка коэффициента множественной линейной корреляции равна 0,82, оценка коэффициента множественной линейной детерминации равна 0,68, оценка нормированного коэффициента множественной линейной детерминации равна 0,66.
Гипотеза Н0 о том, что все параметры при регрессорах одновременно равны нулю, отвергается на 5%-ном уровне значимости, поскольку значимость F (равная 8,6*10-12) меньше принятого уровня значимости а = 0,05.
Так как р! = 0,0003, р3 = 0,742, р4 = 0,077, гипотезы Н 3 ^ а 3 = 0 , Н 3 ^ а 3 = 0 ,
(1)
отвергаются, а гипотеза не отвергается.
Исключим регрессор х(3), при котором коэффициент незначим, оценка линейной функции регрессии будет такой:
ßx = âo + â 1 x(1) + â 4 x(4) = 67,30-3,061 x(1) +0,105 x(4). стандартная ошибка sELR = 4,75, средняя относительная ошибка аппроксимации 5~ 5,4 %, оценка коэффициента множественной линейной корреляции равна 0,82, оценка коэффициента множественной линейной детерминации равна 0,67, оценка нормированного коэффициента множественной линейной детерминации равна 0,66.
Гипотеза H0 о том, что все параметры при регрессорах одновременно равны нулю, отвергается на 5%-ном уровне значимости, поскольку значимость F (равная 1,11x10-12) оказалась меньше принятого уровня значимости а = 0,05.
Так как p1 = 0,0002, p4 = 0,079, гипотеза Н( 1 ^ а 1 = 0 отвергается, Н( 2^ : а2 = 0 не отвергается.
Исключим регрессор x(4), при котором коэффициент незначим, оценка линейной функции регрессии будет такой:
ßx = âo + â i x(1) = 79,40-4,21 x(1). стандартная ошибка sELR = 4,86, средняя относительная ошибка аппроксимации 5~ 5,6 %, оценка коэффициента множественной линейной корреляции равна 0,81, оценка коэффициента множественной линейной детерминации равна 0,65, оценка нормированного коэффициента множественной линейной детерминации равна 0,65.
Гипотеза H0 о том, что все параметры при регрессорах одновременно равны нулю, отвергается на 5%-ном уровне значимости, поскольку значимость F (равная 4,28x10-13) оказалась меньше принятого уровня значимости а = 0,05.
Так как p1 = 4,28x10-13, то гипотеза Н( 1 ^ а 1 = 0 отвергается.
Наилучшим уравнением является уравнение, полученное на четвертом шаге (см. таблицу 8), поскольку и само уравнение, и все его коэффициенты значимы. В это уравнение оказались включены факторы и линейная связь между которыми, судя по наблюдениям, невелика: | |= 0,576. Судя по этому уравнению:
а) более 70 % дисперсии оптимальности тест-кейса (У) связано с линейным влиянием x(1) и x(2) (так как "R2= 0,73 );
б) рассчитанное по уравнению число yi - это точечная оценка генерального среднего оптимальности тест-кейса при условии, что значения факторных признаков (x(1) и x(2)) зафиксированы на каких-то уровнях, а именно x(1) =х( 1 \ x(2)=x(2 \ Например, точечная оценка генерального среднего значения оптимальности тест-кейса при значениях регрессоров на первом объекте равна
ßx = = 73,68-3,22x1,9 +0,000349x16 848=73,43.
а реальная оптимальность теста равна y1 = 74, остаток y1 - у1 = 0,57. В тех объектах, в которых остатки y1 - у1 положительны, цена за рекламу выше среднего уровня, а в тех, где остатки отрицательны — ниже среднего уровня. Так, например, на первом объекте y1 - у1 = 0,57, а на втором y1 - у1 = - 2,25.
в) увеличение x(1) на единицу [при неизменном значении x(2)] сопровождается наибольшим изменением средней оптимальности теста (уменьшением на 3,22 условных единицы); увеличение x(1) на единицу сопровождается и наибольшим максимально возможным с 95%-ной вероятностью изменением результативного признака (уменьшением оптимальности на 4,18), так как 95%-ные интервальные оценки параметров a1 и a2 таковы: (-4,18; -2,27) и (0,000153; 0,000544);
г) анализ коэффициентов эластичности
^ хМ 2 38
^,.(1)=% — = -3,22x— = - 0 , 1 3 5
y\xw 1 у ' 67,48
^ х(2) 8421 9
Эу , ^ )=о2^ = 0,000349х^Н = о, о 4 4
показывает, что увеличение х(1) на 1 % (при неизменном значении х(2) сопровождается наибольшим процентным изменением средней оптимальности тест-кейса - ее уменьшением на 0,135 %; увеличение х(1) на 1 % сопровождается и наибольшим максимально возможным с 95 %-ной вероятностью процентному изменением оптимальности - ее уменьшением на I — 4, 1 8 2,83 I =0,175.
I 67,481
Таблица 8
Шаг Уравнение, интервальные оценки коэффициентов, наблюдаемые значения статистики Т, Р-значения R2 R2 ^ELR 5 F /o,05;m;?i-m-l
1 Г, - 61,97 - 3,5 х'1' + 0,00038 х® (47,21;75,73) (-7,13:0,13) (0,000127:0,000641) [t:::;-=2r013) -1,94 3.0 0,058 0,004 +0,23 х<3> +0,085 х<4> +0,207 х'5> (-0,806:1,2641 (-0,026:0,196) (-0,412:0,825) 0,45 1.55 0.67 0,658 0,128 0,504 0,74 0,71 4,38 4,6% 26,31 2,417
2 .й-62,93 -3,52 х<» +0,000383.*'-' + 0,082г» (48,95:76,91) (-7,11:0.073) [0,000128:0,000638) (-0,027:0.191) [1«.;,-2,011) -1.97 3.02 1.51 U.055 0,004 0,136 +0,206 х<5> [-0,407:0,818) 0.676 0,502 0,74 0,72 4,34 4,6% 33,41 2,570
3 V,- =64,88 -2,41 х"~ +0,000328.г'-'+0,079.г№ (52.24;77.52) [-3.86:0,96) (0,000133: 0,000524) (-□.029:0.187) Симаг-ШИ) -3.35 3.38 1.48 0,002 0,001 0,146 0,74 0,72 4,32 4,6% 44,90 2,798
4 V, = 73,68 - 3,22 х'" + 0,000349*® (69,59:77,77) (-4,18:-2,27) [0,000153:0,000544) [tw, 4^2.009) -6.77 3.58 0,000000015 0,00079 0,73 0,71 4,37 4,8% 64,70 3,187
Заключение. В работе было проведено моделирование зависимости параметров тест кейса и ожидаемой оптимальности (эффективности) тест-кейса. Полученные в ходе исследования зависимости оптимальности тест-кейса от его параметров позволят в дальнейшем перейти к оптимизации процесса верификации программных продуктов в целом, что в последствии повлечет переход от верификации конкретного программного продукта к целым классам продуктов, т.е. унификации и формализации процесса верификации.
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Криспин Л., Грегори Д. Гибкое тестирование: практическое руководство для тестиров-щиков ПО и гибких команд. - М.: ООО «И Д. Вильямс», 2010. - 464 с.
2. Дастин Э., Рэшка Д., Пол Д. Автоматизированное тестирование программного обеспечения // Внедрение, Управление, Эксплуатация. - М.: ЛОРИ, 2003. - 588 с.
3. Блэк Р. Ключевые процессы тестирования. Планирование, подготовка, проведение, совершенствование. - М.: ЛОРИ, 2006. - 544 с.
4. Калинина В.Н., Соловьев В.И. Компьютерный практикум по прикладной статистике и основам эконометрики: учеб. пособие для студентов вузов. - М.: Вега-Инфо, 2010. - 140 с.
5. Дуброва Т.А. Статистические методы прогнозирования в экономике: учеб. пособие.
- М.: Московский государственный университет экономики, статистики и информатики, 2004. - 136 с.
6. Шашков В.Б. Прикладной регрессионный анализ. Многофакторная регрессия: учеб. пособие. - Оренбург: ГОУ ВПО ОГУ, 2003. - 363 с.
7. Бурякова Н.А., Чернов А.В. Классификация частично формализованных и формальных моделей и методов верификации программного обеспечения // Инженерный вестник дона. - 2010. - № 4.
8. Артюхова А.С. Проблемы автоматизации тестирования и подходы к их решению // Научное периодическое издание "CETERIS PARIBUS". - М.: ЕФИР, 2016. - № 10. - С. 5-11.
- URL: http://elibrary.ru/item.asp?id=27218935.
9. Майерс Г., Баджетт Т., Сандлер К. Искусство тестирования программ. - 3-е изд. - М.: Диалектика, 2012. - 272 с.
10. Zhu H., Hall P.A. V., May J.H.R. Software Unit Test Coverage and Adequacy // ACM Computing Surveys. - 1997. - Vol. 29 (4). - P. 366-427.
11. Watts S.H. Introduction to the Personal Software Process. - Addison-Wesley Professional, 1996. - 278 p.
12. Канер С., Фолк Д, Нгуен Е.К. Тестирование программного обеспечения. Фундаментальные концепции менеджмента бизнес-приложений. - К.: ДиаСофт, 2001. - 544 с.
13. Artyukhova A.S. Test coverage criteria completeness study in genetetic algorithm for test generation // Научное периодическое издание "CETERIS PARIBUS". - М.: ЕФИР, 2016.
- № 11. - С. 4-8. - URL: http://efir-msk.ru/sbornik/CR-1-2016.pdf.
14. КурейчикВ.М., Родзин С.И. Компьютерный синтез программных агентов и артефактов // Программные продукты и системы. - 2004. - № 1. - С. 23-27.
15. Курейчик В.В., Родзин С.И., Родзина Л.С. Мобильное обучение: контекстная адаптация и сценарный подход // Открытое образование. - 2013 -№ 4 (99). - С. 75-82.
16. Артюхова А.С. Проблемы проектирования web-интерфейса средствами генетического программирования // Научное периодическое издание "IN SITU". - М.: ЕФИР, 2016.
- № 11. - С. 17-20. - URL: http://efir-msk.ru/sbornik/IS-11-2016.pdf.
17. Rodzin S., Rodzina L. Theory of Bioinspired Search for Optimal Solutions and its Application for the Processing of Problem-Oriented Knowledge // В сб.: 8th IEEE International Conference on Application of Informatioand Communication Technologies, AICT 2014 - Conference Proceedings 8. 2014. - С. 7035930
18. Кадашев Д.В., Кузнецов А.А. Система распределенного unit-тестирования «Testing GRID» // Вестник НГУ. - 2007. - Т. 5. - Вып. 1. - С. 20-27.
19. IEEE Guide to Software Engineering Body of Knowledge, SWEBOK, 2004.
20. Бек К. Экстремальное программирование: разработка через тестирование. Библиотека программиста. - СПб.: Питер, 2003. - 224 с.
REFERENCES
1. Krispin L., Gregori D. Gibkoe testirovanie: prakticheskoe rukovodstvo dlya testirovshchikov PO i gibkrnh komand [Agile Testing. A practical guide for testers and agile teams]. Moscow: OOO «I D. Vil'yams», 2010, 464 p.
2. Dastin E., Reshka D., Pol D. Avtomatizirovannoe testirovanie programmnogo obespecheniya [Automated software testing], Vnedrenie, Upravlenie, Ekspluatatsiya [Introduction, Management and Performance]. Moscow: LORI, 2003, 588 p.
3. Blek R. Klyuchevye protsessy testirovaniya. Planirovanie, podgotovka, provedenie, sovershenstvovanie [Critical Testing Processes: Plan, Prepare, Perform, Perfect]. Moscow: LORI, 2006, 544 p.
4. Kalinina V.N., Solov'ev V.I. Komp'yuternyy praktikum po prikladnoy statistike i osnovam ekonometriki: ucheb. posobie dlya studentov vuzov [Computer workshop on applied statistics and basics of econometrics: textbook for University students]. Moscow: Vega-Info, 2010, 140 p.
5. Dubrova T.A. Statisticheskie metody prognozirovaniya v ekonomike: ucheb. posobie [Statistical methods of forecasting in the economy: a textbook]. Moscow: Moskovskiy gosudarstvennyy universitet ekonomiki, statistiki i informatiki, 2004, 136 p.
6. Shashkov V.B. Prikladnoy regressionnyy analiz. Mnogofaktomaya regressiya: ucheb. posobiye [Applied regression analysis. Multivariate regression: a textbook]. Orenburg: GOU VPO OGU, 2003, 363 p.
7. Buryakova N.A., Chernov A.V. Klassifikaciya chastichno formalizovannykh i formal'nykh modeley i metodov verifikacii programmnogo obespecheniya [Classification of partially formalized and formal models and methods of software verification], Inzhenernyy vestnik dona [Engineering Bulletin of the Don], 2010, No. 4.
8. Artyukhova A.S. Problemy avtomatizatsii testirovaniya i podkhody k ikh resheniyu [Problems of test automation and approaches to their solution], Nauchnoe periodicheskoe izdanie "CETERIS PARIBUS" [Scientific periodical "CETERIS PARIBUS"]. Moscow: EFIR, 2016, No. 10, pp. 5-11. Available at: http://elibrary.ru/item.asp?id=27218935.
9. Mayers G., Badzhett T., Sandler K. Iskusstvo testirovaniya program [The art of software testing]. 3 ed. Moscow: Dialektika, 2012, 272 p.
10. Zhu H., Hall P.A. V., May J.H.R. Software Unit Test Coverage and Adequacy, ACM Computing Surveys, 1997, Vol. 29 (4), pp. 366-427.
11. Watts S.H. Introduction to the Personal Software Process. Addison-Wesley Professional, 1996, 278 p.
12. Kaner S., Folk D, Nguen E.K. Testirovanie programmnogo obespecheniya. Fundamental'nye kontseptsii menedzhmenta biznes-prilozheniy [Software testing. Fundamental concepts of business application management]. Kiev: DiaSoft, 2001, 544 p.
13. Artyukhova A.S. Test coverage criteria completeness study in genetetic algorithm for test generation, Nauchnoe periodicheskoe izdanie "CETERIS PARIBUS" [Scientific periodical "CETERIS PARIBUS"]. Moscow: EFIR, 2016, No. 11, pp. 4-8. Available at: http://efir-msk. ru/sbornik/CR- 1-2016.pdf.
14. Kureychik V.M., Rodzin S.I. Komp'yuternyy sintez programmnykh agentov i artefaktov [Computer synthesis of software agents and artifacts], Programmnye produkty i sistemy [Software products and systems], 2004, No. 1, pp. 23-27.
15. Kureychik V.V., Rodzin S.I., Rodzina L.S. Mobil'noe obuchenie: kontekstnaya adaptatsiya i stsenarnyy podhod [Mobile learning: contextual adaptation and scenario approach], Otkrytoe obrazovanie [Open education], 2013, No. 4 (99), pp. 75-82.
16. Artyukhova A.S. Problemy proektirovaniya web-interfeysa sredstvami geneticheskogo programmirovaniya [Problems of web-interface design by means of genetic programming], Nauchnoe periodicheskoe izdanie "IN SITU" [Scientific periodical "in SITU"]. Moscow: EFIR, 2016, No. 11, pp. 17-20. Available at: http://efir-msk.ru/sbornik/IS-11-2016.pdf.
17. Rodzin S., Rodzina L. Theory of Bioinspired Search for Optimal Solutions and its Application for the Processing of Problem-Oriented Knowledge, 8th IEEE International Conference on Application of Informatioand Communication Technologies, AICT 2014 - Conference Proceedings 8. 2014, pp. 7035930.
18. Kadashev D.V., Kuznetsov A.A. Sistema raspredelennogo unit-testirovaniya «Testing GRID» [System of the distributed unit-testing "testing GRID"], Vestnik NGU [Vestnik NSU], 2007, Vol. 5, Issue 1, pp. 20-27.
19. IEEE Guide to Software Engineering Body of Knowledge, SWEBOK, 2004.
20. Bek K. Ekstremal'noe programmirovanie: razrabotka cherez testirovanie. Biblioteka programmista [Extreme programming: test-driven development. Programmer's library]. Saint Petersburg: Piter, 2003, 224 p.
Статью рекомендовала к опубликованию д.т.н., профессор Л.С. Лисицына.
Артюхова Антонина Сергеевна - Южный федеральный университет; e-mail:
[email protected]; 347928, г. Таганрог, пер. Некрасовский, 44; тел.: 88634314945;
кафедра математического обеспечения и применения ЭВМ; аспирант.
Artyukhova Antonina Sergeevna - Southern Federal University; e-mail:
[email protected]; 44, Nekrasovsky, Taganrog, 347928, Russia; phone: +78634314945;
the department of software engineering; postgraduate student.
