CC BY
70
нансы и кредит», «Налоги и налогообложение» / М.В. Мельник, В.Г. Когден-ко. - М.: ЮНИТИ-ДАНА, 2007. - 543 с.
12. Василенко А.А. Роль категории «предпосылки подготовки финансовой информации» в системе концепций и постулатов аудита // Вестник Ростовского государственного экономического университета (РИНХ). - 2011. -№ 4 (36). - С. 31-38.
13. Василенко А.А. Эволюция представлений о категории «предпосылки составления бухгалтерской отчетности» в теории аудита // Научная мысль Кавказа. - 2012. - № 3. - С. 16-22.
References
1. Gutzeit E.M. Actual problems of audit: basic concept, decision methodology: Doctor of Economics dissertation: 08.00.12, 08.00.13 / Gutzeit E.M. - M., 2005. - 343 p.
2. Sheremet A.D. Accounting and audit reform according to international standards // Audit journal. - 2006. - #8. - 412 p.
3. Baranov P.P. The risks of audit activities institutional status loss under stagnation of the financial audit theory // Siberian financial school. - 2012. - #6. -144-149 p.
4. Azarskaya, M.A. Theory and methodology of quality assurance audit: Doctor of Economics dissertation: 08.00.12 / Azarskaya M. - Yoshkar-Ola, 2009. - 39 p.
5. Mironova O.A., Azarskaya M.A. Audit: Theory and Methodology: Study guide / O.A Mironova, M.A. Azarskaya. -M .: Omega-L, 2006. - 176 p.
6. Baranov P.P. Development of the auditing professional judgment concept: theory and methodology: Doctor of Economics dissertation: 08.00.12 / Baranov P. - Novosibirsk, 2013. - 47 p.
7. Melnik M.V. The evolution of the state financial control and audit // Siberian financial school. - 2011. - #6. - 178-183 p.
8. Cochinev Y.Y. Audit. 2-nd ed. -SPb .: Piter, 2004. - 304 p.
9. The federal rules (standards) of audit activity: Standards № 1-6 / Commentary by N.A. Remizov. - M.: Publishing House FBK-Press, 2003. - 184 p.
10. Fedosenko T.V. Audit procedures: essence, classification and application technology // Scientific and theoretical journal. - 2011.- № 5. - 82-88 p.
11. The economic analysis in the audit: Study guide for university students of "Accounting, analysis and audit", "Finance and Credit", "Tax" departments / M.V. Melnik, V.G. Kogdenko. - M .: UNITY-DANA, 2007. - 543 p.
12. Vasilenko A.A. The role of the "financial reporting assertions" category in the audit system// Rostov State University of Economics (RINH) Journal. - 2011. -# 4 (36). - 31-38 p.
13. Vasilenko A.A. The evolution of ideas on "financial reporting assertions" in the audit theory // Scientific Thought Caucasus. - 2012. - #3. - 16-22 p.
УДК 336.6
Медведева О.В., Харченко И.А.
МЕТОДИЧЕСКИЕ ПОДХОДЫ К ОЦЕНКЕ ТЕСТОВ СИСТЕМЫ ВНУТРЕННЕГО КОНТРОЛЯ НА ОСНОВЕ СТАТИСТИЧЕСКИХ МЕТОДОВ
Аннотация
В статье представлены методические подходы к оценке тестов системы внутреннего контроля на основе статистических методов. Данные подходы могут быть использованы как во внешнем, так и во внутреннем аудите. Проведен обзор определений по-
нятия «валидность». Исследованы способы как повышения качества самого теста, так и разработки поправочных коэффициентов к нему.
Ключевые слова
Тесты системы внутреннего контроля, валидность, эффективность тестирования, надежность тестов.
Medvedev O. V., Kharchenko I.A.
METHODOLOGICAL APPROACHES TO ASSESSMENT OF THE INTERNAL CONTROL SYSTEM TESTS ON THE BASE OF STATISTICAL METHODS
Abstract
The article presents the methodological approaches to the evaluation of internal control system tests in terms of statistical methods. These approaches can be used for both external and internal audit. The review of the "validity" term definitions is introduced. The ways to improve the quality of both the test and the development of scaling factors are studied.
Keywords
Internal control system tests, validity, test coverage, test reliability.
Эффективность тестирования системы внутреннего контроля (СВК) зависит от качественного построения самого теста и выработки критериев его оценки. Не вызывает сомнения заключение д.э.н., проф. Ю.А. Данилевского, что «если первоначально средства контроля были оценены как высокие, то для подтверждения такой степени надежности применяется специальная процедура-тестирование средств контроля» [4].
Иногда в переводе с английского в литературе используется термин «тесты соответствия» (compliance tests), что наиболее точно отражено в п. 8-11 МСА 330 «Аудиторские мероприятия по противодействию выявленным рискам». Однако МСА 330 «Аудиторские мероприятия по противодействию выявленным рискам» подробно описывает характер и объем тестов, сроки проведения средств контроля, не раскрывая методику их составления. [5]
От других способов контроля и оценки результатов тесты отличаются большей точностью и доступностью для измерения разнообразными количе-
ственными методами. Это возможно в тех случаях, когда тесты построены методологически и методически грамотно и могут быть надежным инструментарием в ходе проведения как внешнего, так и внутреннего аудита.
Тестирование системы внутреннего контроля позволяет получить информацию, на основе которой в дальнейшем внешний и внутренний аудиторы формируют план и программу аудита, оценивают существенность и аудиторский риск, осуществляют выбор конкретных методов получения аудиторских доказательств. Таким образом, качество оказываемых аудиторских услуг напрямую связано с качеством тестирования системы внутреннего контроля.
Следовательно, при тестировании средств контроля аудитора интересует не столько поиск конкретных ошибок и искажений, сколько выявления недостатков систем учета и контроля, призванных препятствовать возникновению ошибок, своевременно выявлять их и исправлять, что в итоге повысит эффективность СВК.
Аудитор использует свой опыт, знания, опросы персонала, инструкции и положения по методикам и процедурам работы бухгалтерии и функциональных подразделений, ознакомление с документами и записями, исследование операций по товародвижению.
Тем не менее недостатки используемых тестов вызвали критику тестирования как метода диагностики по следующим показателям:
-тесты часто необъективны и неточно определяют то, что должны измерять;
-требуют больших затрат времени на разработку и проверку, т.е. не экономичны при контроле.
По нашему мнению, это заключение не всегда объективно и верно лишь в частных случаях. Мы разделяем точку зрения Е.А. Михайлычева, «что любой тест должен быть прежде всего действенным. Эффективный тест - это стандартизированная методика, тщательно научно-методически разработанная и проверенная на репрезентативной выборке с достаточно высокой надежностью и валидностью» [1].
В настоящее время в практической деятельности внешних и внутренних аудиторов применяются различные подходы к разработке тестов системы внутреннего контроля. Однако вопросы оценки качества тестов, их надежности в настоящее время являются недостаточно исследованными.
Цель тестирования должна быть поставлена «настолько точно и определенно, чтобы можно было однозначно сделать заключение о степени ее реализации и построить вполне определенный процесс, гарантирующий ее достижение за заданное время» [1].
Как показали исследования, необъективность тестов зависит в основном от низкого качества их разработки - если они сделаны наскоро и не проверены на надежность и валидность.
Валидность (законный, действительный) - применительно к исходной статистической информации, используемой в экономических исследованиях, «надежность информации, отсутствия в ней ошибок из-за неточности выбранной методике сбора данных».[2]
В связи с этим особое значение приобретает выработка методических подходов к оценке системы внутреннего контроля на основе статистических методов.
Предлагаемые методические подходы к оценке тестов системы внутреннего контроля предусматривают оценку его валидности. После разработки теста системы внутреннего контроля должен начинаться процесс его валидизации, т.е. накопления подтверждений для доказательства валидности теста.
А.А. Анастази определяет надежность теста как «согласованность показателей, полученных у тех же самых испытуемых при повторном тестировании, тем самым тестом, или эквивалентной ее формой» [1]. Кроме того, надежность проверяется относительно временных изменений, выбора конкретных заданий, тестовой выборки поведения, роли индивидуальности экспериментатора или специалиста при обработке данных или относительно других аспектов тестирования. Один из наиболее распространенных способов проверки надежности - это ретестовая надежность, измеряемая при повторном проведении того же самого теста на том же объекте и в тех же условиях.
A.А. Анастази выделяет три подхода к определению валидности: валид-ность по содержанию; валидность по критерию; конструктная валидность.
Отмечая существование различных видов валидности в тестологии, Г. Витцлак характеризует такие из них, как содержательная, конструктивная и прогностическая. [1]
B.В. Петухов в блоке терминов, связанных с валидностью, выделяет такие ее виды, как внутренняя и внешняя
валидность, а также операциональная валидность. [7]
Можно согласиться с мнением ученых тестологов в том, что выбор формы валидизации в значительной мере зависит от цели диагностирования и характера метода. В практике разработки методов в настоящее время все больше проявляются тенденции к применению многоступенчатой валидизации, когда разные формы и методы валидизации объединяются в теоретически хорошо обоснованную и иерархически организованную систему тестов. Представляется, что накопление информации об опыте и результатах ва-лидизации аудиторских тестов позволит внести обоснованные рекомендации, как это лучше делать в тех или иных условиях осуществления хозяйственной деятельности коммерческой организации.
При этом считаем необходимым учесть внутренние и внешние факторы, влияющие на валидность теста, согласно опыту известного американского ученого экспериментатора-тестолога Дональда Т. Кэмпбелла, характеристика которых систематизирована в таблице 1.1
На основании анализа научных публикаций с использованием экспериментальных методов Д. Кэмпбелл делает заключение, что в большинстве работ авторы не анализируют факторов, влияющих на итоговые результаты, поэтому делают необоснованные выводы или проводят эксперименты таким образом, что нельзя делать однозначное заключение.
В аудиторской фирме, службе внутреннего аудита целесообразно выработать стандартизированный подход к формированию тестов оценки системы внутреннего контроля. При этом стандартизация тестов обязательно связана с выработкой нормативов, позволяющих оперативно ставить диагноз и применять коррекционные меры, управленческие решения.
По мнению О.В. Медведевой, аудиторские тесты по оценке состояния СВК, как обязательный элемент, должны содержать данные внутригрупповых норм, позволяющие проводить сравнение результатов теста с показателями аналогичных тестируемых экономических субъектов. Чтобы осознанно разбираться в нормативах тестов, необходимо опираться на инструментарий математической статистики, применяемой в тестологии, такой как:
1. Стандартное отклонение распределения - мера разброса, позволяющая оценить разброс результатов в разных группах. Т.к. при ее вычислении устраняются отрицательные знаки, ею удобно пользоваться при выполнении многих операций анализа.
Ш (1)
CT =
N
где |х| - отклонение индивидуального результата от среднего значения по группе;
N - число случаев. Одним из самых распространенных в тестологии показателей является дисперсия (среднеквадратичное отклонение). Специалисты считают, что лучшей выборочной характеристикой дисперсии при небольшой выборке или несмещенной оценкой дисперсии является подсчет ее по формуле:
«2 =
Z
N -1
(2)
При расчете нормативов теста обычно используются нормализованные стандартные показатели, которые вычисляются с помощью широко известных статистических таблиц. В этих таблицах приводится процент случаев различных отклонений в единицах от среднего значения нормальной кривой. Нормализованные стандартные показатели имеют следующую формулу:
Z =
( X - M )
(3)
CT
1 Составлено на основе [6].
Таблица 1 - Характеристика факторов валидности тестов _по Д. Кэмпбеллу_
Внутренние факторы валидности Внешние факторы валидности
1. Фон - конкретное событие, происходящее между первым и вторым измерением наряду с экспериментальным воздействием 1. Реактивный эффект - возможное уменьшение или увеличение восприимчивости испытуемых к экспериментальному воздействию под влиянием предварительного тестирования
2. Естественное развитие - изменения испытуемых, являющихся следствием течения времени 2. Эффекты взаимодействия факторов отбора и экспериментального воздействия
3. Эффект тестирования - влияние выполнения заданий, применяемых для измерения достижений испытуемых в эксперименте, на результаты повторного испытания 3. Условия организации эксперимента отражают реакцию тестируемых на эксперимент и не позволяют распространять полученные данные в экспериментальной переменной
4. Инструментальная погрешность - нестабильность измерительного инструмента, при которой изменения в калибровке инструмента или изменения, характеризующие наблюдателя или оценочные показатели, могут сказаться на результатах измерения 4. Взаимная интерференция экспериментальных воздействий, возникающая когда одни и те же испытуемые подвергаются нескольким воздействиям, поскольку влияние более ранних, как правило, не исчезает
5. Статистическая регрессия, имеющая место в том случае, когда группы отбираются на основе крайних показателей и оценок
6. Отбор испытуемых - неэквивалентность группы по составу, что ведет к систематическим ошибкам в результатах
7. Отсев в ходе эксперимента - неравномерность выбытия испытуемых из сравниваемых групп
8. Взаимодействие факторов отбора с естественным развитием и др.
2. Коэффициент валидности [3]. Для разработчика, для пользователя важно получить тест с наиболее высокими коэффициентами валидности. Причем нет единого мнения - какой должна быть величина коэффициента валидности. С точки зрения математи-ко-статистических методов при интерпретации и научном обосновании коэффициента валидности всегда нужно учитывать ряд побочных обстоятельств, т.е. достаточный уровень корреляции можно принять от 0,01 или 0,05.
Когда уже установили корреляцию между тестовыми показателями и критерием, появляется очередная задача: оценить величину корреляции с точки зрения целесообразности использования теста в конкретной ситуации. Особенно
это необходимо при адаптации разработанного или переработанного теста в новых условиях и на ином объекте. Рядовой пользователь-диагност (аудитор либо бухгалтер-контролер) должен получить в инструктивно-методических материалах к тесту обоснованное объяснение величины коэффициента ва-лидности.
А. Анастази считает, что «тест может повысить эффективность прогноза, если для него будет установлена любая, даже низкая, значимая корреляция с критерием. В ряде случаев валидность 0,20 или 0,30 определяет включение теста в программу отбора». По его мнению, «судить о тесте следует, принимая во внимание иные (чем ошибка оценки) способы оценки теста, в первую очередь
те, которые бы учитывали типы решений, осуществляемых на основе результатов теста, - отсев, отбор, корреляция».
По мнению К.М. Гуревича, рассмотрение проблемы валидности заставляет искать причины низких коэффициентов в трех возможных направлениях: в методиках, во внешнем критерии и в процедуре сопоставления, т.е. в применении для валидности линейной корреляции.
Такой подход позволяет как повысить качество самого теста, так и разработать поправочные коэффициенты к нему, для его специфических возможностей. Например, для установления величины индивидуального критериального показателя необходимо обратиться к стандартной ошибке оценки, которая указывает на допустимые пределы возможной ошибки в прогнозируемой тестом величине индивидуального критериального показателя. Ошибка оценки находится по формуле:
_ (4)
CT = CT
e y
VT
- r 2 xy
где гху - квадрат коэффициента валидности;
<у - стандартное отклонение
критериальных показателей.
Это отклонение необходимо просчитать.
В случае валидности теста равной 100% ошибка равна нулю. Когда же ва-лидность теста равна нулю, ошибка оценки чрезвычайно широка.
Величина
- Г 2 xy
показывает,
какой может быть величина ошибки при сравнении с ошибкой формального подхода к тетированию (при нулевой валидности). Если она равна 1, то она столь же велика, как и при формальном подходе.
3. Систематическая ошибка теста представляет собой важную его характеристику, связанную с различием коэффициентов валидности теста для двух и более групп обследуемых (систематическая ошибка наклона) и соот-
ношения между групповыми значениями по тесту и критерию - систематической ошибкой интерцепта.
Систематическая ошибка наклона теста может возникать при альтернативе выводов об эффективности его применения для представителей различных групп. Соответственно, она зависит от величины их выборки.
Систематическая ошибка интер-цепта указывает на систематическое завышение или занижение в тесте значения критерия для части группы обследуемых. И не только содержание компетенций, заложенных в заданиях теста, могут быть причиной систематической ошибки интерцепта. Ключевым фактором выступает семантика самого теста (степень привычности или сложности формулировки его вопросов).
В тестах внешним критерием часто становится суммарный результат, особенно если другие обоснованные внешние критерии трудно определить. Считаем, что вопросы, выбираемые только по признаку внешней валидно-сти, могут быть неудовлетворительны с точки зрения суммарного показателя теста. Для такой ситуации используется термин «чистая эффективность теста», характеризующий чистый прирост ва-лидности теста при добавлении к нему еще одного конкретного показателя.
Если это нововведение при корректировке теста тесно коррелирует с внешним критерием, но относительно слабо с суммарным показателем теста, то оно предпочтительнее другого на этот объект, которое имеет высокую корреляцию и с критерием, и с тестом в целом.
4. Подбор заданий теста по признаку их чистой эффективности ориентирован на максимально широкий охват критерия. Такой подход диаметрально противоположен ориентации теста на внутреннюю согласованность. На выбор тестовых вопросов всегда оказывает влияние особенности внутренней
кординации между аудиторами, завышающие коэффициенты валидности. Поэтому минимальное сокращение ва-лидности достигается отбором вопросов, основанных на заранее сформулированных гипотезах (критериально и концептуально-обоснованные результатами проведенного эмпирического анализа теста).
5. Определение размера выборки. Коэффициент полноты охвата содержания программы тестирования по сумме процентных весов отдельных тестовых заданий можно определить по формуле:
F =Х (Fi, F 2,...Fcn), (5)
где Fc -тестовый коэффициент валидности;
Fch■■■ Fcn коэффициенты 1-го (n-го вопроса);
n - число вопросов.
Коэффициент полноты охвата содержания теста:
E =X(Ei, Ec2,..Ecm), (6)
где m - количество разделов теста.
Возможен еще один коэффициент - полноты отражения вопроса в j-м тестовом показателе. Его можно вывести, если экспертиза опускалась до уровня оценки процентного веса отдельных элементов в составе вопроса теста (5-й уровень). Данный коэффициент можно посчитать по формуле:
TQ1=E (de1+de2+... den), (7)
где TQ1 - тестовый вопрос № 1;
del... den - процентные веса элементов в вопросе от 1-го элемента до n-го;
n - количество элементов, отраженных в тесте.
Применение в подсчетах среднеквадратичных отклонений и других принятых статистических мер позволит повысить точность вариации ошибок экспертного оценивания и предел достоверности ошибок оценивания.
Следует заметить, что использование различных методик приведет к слу-
чайным результатам, о которых исследователь сообщает, не указывая неудачные данные. Учитывая невысокую диагностическую и методологическую культуру начинающих разработчиков тестов, такая опасность более чем реальна. Однако от случайных данных никто не застрахован [2].
Поэтому процедуры адаптации теста СВК должны сопровождаться объяснениями или гипотезами разработчика либо тех, кто проводит адаптацию теста, экспериментальной проверкой выдвинутых рабочих эмпирических гипотез.
Таким образом, профессионализм управленцев в вопросах тестологии заключается в понимании сложности задач создания валидных и надежных контрольных тестов.
По нашему мнению, стандартизация тестов — необходимое условие создания качественного инструментария контроля СВК в аудите.
При апробации теста рекомендуем провести опрос об отношении к процедуре тестирования. Технология процедуры опроса должна быть отработана и стандартизирована. Это позволит сопоставлять данные анализа отношения к различным тестам [3].
Стандартизированные тесты обязательно имеют «Руководство к тесту», содержащее основные сведения о самом тесте и практические рекомендации по организации процедур тестирования, анализу и обработке данных. Это своего рода детализированная пояснительная записка.
В руководстве дается полное название теста, характеристика его целей, задач, информация об авторах-разработчиках, описание структуры теста, сведения о его модернизации, репрезентативности выборки апробации, ее сильных и слабых сторонах, надежности и методах ее проверки, валидности.
Субстантное тестирование требует пояснения в сочетании системного и
нормативного подходов, позволяющих принять во внимание не только взаимосвязи между стандартами аудиторской деятельности, но и рекомендуемые учеными-практиками правила, а также сформировать ряд общих требований при составлении теста и оценке полученных результатов.
Кроме того, в руководстве к тесту обязательно должны быть представлены нормативы (обычно с кратким описанием процедур их выработки или даже с приложением исходных таблиц).
Нам представляется, что эта процедура аудита будет охвачена после рассмотрения действия всей теоретической системы тестирования. Нужно проследить любое исключение в системном тесте и рассмотреть его потенциальный эффект на заключение о рассматриваемой системе.
Таким образом, предложенные методические подходы к оценке тестов системы внутреннего контроля заключаются в оценке их валидности. Процесс валидизации теста предусматривает выполнение процедур, направленных на повышение его валидности, что способствует доказательной базы тестирования. В свою очередь, тестирование системы внутреннего контроля, осуществленное на базе надежных и качественных тестов, позволяет повысить обоснованность оценки аудиторского риска, плана и программы аудита и в целом, качество проведения как внешнего, так и внутреннего аудита.
Библиографический список
1. Михайлычев Е.А. Дидактическая тестология - М.: Народное образование, 2001. - 236 с.
2. Борисов А.Б. Большой экономический словарь. - М.: Книжный мир, 2001. - 148 с.
3. Постановка и функционирование внутреннего контроля и аудита: концептуальный подход, теория и практика: коллективная монография / под ред. О.В. Медведевой. - Ростов н/Д: КОПИЦЕНТР, 2015. - 367 с.
4. Данилевский Ю.А. Аудит: учеб. пособие - 2-е изд., перераб. и доп. - М.: ФБК-ПРЕСС, 2002. - 544 с.
5. МСА 330 «Аудиторские мероприятия по противодействию выявленным рискам»
6. Эксперименты и квазиэксперименты. - URL: http://www.biblioclub.ru/ index.php
7. communikatione.narod.ru/lib/ psy/ eppd/gots.txt
References
1. Mihailychev E. A. Didactic testol-ogy - M.: National education, 2001. -236 p.
2. Borisov A. B. The Great economic dictionary. - M.: world Book, 2001. - 148
3. Definition and functioning of internal control and audit: conceptual approach, theory and practice /collective monograph under the editorship of O. V. Medvedeva. - Rostov-on-Don: COPYCENTER, 2015. - 367 p
4. Danilevsky Y.A. Audit: Manual -2-nd edition., revised and enlarged - M.: ID FBK-PRESS, 2002. - 544 p.
5. ISA 330 "Auditorial activities preventing stated risks"
6. Experiments and quaiexperiments http://www.biblioclub.ru/index.php ISBN 5-89121-004-5 .
7. communikatione.narod.ru/lib/psy/ eppd/gots.txt
