CC BY
91
МЕТОДОЛОГИЧЕСКИЕ АСПЕКТЫ ПОСТАНОВКИ ЗАДАЧИ АНАЛИЗА РЕЗУЛЬТАТОВ ДЕЯТЕЛЬНОСТИ ОРГАНОВ
ВНУТРЕННИХ ДЕЛ
М.П. ДУБИНИН
кандидат технических наук, доцент кафедры информационных технологий органов внутренних дел
Академии управления МВД России Н.М. ДУБИНИНА
кандидат юридических наук, доцент, начальник кафедры информатики и математики
Московского университета МВД России Рецензент: кандидат педагогических наук Е.М. Шпагина
E-mail: [email protected]
Аннотация. Вопросы разработки различных подходов к постановке и решению задач анализа результатов деятельности органов внутренних дел традиционно формируют тематику актуальных научных исследований проблем управления социальными системами-организациями. Объясняется это тем, что анализ и оценка деятельности представляют собой сложную задачу, решение которой требует проработки как специфических методологических вопросов, раскрывающих содержание информационно-аналитической функции в управлении, так и исследование возможностей использования современных компьютерных технологий в аналитической работе.
Ключевые слова: информационно-аналитическая функция управления, задачи анализа результатов деятельности, современные компьютерные технологии.
METHODOLOGICAL ASPECTS OF A PROBLEM DEFINITION
OF THE ANALYSIS OF RESULTS OF ACTIVITY OF LAW-ENFORCEMENT BODIES
M.P. DUBININ
Candidate of Technical Sciences associate professor of information technologies of law-enforcement bodies
of Academy of management of the Ministry of Internal Affairs of Russia
N.M. DUBININA
candidate ofjurisprudence, associate professor chief of chair of informatics and mathematics
of the Ministry of Internal Affairs Moscow university of Russia
Annotation. Questions of development of various approaches to statement and the solution of tasks of the analysis of results of activity of law-enforcement bodies traditionally form scope of actual scientific researches of problems of management of social systems-organizations. It is explained by that the analysis and an assessment of activity represent the complex challenge which decision demands study as the specific methodological questions opening the content of information and analytical function in management, and research of opportunities of use of modern computer technologies in analytical work.
Key words: information and analytical function of management, tasks of the analysis of results of activity, modern computer technologies.
Современный этап реформирования системы МВД России предъявляет новые, возросшие требования к науке управления. Необходима дальнейшая теоретическая разработка многих важных проблем организации деятельности органов внутренних дел и, прежде всего, центрального вопроса — повышения эффективности их функционирования на осно-
ве совершенствования анализа и оценки оперативно-служебной и административно-хозяйственной деятельности, выработки управленческих решений, адекватных складывающейся оперативной обстановки. Тематика направлений научного обеспечения организационно-управленческой деятельности органов внутренних дел определена приказом МВД
России от 18 марта 2013 г. № 1501 и включает исследование таких актуальных проблем как: определяющие показатели оперативно-служебной и слу-жебно-боевой деятельности; критерии оценки деятельности; методические основы анализа, оценки и прогноза изменений оперативной обстановки; оценка последствий принимаемых управленческих решений; методические основы изучения и использования общественного мнения о деятельности органов внутренних дел и др. Важнейшими задачами становятся создание эффективной ^-инфраструктуры, внедрение новейших высокотехнологичных решений, обеспечивающих информационное обеспечение деятельности сотрудников органов внутренних дел, осуществление комплекса мероприятий по интеграции информационных ресурсов и систем в целях повышения уровня информационного обеспечения деятельности МВД России.
Учет и накопление необходимой для функционирования органов внутренних дел информации, ее структуризация, изучение и оценка с позиции организации решения конкретных оперативно-служебных и управленческих задач составляют содержание аналитической деятельности, а ее неразрывная связь с информационными процессами позволяет говорить об информационно-аналитической деятельности соответствующих служб, подразделений и сотрудников. Основная задача аналитической работы как особого вида управленческого труда, нормативно оформленного, организационно и штатно обеспеченного, состоит в том, чтобы собрать и преобразовать исходные данные к виду, удобному для принятия решений.
Реализация информационно-аналитической функции, призванной обеспечить работающие структуры всей необходимой информацией, аналитическими, прогнозными и оценочными материалами лежит в основе управления. Аналитическая работа пронизывает все функции управления, в том числе и, предваряя подготовку управленческих решений, обеспечивая контроль и проверку их фактического исполнения, оценку эффективности деятельности всех служб и подразделений; она выступает важным инструментом повышения организационного уровня в системе управления, осуществляется для решения задач, требующих оперативного, тактического или стратегического реагирования.
Совершенствование информационно-аналитической работы, повышение эффективности анализа оперативной обстановки с целью выявления и объяснения причин ее изменений, выработки управленческих решений в сфере организации борьбы с преступностью представляют собой важные направления оптимизации управления в системе МВД России. Ведущая роль информационно-аналитической функции отмечается во всех нормативных правоустанавливающих актах, регламентирующих функционирование структур МВД России, совершенствование аналитической составляющей процесса управления.
Последние десятилетия наука и практика активно занимаются решением проблем качественных изменений критериев и методик оценок деятельности органов внутренних дел2. Исследование этих вопросов призвано обеспечить создание условий как для построения объективной системы выявления, регистрации и учета преступлений, так и основу для совершенствования организации борьбы с преступностью. При этом наличие соответствующих механизмов статистического наблюдения за состоянием преступности, которые с достаточной полнотой отражали бы качественные и количественные характеристики преступности и результаты борьбы с нею, является условием надлежащего выполнения органами внутренних дел задач противодействия преступности3.
В рамках внедрения информационных технологий в деятельность органов внутренних дел Российской Федерации Указом Президента Российской Федерации от 1 марта 2011 г. № 248 (в ред. Указа Президента России от 18 мая 2012 г. № 633) в структуре Министерства внутренних дел Российской Федерации создан Департамент информационных технологий, связи и защиты информации МВД России, основными задачами которого являются вопросы совершенствования информационных и телекоммуникационных технологий, а также автоматизированных информационных систем. На сегодняшний день одной из приоритетных задач Департамента является создание единой системы информационно-аналитического обеспечения деятельности МВД России4, основой которого выступает единая информационно-телекоммуникационная система (ЕИТКС) органов внутренних дел.
Думается, что предпринимаемые усилия по совершенствованию информационно-аналитической работы, разработка оценочных систем должны быть нацелены, прежде всего, на концептуальный подход (методологию). Такая необходимость объясняется тем обстоятельством, что используемые в настоящее время методики оценки как общих результатов работы органов внутренних дел, так и результатов по отдельным направлениям не учитывают всего многообразия деятельности ОВД. При этом, например, анализ оперативной обстановки в территориальных органах внутренних дел, особенно на районном уровне, зачастую проводится лишь на основе простейшей обработки статистических данных, без комплексного исследования состояния правопорядка, факторов внешней среды и внутриоргани-зационной деятельности органов внутренних дел. Редко осуществляется и проблемный анализ наиболее острых и злободневных вопросов организации борьбы с преступностью, не отвечают современным требованиям подготавливаемые прогнозы. Среди актуальных вопросов, ждущих своего разрешения, следует отметить недостаток системных исследований и методических разработок в постановке задач анализа и оценки результатов деятельности органов внутренних дел, неурегулированность организационных отношений, возникающих при осуществлении информационно-аналитической работы, низкую квалификацию кадров и другие. Кроме того, использование компьютерных технологий в аналитической работе привносит свою специфику в постановку задач анализа и оценки деятельности органов внутренних дел.
Перечисленное выше позволяет сделать вывод о том, что вопрос о разработке различных подходов к постановке и решению задач анализа результатов деятельности органов внутренних дел остается актуальным и в настоящее время. Объясняется это тем, что анализ и оценка деятельности представляют собой сложную задачу, решение которой требует проработки как специфических методологических вопросов, раскрывающих содержание информационно-аналитической функции в управлении, так и исследование возможностей использования современных компьютерных технологий в аналитической работе.
Рассмотрим эти вопросы подробнее. В качестве рабочих гипотез примем следующие положения:
1) постановка задачи анализа и оценки результатов деятельности должна ориентироваться на выработку конкретных решений, поскольку именно они венчают аналитическую работу; 2) теоретическое осмысление содержания, основных принципов и задач, связанных с анализом и оценкой оперативно-служебной деятельности, разработка практических рекомендаций по совершенствованию этой работы должны способствовать, в конечном счете, повышению эффективности деятельности органов внутренних дел, что положительно отразится на уровне защищенности граждан, общества и государства от преступных посягательств; 3) методология исследования вопросов постановки задач анализа деятельности должна базироваться на диалектическом методе познания, который позволяет рассматривать явления и процессы во взаимосвязи, обусловливающей обстоятельства и тенденции в сфере организации аналитической работы в органах внутренних дел; 4) свою специфику в аналитическую деятельность привносят используемые методы и модели обработки качественных и количественных результатов деятельности.
Аналитическая работа (информационно-аналитическая работа), как особый вид управленческого труда, в широком смысле представляет собой исследовательскую и познавательную деятельность с целью выявления сущности, особенностей, тенденций и закономерностей анализируемых явлений, изыскания возможности использования полученных знаний в теории и практике управления. В узком смысле анализ — составная часть исследования, наряду с такими его элементами как сбор данных, наблюдение, упорядочение, классификация и др.
Информационную работу осуществляют все субъекты управления, создавая для этого специальные структурные подразделения (штабы, аналитические группы, информационно-аналитические отделы, другие элементы управленческих структур). Особую роль в деятельности по обеспечению управления органами внутренних дел играют штабные подразделения, которые, организуя работу по получению, обработке, систематизации, накоплению и обобщению разноаспектной информации, необходимой для аналитической деятельности и принятия управленческих решений, определяют: источники информации и перечень необходимых основных
сведений; согласовывают с руководителями подразделений номенклатуру и периодичность представления информационно-аналитических, справочных и иных материалов; полноту, достоверность и приемлемость предоставляемых сведений для использования в информационно-аналитической работе; решают другие, в том числе организационно-правовые вопросы. Аналитическая работа, составляя основное содержание повседневной работы каждого руководителя и управленческого работника, предназначена, прежде всего, для оценки собранных первичных данных, своевременного обнаружения возникающих проблем, выдвижение объективно необходимых целей и взвешенных реально-выполнимых задач, выбор наиболее целесообразных путей и средств их решения. Таким образом, аналитическая работа подразумевает не просто сбор первичных данных о системе управления, но, прежде всего, их исследование в целях выявления определенных закономерностей функционирования системы и принятия на этой основе управленческих решений (формулирование определенных выводов, предложений, рекомендаций и т.д.) по совершенствованию деятельности.
Итак, целью аналитической работы в органах внутренних дел является получение конечных результатов, связанных с решением конкретных задач исследования, которые, в свою очередь, определяются задачами организации функционирования системы управления в конкретных условиях складывающейся оперативной обстановки. Можно выделить следующие направления исследовательских задач, различающихся по своему содержанию и целям: текущий анализ для нужд оперативного руководства службами и подразделениями; проблемный анализ для глубокой проработки отдельных проблемных вопросов состояния охраны общественного порядка и борьбы с преступностью с целью выработки инициативных решений в условиях складывающейся нестандартной обстановки; комплексный анализ обстановки за отчетный период для текущего планирования работы.
Говоря об оценке эффективности аналитической работы, следует выделить ее информационную эффективность. Ясно, что результатом анализа должны быть либо новые знания об объектах изучения, выраженные, например, в новых его свойствах,
выявленных закономерностях, либо решение каких-либо конкретных проблем предметной области. Так информационная эффективность нормативного прогноза может характеризоваться ценностью прогнозной информации о будущем состоянии для принятия управленческих решений. Следует заметить, что проблема оценки информационной составляющей аналитической работы еще ждет своей научной разработки.
Задачи анализа деятельности органов внутренних дел определяются информационной сущностью аналитической работы, содержательной характеристикой представления процесса управления как информационного процесса, в ходе которого исходные сведения (данные) с использованием соответствующих технологий сбора, накопления, систематизации и анализа превращаются в информацию, пригодную для выработки и принятия управленческих решений.
В качестве основных объектов аналитических исследований в органах внутренних дел могут рассматриваться: внешняя среда функционирования, оперативная обстановка, состояние организаторской деятельности, эффективность функционирования системы управления в целом и результаты деятельности по отдельным направлениям борьбы с преступностью. На систематическую основу должны быть поставлены: изучение общественного мнения; имеющиеся факторы и источники социальной напряженности.
В отличие от объекта, предметом аналитических исследований являются сопоставляемые и анализируемые существенные свойства изучаемых объектов, выраженные в соответствующих показателях, закономерности рассматриваемых явлений и процессов. Например, в ходе анализа и оценки деятельности органов внутренних дел следует выявить цепочку связей: криминогенно значимые факторы внешней среды — состояние преступности — ресурсное обеспечение и результаты оперативно-служебной деятельности — организаторская работа.
С содержательной точки зрения, среди задач анализа можно выделить следующие: формирование (на основе значений первичных показателей) обобщенных (интегрированных) оценок объектов исследования; прогнозирование изменений обобщенных характеристик объектов исследования; выявление закономерностей и взаимосвязи пока-
зателей, выбранных для описания объектов исследования; формирование пространства возможных состояний системы управления и оценка их предпочтительности; выработка и принятие управленческих решений по переводу объектов управления из исходного в целевое состояние. Каждая из перечисленных задач требует своей научной постановки, разработки соответстующих моделей, методов и алгоритмов решения. Сложность также заключается в том, что в управленческой деятельности используется не только количественная, но и качественная трудно формализуемая информация, нередко имеющая субъективный характер.
Использование современных информационных технологий в решении аналитических задач, в том числе и задачи анализа результатов деятельности, привносит свою специфику, которую можно охарактеризовать следующими чертами: ф научной постановкой практической задачи, решаемой с использованием компьютерных технологий;
ф наличием модели, реализующей научную постановку практической задачи; ф наличием методов и алгоритмов, решающих поставленную задачу на основе предложенной модели;
ф постановкой алгоритмов решения задачи на компьютере;
проведением расчетов на компьютере; доказательством адекватности поставленной и решенной задачи объективной реальности. Информационную основу аналитической работы в органах внутренних дел представляют системы информации, которые вместе со средствами автоматизации, методами и процедурами сбора, передачи, хранения и преобразования информации, коммуникациями, персоналом, организационно-правовым обеспечением представляют собой информационные системы аналитической деятельности. Заметим, что процесс разработки и внедрения современных информационно-аналитических систем и технологий в практическую деятельность органов внутренних дел еще ждет своих исследователей.
В ходе анализа (в результате мыслительного процесса) осуществляется приведение разрозненных сведений в логически обоснованную систему зависимостей (пространственно-временных, при-
чинно-следственных и иных), позволяющих оценить влияние на изучаемую предметную область как всей совокупности фактов в целом, так и каждого из них в отдельности.
Технология аналитической работы представляет собой способы, средства и методы получения в результате исследования выходной информации в виде новых знаний об объекте и предмете исследования (или получить решение конкретной задачи предметной области). Средства аналитической работы непосредственно связаны с ее методикой, представляющей собой совокупность операций, осуществляемых в определенной последовательности и приводящей к достижению целей и задач проводимых исследований.
В зависимости от конкретной постановки задачи в анализе могут использоваться как общенаучные (исторический, логический, методы обобщения, абстрагирования, метод моделирования и др.), так и специальные (частные) методы (статистические, математические, методы конкретных социологических исследований и др.).
Обработка информации в органах внутренних дел — наиболее сложный этап информационно-аналитической работы, характеризующийся особой значимостью получаемых результатов для подготовки грамотного и объективного анализа с целью совершенствования оперативно-служебной и управленческой деятельности как в целом территориальных органов, так и их служб и подразделений. На данной стадии, прежде всего, используются статистические методы, позволяющие определить количественные параметры изучаемых социальных процессов и явлений. К наиболее используемым относятся корреляционный, линейный, регрессионный факторный, вычисление индексов и коэффициентов, анализа и прогнозирования динамических рядов и др.
Решение информационно-аналитических задач, в основе которых лежат процедуры оценивая, требует разработки системы оценки, что предполагает:
ф формирование критериев оценки, исходя из целей и задач, решаемых постановщиком задачи; формирование системы оценочных показателей, наиболее полно и объективно отражающих объект исследования, например, показателей для характеристики оперативной обстановки5, резуль-
татов оперативно-служебной деятельности органов, служб и подразделений внутренних дел6; ф разработку методики получения интегрированной (обобщенной, итоговой) оценки. Под критерием следует понимать правило, позволяющее объективно оценивать какую-либо деятельность (или ее результаты). Критерии оценки лежат в основе формирования оценочных показателей. Выбор критериев эффективности полностью зависит от сущности рассматриваемой задачи и требует тщательного анализа всех характеристик и показателей изучаемой системы. В органах внутренних дел речь следует вести о системе критериев, позволяющих в своей совокупности правильно и достаточно полно судить об эффективности борьбы с преступностью и охране общественного порядка. Поэтому задача оценки деятельности представляет собой, как правило, многокритериальную задачу, решаемую на основе отдельных показателей.
В основу оценки, рассматриваемой в качестве инструмента анализа состояния работы органов внутренних дел по выполнению возложенных на них задач, могут быть положены различные подходы и методы. Среди них: сравнительный анализ; расчет статистических показателей, используемых при классификации объектов; ранжирование объектов; нормативный и др.
Метод сравнительных исследований может преследовать следующие цели:
ф сравнение количественных и качественных показателей, характеризующих результаты работы территориальных органов внутренних дел, с эталонными их значениями для решения задач ранжирования органов по результатам деятельности. В качестве эталонов (критериев), могут быть приняты, например: показатели-нормативы, установленные ведомственными нормативными правовыми актами; средние значения показателей по региону или средние значения показателей по России, или лучшие из значений по каждому показателю за последние несколько лет и др. В конечном счете, на основе обобщенной оценки состояния деятельности территориальных органов внутренних дел устанавливается эффективность их функционирования, проводится их ранжирование с целью выявления наилучших и наихудших органов (по задан-
ному критерию) и выработки соответствующих управленческих воздействий по выявлению неиспользованных резервов и совершенствованию оперативно-служебной и управленческой деятельности; ф сравнение количественных и качественных показателей, характеризующих результаты различных направлений оперативно-служебной деятельности территориальных органов; изучение влияния криминогенной обстановки, факторов внешней среды и состояния организаторской деятельности на конечные результаты деятельности территориальных органов, их служб и подразделений.
В решении многокритериальной задачи оценивания с успехом может применяться расчет статистических показателей, используемых при классификации объектов. В настоящее время для решения задач классификации развиты такие области прикладной математики, как теория распознавания образов, кластерный анализ, многомерное шкалирование и др.
С точки зрения технологии анализа данных, классификация объектов проводится для того, чтобы от попарного сравнения объектов перейти к сравнению каждого объекта со всей совокупностью. Для этого формируется некоторый эталон — система показателей, характеризующих совокупность объектов в целом. По этим показателям проводится упорядочение объектов. Для каждого объекта из упорядоченной совокупности объектов по каждому показателю может быть определено его место (ранг). Ранги как безразмерные величины могут быть использованы для окончательной суммарной оценки при обработке данных. При ранжировании объектов нередко используются значения статистических показателей, нормированных по отношению к средним значениям показателей или по их стандартным отклонениям'.
Характерной чертой информационно-аналитического обеспечения деятельности органов внутренних дел является прогнозирование, которое призвано обеспечить его научность и рациональность.
Решение информационных задач, в основе которых лежат процедуры прогнозирования результатов деятельности, опирается на методы моделирования, экспертных оценок и экстраполяции. Можно сказать, что в целом методы анализа результатов дея-
ТЕХНИЧЕСКИЕ НАУКИ
тельности органов внутренних дел представляют собой методы анализа данных, которые выступают в качестве инструмента как поискового, так и нормативного прогнозирования.
Задача поискового прогнозирования — оценка будущего результата на базе предварительно подобранных показателей и алгоритмов экстраполяции. Задача нормативного прогнозирования — оценка значений показателей и алгоритмов, обеспечивающих достижение требуемых показателей, выступающих в качестве целевых.
В заключение отметим, что анализ деятельности органов внутренних дел в рамках такой большой и сложной системы как МВД России, требует большого объема исходных систематизированных данных и тщательной, кропотливой работы по проведению анализа этих данных, а именно — установлению взаимосвязей, группировке данных, повышению их достоверности. На надежную, реальную и достоверно отображающую действительное состояние системы управления информацию должны опираться решения руководителя. При этом анализ и оценка деятельности представляют собой исходный этап, определяющий пространство возможных состояний для системы управления, ее текущее и целевое состояние, проблемную управленческую ситуацию, в которой субъект управления принимает управленческое решение. При этом, с технологической точки зрения, сам процесс выполнения общих и частных функций управления может быть представлен цепочкой (последовательностью) решений. Получение достоверных данных и их анализ лежит в основе внутриорганизационных мероприятий, направленных на совершенствование системы управления в органах внутренних дел, выработку управленческих решений. Сам же процесс выработки и принятия управленческого решения на основе анализа результатов деятельности органов внутренних дел представляет собой важную область практического использования современных информационных технологий в системе МВД России.
1 Приказ МВД России от 18 марта 2013 г. № 150 «Об организации научного обеспечения и применении положительного опыта в органах внутренних дел Российской Федерации и внутренних войсках МВД России».
2 Приказы МВД России 1995, 1997 и последующих годов, регламентирующих организацию инспектирования и контрольных проверок в органах внутренних дел.
Приказ МВД России от 29 ноября 2001 г. № 1047 «О мерах по совершенствованию системы оценки деятельности органов внутренних дел». Утратил силу в связи с приказом МВД России от 31 декабря 2008 г. № 1200. Приказ МВД России от 23 ноября 2002 г. (ред. 8 апреля 2005 г.) № 1150 «О введении в действие системы оценки деятельности органов внутренних дел, отдельных подразделений криминальной милиции и милиции общественной безопасности, органов предварительного расследования». Утратил силу в связи с приказом МВД России от 5 августа 2005 г. № 650.
Приказ МВД России от 5 августа 2005 г. (ред. 30 декабря 2008 г.) № 650 «Вопросы оценки деятельности органов внутренних дел Российской Федерации, отдельных подразделений криминальной милиции, милиции общественной безопасности, органов предварительного расследования и органов внутренних дел на транспорте». Утратил силу. Приказ МВД России от 4 августа 2006 г. (ред. 2 марта 2012 г.) № 610 «Вопросы оценки деятельности главных управлений МВД России по Федеральным округам». Утратил силу в связи с изданием приказа МВД России от 10 января 2012 г. № 15. Приказ МВД России от 30 декабря 2007 г. (ред. 24 февраля 2012 г.) № 1246 «О повышении эффективности изучения общественного мнения об уровне безопасности личности и деятельности органов внутренних дел Российской Федерации на основе использования вневедомственных источников социологической информации.
Приказ МВД России от 19 января 2010 г. № 25 (ред. 27 августа 2010 г.) «Вопросы оценки деятельности органов внутренних дел Российской Федерации, отдельных подразделений криминальной милиции, милиции общественной безопасности и органов предварительного расследования». Утратил силу в связи с приказом МВД России от 26 декабря
2011 г. № 1310.
Приказ МВД России от 29 июня 2011 г. № 735 «Вопросы оценки деятельности органов внутренних дел Российской Федерации». Утратил силу в связи с приказом МВД России от 26 декабря 2011 г. № 1310.
Приказ МВД России от 26 декабря 2011 г. № 1310 (в ред. приказа МВД России от 2 октября 2012 г. № 907) «Вопросы оценки деятельности территориальных органов Министерства внутренних дел Российской Федерации».
3 Гаврилов Б.Я. Современная уголовная политика России: цифры и факты. М.: Велби, Проспект, 2008. 208 с.
4 Приказ МВД России от 30 июня 2011 г. (ред. 30 ноября
2012 г.) № 891 «О мероприятиях по созданию единой системы информационно-аналитического обеспечения деятельности органов внутренних дел». Приказ МВД России от 30 марта 2012 г. № 205 «Об утверждении концепции создания единой системы информационно-аналитического обеспечения деятельности МВД России в 2012—2014 годах».
5 Для анализа оперативной обстановки на обслуживаемой органами внутренних дел территории собирается информация: о состоянии правопорядка; о факторах внешней среды; о силах и средствах органа внутренних дел; о результатах оперативно-служебной и управленческой деятельности органа внутренних дел.
6 При оценке результатов деятельности органов внутренних дел группу показателей достаточно схематично можно разбить на две большие части: общесистемные и отраслевые показатели. Общесистемные показатели применяются как для оценки деятельности органов внутренних дел в целом, так и для отдельных служб и подразделений. Отраслевые показатели предназначены только для оценки деятельности отдельных служб.
7 Кононенко В.И., Кравченко Ю.А. Оценка деятельности по совокупности результатов. Сборник трудов ХV Международной научной конференции «Информатизация и информационная безопасность правоохранительных органов. М., 2005 г.
