CC BY
61
УДК 37.048.45 ББК Ч420.053.6
ГСНТИ 14.35.07
Код ВАК 13.00.02
Савельев Владимир Вадимович,
аспирант, кафедра педагогики и психологии образования, Институт социальных и политических наук, Уральский федеральный университет им. первого Президента России Б. Н. Ельцина; 620142, г. Екатеринбург, ул. Куйбышева, д. 48,
к. 607; e-mail: [email protected]
ПРИМЕНЕНИЕ МЕТОДОВ ТЕМАТИЧЕСКОГО МОДЕЛИРОВАНИЯ К ПРОФЕССИОНАЛЬНЫМ СТАНДАРТАМ ДЛЯ РЕАЛИЗАЦИИ МОДУЛЬНОГО ПОДХОДА К КЛАССИФИКАЦИИ ПРОФЕССИЙ
КЛЮЧЕВЫЕ СЛОВА: профориентация школьников; классификация профессий; модульный подход; тематическое моделирование; выбор профессии; профессиональные стандарты; профессиональная ориентация; профессиональное самоопределение; профориентационная работа.
АННОТАЦИЯ. В данной статье представлены результаты разработки классификации профессий на основании модульного подхода, предложенного В. Е. Гавриловым. Получившаяся классификация состоит из 12 модулей - типовых элементов деятельности, - каждый из которых входит в состав целого ряда профессий. Совокупность модулей, входящих в ту или иную профессию, формирует ее профиль. Каждый из представленных модулей имеет список ключевых слов-индикаторов, по которым можно выявлять профиль профессии на основании должностных инструкций, представленных в едином тарифно-квалификационном справочнике, общероссийском классификаторе занятий, а также в иных нормативных документах. Разработка данной классификации осуществлялась с применением алгоритма тематического моделирования текстов на естественном языке - Латентного Размещения Дирихле (или LDA). Использование данного алгоритма при обработке большого количества документов (так называемого корпуса текстов) дает возможность получить список тем, указывающих на смысловое содержание данных текстов. Каждая тема по сути представляет собой список ключевых слов, совместно встречающихся в большом количестве документов. Данный алгоритм был применен к корпусу, состоящему из профессиональных стандартов, которые были разработаны Министерством труда и социальной защиты совместно с ведущими производственными предприятиями Российской Федерации. Общее количество стандартов в корпусе составило 801. Из каждого стандарта были взяты только трудовые действия, осуществляемые работником на рабочем месте. Предложенная классификация, безусловно, нуждается в доработке и уточнении, после чего она может быть использована для разработки новых методов профориентационной работы со старшеклассниками и абитуриентами.
Savelyev Vladimir Vadimovich,
Post-graduate Student, Department of Pedagogy and Psychology of Education, Ural Federal University n.a. the first President of
Russia B.N. Yeltsin, Ekaterinburg, Russia.
APPLICATION OF TOPICAL MODELING TO PROFESSIONAL STANDARDS
FOR THE IMPLEMENTATION OF A MODULAR APPROACH TO OCCUPATIONS CLASSIFICATION
KEY WORDS: vocational guidance; classification of occupations; modular approach; topic model; career choice; professional standards; career guidance; professional self-determination; work on career guidance.
ABSTRACT. The article present a classification of occupations based on a modular approach, which was proposed by V.E. Gavrilov. This classification consists of 12 modules, typical elements of activity, each being a member of a large number of professions. The set of modules, included in different professions, constitutes its profile. Each of these modules has a list of keywords-indicators by which one can identify the profile of the profession on the basis of job descriptions, presented in the RCO and other normative documents. The development of the classification was carried out with the help of the algorithm of topic modeling - Latent Dirichlet Allocation (or LDA). Using this algorithm for processing a large number of documents (the so called corpus) gives an opportunity to get a list of topics, which disclose the semantic content of these texts. Each topic is a list of keywords which are used together in a large number of documents. This algorithm has been applied to a corpus of professional standards, which were developed by the Ministry of Labour and Social Protection in cooperation with the leading industrial enterprises of the Russian Federation. The total number of standards was 801. Only the duties performed by the workers at their workplaces were taken from each standard. The proposed classification is definitely in need of updating and refining, after which it can be used for the development of new methods of vocational guidance for high school students and enrollees.
Bi
• настоящее время в связи с переходом российского общества в постиндустриальную эпоху мы можем наблюдать существенные изменения в мире профессий, проявляющиеся в ускорении темпов трудовой деятельности и трансформации структуры занятости населения [8, с. 259]. В отли-
чие от предыдущих поколений, представители которых зачастую работали на одном месте всю свою жизнь, современные жители Российской Федерации неоднократно меняют не только места работы, но и саму специальность. Это приводит к тому, что проблема выбора профессии перестает касаться только
© Савельев В. В., 2017
молодежи - она становится актуальной для всех возрастов [3, с. 46].
Кроме того, сам мир профессий стремительно меняется, в некоторой степени моделируя собой эволюционный принцип естественного отбора. Одни профессии исчезают, другие - появляются, третьи - изменяются до неузнаваемости [4, с. 97-98]. Это происходит неоднократно в течение буквально нескольких лет, что делает крайне затруднительной формулировку требований, которым должен соответствовать человек для успешной самореализации в рамках конкретной профессии.
Эти изменения вместе с некоторыми другими факторами социально-экономического характера существенным образом усложняют проблему профессионального самоопределения [7, с. 62], что порождает ряд серьезных общественных проблем. Так, по данным мониторинга профессионального образования, около 50 % выпускников высших и средних учебных учреждений не идут работать по полученной специальности [13, с. 23-24], хотя в некоторых сферах экономики наблюдается существенный кадровый дефицит [15, с. 10-11]. При этом существующая система профориентации не в состоянии разрешить эти проблемы, что признается не только специалистами [8, с. 260], но и самими учащимися [14, с. 237].
Все это ставит вопрос об адекватности применения тех же самых профориентаци-онных методов и технологий, которые были разработаны еще в индустриальную (и, по большей части, советскую) эпоху. В частности, одним из критических моментов является использование «жестких» психологических классификаций профессий, предназначенных для соотнесения индивидуальных качеств оптантов с требованиями, которые предъявляет к ним та или иная профессия.
Модульный подход к классификации профессий
Примером «жесткой» классификации профессий, при которой каждая профессия принадлежит только одному классу, может служить многомерная типология, предложенная Е. А. Климовым и повсеместно используемая в практической профориента-ционной работе [9, с. 115]. В этой типологии каждая профессия принадлежит к определенному кластеру; кластеры формируются по четырем переменным - предмету труда (человек, природа, техника, знак и художественный образ), целям труда (гностическая, преобразующая, изыскательская), средствам труда (ручной труд, машинно-ручной труд, применение автоматизированных, функциональных средств труда) и условиям труда (комнатные, уличные, не-
обычные и в условиях повышенной моральной ответственности). Таким образом, данная классификация позволяет разделить весь мир профессий на 240 кластеров, что существенно сокращает размерность пространства профессий и позволяет выстроить в нем понятные ориентиры.
Однако данная классификация обладает двумя ограничениями, отмеченными В. Е. Гавриловым, которые существенным образом сужают сферу ее применения [2, с. 111]. Первый пункт критики касается того, что при той динамике изменения мира профессий, которую мы можем сейчас наблюдать, становится крайне затруднительным раз и навсегда отнести профессию к тому или иному классу. В частности, повсеместная автоматизация различных производственных процессов приводит к тому, что все больше и больше профессий меняют свое содержание и переходят из классов «ручные» и «машинно-ручные средства труда» в класс «автоматизированные средства труда» [6, с. 149-150]. Второй и более серьезный пункт критики касается внутренней разнородности каждой профессии, ведь многие профессии на деле включают в себя черты из различных классов. Так, затруднительным становится определить, к какому кластеру принадлежит врач-терапевт. С одной стороны, мы можем отнести его к типу «человек - человек», поскольку он, как правило, работает с людьми. С другой стороны, организм человека и его отдельные подсистемы - природные объекты, и мы имеем полное право разместить данную профессию в группу «человек -природа». Кроме того, важной частью работы врача является заполнение медицинской документации («человек - знак»). При дальнейшем анализе мы можем выяснить, что врач, как правило, работает одновременно и в комнатных условиях, и в условиях повышенной моральной ответственности и использует практически все виды средств труда.
Таким образом, на деле оказывается, что многомерная классификация не в состоянии разбить профессии на полноценные группы. Надо отметить, что данные критические пункты касаются не столько типологии Е. А. Климова как таковой, сколько самого методологического подхода, который пытается вписать такой сложный объект, как профессия, в рамки «жесткой» классификации, при которой один объект принадлежит ровно одной группе. Очевидно, что здесь необходимы другие принципы разбиения профессий на классы.
Альтернативой «жесткой» классификации может являться так называемая «нечеткая» кластеризация, при которой один и тот
же объект может принадлежать сразу нескольким классам [5, с. 175]. Одной из попыток применения этого принципа является дескрипторный подход, предложенный В. В. Пчелиновой [12, с. 78], основыванный на классификации Е. А. Климова, однако имеющий два существенных отличия. Первое состоит в том, что вместо отнесения конкретной профессии к определенному классу каждой из них приписывается свой особый набор дескрипторов, описывающих либо предмет, либо условия, либо средства, либо цели труда. Таким образом, каждая профессия может входить сразу в несколько классов, что снимает проблему упрощения содержания профессий для их эффективной классификации. Второе отличие заключается в количестве таких дескрипторов - оно было существенным образом увеличено - 6 дескрипторов для целей труда, 11 - для средств и 30 - для условий. Что касается предметов труда, то их число осталось прежним - природа, человек, техника, знак и художественный образ. Таким образом, общее количество дескрипторов составляет 52.
Еще более интересным примером является модульный подход к классификации профессий, предложенный В. Е. Гаврило-вым еще в конце восьмидесятых годов [2, с. 112]. Согласно этому подходу, каждая профессия состоит из определенных типовых элементов деятельности (модулей), каждому из которых соответствует некоторый набор психологических характеристик. Разные профессии могут содержать в себе одни и те же модули, и, таким образом, зная модульный состав каждой профессии и имея психологическое описание модулей, мы получаем возможность компактно представить мир профессий.
Для составления описаний модулей В. Е. Гаврилов предлагает следующий алгоритм.
1. Анализ профессиограммы с целью выделения типовых элементов деятельности. При этом элементы, сходные по трудовым функциям, объединяются в общие классы.
2. Сопоставление модулей с психологическими требованиями к ним, осуществляемое также на основе профессиограмм.
3. Составление словаря терминов, с использованием которого можно определять наличие тех или иных модулей в профессии на основе информации, полученной из Единого тарифно-квалификационного справочника.
Общим моментом в рассмотренных выше классификациях является то, что они не предполагают жесткого деления профессий на классы. Вместо этого профессии разбиты на отдельные элементы, таким обра-
зом с их помощью формируется п-мерное векторное пространство, где п - это количество таких элементов. В рамках модульного подхода мы имеем п-мерное пространство модулей, где п - общее количество модулей; в рамках дескрипторного - 52-мерное пространство дескрипторов с четырьмя отдельными подпространствами (предмет, цель, средства и условия труда). Каждая профессия здесь представлена вектором в этом пространстве, а это значит, что мы имеем возможность находить расстояния между этими векторами и определять сходные по содержанию профессии.
Это решение имеет большое количество преимуществ, главным из которых является возможность объединять профессии в классы с минимальными потерями информации и с различным уровнем обобщения.
Тематическое моделирование для реализации модульного подхода
К сожалению, предложенный В. Е. Гав-риловым алгоритм выделения модулей / дескрипторов отличается крайней трудоемкостью и требует работы большого количества специалистов-психологов. Поэтому в данной статье мы бы хотели предложить иной подход на основе использования методов тематического моделирования.
Тематическое моделирование - один из способов статистической обработки текстов, который позволяет определить тему каждого из них [10, с. 215]. Основная идея состоит в том, что тема текста представляется как устойчивый набор ключевых слов, с определенной регулярностью встречающийся в большом наборе (корпусе) текстов. При этом один текст может содержать в себе сразу несколько тем, разбиваясь таким образом на семантические блоки. Такой подход позволяет решить сразу две серьезные проблемы, касающихся статистической обработки текстов, - проблему синонимии, при которой одна и та же концепция может определяться абсолютно различными наборами слов, и проблему полисемии, при которой одно и то же слово может иметь разные значения в различных контекстах. Основными результатами применения алгоритмов тематического моделирования являются таблица, указывающая на наличие или отсутствие той или иной тематики в тексте, а также список ключевых слов, характерных для каждой темы.
Данные методы можно использовать для корпуса текстов, содержащих профес-сиограммы и должностные инструкции, выделив тем самым тематические блоки. Примером применения этого подхода в целях профориентации является работа М. Ю. Макаровой [11, с. 7]. В качестве корпуса текстов
ею были выбраны должностные инструкции из «Квалификационного справочника должностей руководителей, специалистов и других служащих», а в качестве алгоритма тематического моделирования - латентный семантический анализ (ЛСА). На основе полученных результатов М. Ю. Макаровой была разработана компьютерная программа, которая позволяет находить сходные по содержанию профессии, облегчая тем самым информационный поиск.
Несмотря на то что цель данного исследования и не состояла в непосредственном выделении модулей профессии, оно демонстрирует преимущества подобного рода методов - существенную экономию времени, а также возможность оперативно добавлять новые профессии в момент появления их описаний.
Для проведения нашего исследования мы решили взять несколько иной источник, а именно - профессиональные стандарты, разрабатываемые Министерством труда и социальной защиты с 2012 года с участием ведущих производственных предприятий [1, с. 6] и с 1 июля 2016 года ставшие обязательными к применению для муниципальных и государственных учреждений, а также коммерческих организаций с превалирующей долей государственного капитала. Каждый из этих стандартов является отдельным нормативным документом, что позволяет подвергать их оперативному обновлению. И в каждом из них идет подробное описание всех трудовых функций, которые необходимо осуществлять специалисту на рабочем месте, а также знаний и навыков, необходимых для этого. К моменту написания статьи Министерством труда и социальной защиты был опубликован 801 профессиональный стандарт, из которых был составлен корпус текстов для нашего пилотного исследования.
Целью этого исследования было выделение модулей профессии из данного корпуса текстов методом Латентного размещения Дирихле (ЬБЛ), входящим в класс алгоритмов тематического моделирования. Поскольку модуль профессии по определению В. Е. Гаврилова трактуется как типовой элемент деятельности, для составления корпуса нами было оставлено исключительно описание трудовых функций из третьего раздела профессиональных стандартов, без знаний и навыков.
Над всеми текстами был проведен ряд предварительных процедур, позволяющих улучшить качество ЬБЛ. Во-первых, нами
были удалены все знаки препинания и служебные части речи. Во-вторых, все оставшиеся слова были приведены к своей начальной форме (процедура лемматиза-ции).
Само Латентное размещение Дирихле было организовано с помощью программы Topic Modeling Tool, являющейся графическим интерфейсом программного пакета MALLET - реализации LDA на языке Java.
Одним из важных ограничений, с которым мы столкнулись в процессе проведения исследования, была необходимость выбора количества тем, которые выделялись бы из корпуса текстов. Для того чтобы подобрать оптимальное число тем, мы использовали два критерия. Первый - адекватность выделения ближайших профессий по матрице расстояний, построенной на основе таблицы «Темы-на-документы». Второй параметр - легкость интерпретации получившихся тем по набору ключевых слов. По данным параметрам наиболее соответствующее данному критерию число тем - 85.
Часть получившихся тем указывает на предметную область деятельности, в то время как оставшиеся представленные в табл. 1 темы обозначают типовые элементы деятельности без соотношения с какой бы то ни было предметной областью.
В данном исследовании нами было выявлено 12 модулей, инвариантных по отношению к конкретной области экономической деятельности.
В табл. 2 представлено три профессии с указанием их модульного состава. Из данной таблицы мы можем заключить, что в профессию «Системный программист» входят четыре модуля («Управление проектами», «Проверка», «Разработка технологии» и «Конструирование»), в профессию «Винодел» - пять («Оценка», «Проверка», «Разработка технологии», «Организация и планирование», а также «Изготовление»), а в профессию «Резчик труб и заготовок» - только два («Изготовление» и «Проверка»). Используя данную матрицу, мы можем, во-первых, оценить, насколько сложной по своему составу является та или иная профессия, а во-вторых, определить степень близости различных профессий по содержащимся в них модулям.
Таким образом, мы обосновали принципиальную возможность использования методов тематического моделирования для реализации модульного подхода к классификации профессий на основе профессиональных стандартов.
Таблица 1
Список выделенных модулей
Модули профессии Содержание модуля Ключевые слова
Организация и планирование Общая организация деятельности предприятия или подразделения, планирование и контроль Организация, разработка, подразделение, анализ, работа, деятельность, подготовка, контроль, мероприятие, план
Управление персоналом Обеспечение работников необходимыми ресурсами, организация труда Контроль, работа, обеспечение, работник, труд, проведение, организация, выполнение, производственный, безопасность
Ремонт и обслуживание Ремонт, обслуживание и наладка технических систем Технический, оборудование, ремонт, работа, обслуживание, средство, выполнение, документация, состояние, эксплуатация
Проверка Обеспечение соответствия результата деятельности требованиям к данному результату Контроль, соответствие, требование, документация, проверка, проведение, соблюдение, результат, нормативный, необходимый
Разработка технологии Разработка и внедрение новых технологий и отдельных технических процессов Производство, разработка, анализ, новый, работа, предложение, технология, внедрение, процесс, материал
Устранение кризисных ситуаций Предотвращение кризисных ситуаций, возникающих во время производственных процессов Оборудование, работа, оперативный, режим, аварийный, контроль, руководство, персонал, ситуация, смена
Изготовление Изготовление продукции согласно определенной технической документации Технологический, оборудование, процесс, параметр, контроль, операция, оснастка, подготовка, изготовление, проведение
Конструирование Разработка и проектирование конструкций технических систем Технический, разработка, документация, конструкторский, проектирование, решение, проектный, задание, анализ, конструкция
Оценка Оценка соответствия работы системы относительно определенных стандартов Продукция, качество, контроль, производство, соответствие, стандарт, организация, технический, требование, подготовка
Управление проектами Организация разработки проектов, выяснение требований заказчика Проект, организация, разработка, изменение, управление, работа, согласование, план, договор, заказчик
Испытание Проведение испытаний технической системы в контролируемых условиях Измерение, испытание, средство, проведение, анализ, оборудование, результат, контроль, метод, поверка
Исследование Проведение исследований, предназначенных для разработки или апробации новых технологий Проведение, исследование, технология, область, разработка, результат, научно, разрабатывать, работа
Таблица 2
Модульный состав профессий «Системный программист», «Резчик труб и заготовок» и «Винодел»
Системный программист Резчик труб и заготовок Винодел
Управление проектами Х
Управление персоналом
Исследование
Испытание
Оценка Х
Проверка Х X Х
Разработка технологии Х Х
Конструирование Х
Организация и планирование Х
Ремонт и обслуживание
Устранение кризисных ситуаций
Изготовление Х Х
К сожалению, результаты пилотного исследования пока нельзя признать достаточными для окончательного выделения модулей. На это указывают следующие факты.
1. Не все профессии адекватно кластеризуются по матрице расстояний. Так, для аудиторов четыре ближайшие профессии -это специалист по управлению рисками, специалист по внутреннему контролю, внутренний аудитор и специалист по платежным системам, что является довольно
хорошими результатом. А вот четыре ближайших профессии к асфальтобетонщику включают в себя, кроме всего прочего, специалиста по похоронному делу, что, безусловно, выглядит странным.
2. Некоторые профессии из первоначального корпуса не содержат в себе ни одного из выделенных нами модулей. Это может происходить в силу того, что одно и то же ключевое слово может содержаться в различных темах, и, попав одновременно в
«модульную» и «предметную» тему, может сдвинуть профессию в сторону предметной.
На сегодняшний день существует не так много профессиональных стандартов (801 по сравнению с более чем 7500 специальностями в Едином тарифно-квалификационном справочнике), и их распределение по видам экономической деятельности не является равномерным. Так, для юриспруденции и пищевой промышленности разработано только лишь по одному профессиональному стандарту. А для отрасли «Добыча, переработка угля, руд и других полезных ископаемых» профессиональных стандартов еще не выпущено. Таким образом, при выпуске новых профессиональных стандартов структура выделяемых тем может существенным образом измениться.
Первую проблему можно решить с помощью введения формализованных критериев оценки оптимального количества тем
и более тщательного их анализа. Вторая проблема может решаться заданием более строгих критериев размещения ключевых слов. Преодоление третьей проблемы несколько сложнее, поскольку разработка профессиональных стандартов может затянуться еще на некоторое время. Поэтому имеет смысл провести воспроизводящее исследование на других источниках данных. Например, на корпусе должностных инструкций, взятых из Общероссийского классификатора занятий (ОКЗ). Последняя редакция ОКЗ была принята в 2014 году, поэтому информация, содержащаяся в нем, является еще относительно свежей, а тот факт, что данный документ разработан на основе Международной стандартной классификации занятий 2008 (МСКЗ-08), позволит распространить результаты исследования и на зарубежные стандарты.
ЛИТЕРАТУРА
1. Блинов В. И., Батрова О. Ф., Есенина Е. Ю., Факторович А. А. Профессиональные стандарты: от разработки к применению / / Высшее образование в России. - 2015. - № 4. - С. 5-14.
2. Гаврилов В. Е. Использование модульного подхода для психологической классификации профессий в целях профориентации // Вопросы психологии. - 1987. - № 1. - С. 111-117.
3. Горбунова Г. А. Анализ причин смены профессионального профиля взрослыми людьми // Сибирский педагогический журнал. - 2009. - № 13. - С. 46-50.
4. Диннер И. В. Содержание профессий в контексте изменений в разделении и кооперации труда // Вестник ОмГУ. Серия: Экономика. - 2016. - № 2. - С. 95-99.
5. Егоров А. В., Куприянова Н. И. Особенности методов кластеризации данных // Известия ЮФУ. Технические науки. - 2011. - № 11. - С. 174-178.
6. Ефимов В. И., Мраморнова О. В. Эволюция содержания труда в процессе экономического развития общества // Вестник СГТУ. - 2009. - № 1. - С. 145-153.
7. Загузина Н. Н. Проблемы профессионального самоопределения учащихся на современном рынке труда // Известия РГПУ им. А. И. Герцена. - 2008. - № 70. - С. 62-66.
8. Зеер Э. Ф., Сыманюк Э. Э. Асимметричное профессиональное будущее современной молодежи // Педагогическое образование в России. - 2013. - № 4. - С. 258-263.
9. Климов Е. А. Психология профессионала. - М. : Ин-т практ. психологии, 1996. - 400 с.
10. Коршунов А. В., Гомзин А. Г. Тематическое моделирование текстов на естественном языке // Труды ИСП РАН. - 2012. - Т. 23. - С. 215-244.
11. Макарова М. Ю. Разработка алгоритмов управления профориентационными процессами в информационной системе // Известия ВУЗов. Поволжский регион. Технические науки. - 2014. - № 2 (30). -С. 5-15.
12. Пчелинова В. В. Дескрипторный словарь в формировании представлений психолога о мире труда // Вестник Московского университета. Сер. 14. Психология. - 2010. - № 3. - С. 76-87.
13. Серова Л. М., Мазаева К. А. Трудоустройство выпускников по данным мониторинга учреждений профессионального образования / / Высшее образование в России. - 2013. - № 3. - С. 20-27.
14. Тесленко И. В. Специфика организации и ведения профориентационной работы в Свердловской области // Актуальные проблемы социологии молодежи, культуры, образования и управления : мат-лы междунар. конф. (Екатеринбург, 28 февр. 2014 г.). - Екатеринбург : УрФУ, 2014. - Т. 3. - С. 235-238.
15. Токсанбаева М. С. Структура российской занятости: проблемы, оценки // Человек и труд. - 2013. -№ 1. - С. 10-14.
REFERENCES
1. Blinov V. I., Batrova O. F., Esenina E. Yu., Faktorovich A. A. Professional'nye standarty: ot razrabotki k primeneniyu / / Vysshee obrazovanie v Rossii. - 2015. - № 4. - S. 5-14.
2. Gavrilov V. E. Ispol'zovanie modul'nogo podkhoda dlya psikhologicheskoy klassifikatsii professiy v tselyakh proforientatsii // Voprosy psikhologii. - 1987. - № 1. - S. 111-117.
3. Gorbunova G. A. Analiz prichin smeny professional'nogo profilya vzroslymi lyud'mi // Sibirskiy pedagog-icheskiy zhurnal. - 2009. - № 13. - S. 46-50.
4. Dinner I. V. Soderzhanie professiy v kontekste izmeneniy v razdelenii i kooperatsii truda // Vestnik Om-GU. Seriya: Ekonomika. - 2016. - № 2. - S. 95-99.
5. Egorov A. V., Kupriyanova N. I. Osobennosti metodov klasterizatsii dannykh // Izvestiya YuFU. Tekhnicheskie nauki. - 2011. - № 11. - S. 174-178.
6. Efimov V. I., Mramornova O. V. Evolyutsiya soderzhaniya truda v protsesse ekonomicheskogo razvitiya obshchestva // Vestnik SGTU. - 2009. - № 1. - S. 145-153.
7. Zaguzina N. N. Problemy professional'nogo samoopredeleniya uchashchikhsya na sovremennom rynke truda // Izvestiya RGPU im. A. I. Gertsena. - 2008. - № 70. - S. 62-66.
8. Zeer E. F., Symanyuk E. E. Asimmetrichnoe professional'noe budushchee sovremennoy molodezhi // Pedagogicheskoe obrazovanie v Rossii. - 2013. - № 4. - S. 258-263.
9. Klimov E. A. Psikhologiya professionala. - M. : In-t prakt. psikhologii, 1996. - 400 s.
10. Korshunov A. V., Gomzin A. G. Tematicheskoe modelirovanie tekstov na estestvennom yazyke // Trudy ISP RAN. - 2012. - T. 23. - S. 215-244.
11. Makarova M. Yu. Razrabotka algoritmov upravleniya proforientatsionnymi protsessami v informatsionnoy sisteme / / Izvestiya VUZov. Povolzhskiy region. Tekhnicheskie nauki. - 2014. - № 2 (30). - S. 5-15.
12. Pchelinova V. V. Deskriptornyy slovar' v formirovanii predstavleniy psikhologa o mire truda // Vestnik Moskovskogo universiteta. Ser. 14. Psikhologiya. - 2010. - № 3. - S. 76-87.
13. Serova L. M., Mazaeva K. A. Trudoustroystvo vypusknikov po dannym monitoringa uchrezhdeniy professional'nogo obrazovaniya // Vysshee obrazovanie v Rossii. - 2013. - № 3. - S. 20-27.
14. Teslenko I. V. Spetsifika organizatsii i vedeniya proforientatsionnoy raboty v Sverdlovskoy oblasti // Ak-tual'nye problemy sotsiologii molodezhi, kul'tury, obrazovaniya i upravleniya : mat-ly mezhdunar. konf. (Ekaterinburg, 28 fevr. 2014 g.). - Ekaterinburg : UrFU, 2014. - T. 3. - S. 235-238.
15. Toksanbaeva M. S. Struktura rossiyskoy zanyatosti: problemy, otsenki // Chelovek i trud. - 2013. -№ 1. - S. 10-14.
Статью рекомендует д-р психол. наук, проф. Э. Э. Сыманюк.
