CC BY
7Ляпин С.Х.
к.ф.н., доцент, ген. директор ООО «Константа», н.с. Центра технологий электронного правительства
Университета ИТМО
lyapins@yandex.ru
КРЫМСКИЙ ИНФОРМАЦИОННО-ПОИСКОВЫЙ КЛАСТЕР: ПРОЕКТ СОЗДАНИЯ В РЕСПУБЛИКЕ КРЫМ МНОГОФУНКЦИОНАЛЬНОЙ РАСПРЕДЕЛЕННОЙ ИНФОРМАЦИОННОЙ СРЕДЫ С СЕРВИСАМИ ПРОДВИНУТОГО ПОЛНОТЕКСТОВОГО ПОИСКА ДЛЯ ПОДДЕРЖКИ ОБРАЗОВАНИЯ, НАУКИ И КУЛЬТУРЫ (2015-2017 гг.)1
Ключевые слова: информационная среда, полнотекстовый поиск, электронная библиотека, информационное обеспечение науки, образования и культуры.
1. Цели, задачи и краткое обоснование проекта
Цель проекта: создание межведомственной и междисциплинарной информационной среды (регионального информационного кластера), на основе электронной библиотеки с распределенным полнотекстовым поиском, функционально интегрирующей ресурсы и сервисы организаций сфер образования, науки и культуры республики Крым и функциональная интеграция информационной инфраструктуры Крыма в современное информационное пространство России.
Задачи проекта:
- комплексное ускоренное развитие региональной информатизации, сочетающей общие инфраструктурные решения (создание децентрализованной распределенной информационной среды) и продвинутые полнотекстовые поисковые сервисы, многофункциональные по назначению и транспарентные для пользователя.
- создание в связи с этим в 15 организациях сфер образования, науки и культуры Республики Крым и г. Севастополя распределенной междисциплинарной информационной среды, включающей в себя в качестве основы сеть многофункциональных электронных библиотек с возможностями продвинутого полнотекстового поиска, в том числе в распределенной среде.
- апробация организационно-технических, методологических и методических аспектов межведомственного и междисциплинарного информационного взаимодействия в рамках использования сервисов распределенной электронной полнотекстовой библиотеки.
- повышение эффективности использования информационных ресурсов, консолидация и координация деятельности по их созданию и использованию, оптимизация совокупных издержек по созданию и эксплуатации информационной инфраструктуры.
- создание организационно-технологических предпосылок для масштабирования информационной среды как в Республике Крым, так и в других регионах России.
Профильные министерства и ведомства: Минобрнауки РФ; Минкультуры РФ; Министерство РФ по делам Крыма; Правительство Республики Крым.
Краткое обоснование проекта:
Характерной чертой развития современного информационного общества является внедрение информационных технологий, ориентированных не только на предоставление доступа к различным цифровым ресурсам через поиск по каталогу, но и на использование продвинутых поисковых и презентационных сервисов по работе с ними. Это особенно важно для таких сфер, как образование, наука и культура.
При этом важно с самого начала ориентироваться на то обстоятельство, что создаваемая в каждой из этих сфер информационная среда может быть глубоко и широко интегрирована с другими в плане межведомственного и междисциплинарного взаимодействия. Особенно это касается такого универсального инструмента для поддержки различных видов и форм образовательной, научной и культурной деятельности, как электронная полнотекстовая библиотека.
Архитектура таких библиотек должна быть ориентирована на работу в среде Интернет / Интранет и допускать возможность «естественной» интеграции с другими информационными системами; в условиях Интернет это практически означает интеграцию на основе Веб-сервисов как в локальной сети, так и в распределенной среде.
1 Статья подготовлена при поддержке гранта Российского гуманитарного научного фонда № 14-03-12017.
518
При этом сервисы полнотекстового поиска и презентации его результатов должны «доставать» до произвольных фрагментов «текста», предоставлять удобные инструменты работы с полнотекстовой и полносодержательной (комбинированной) информацией.
2. Сервисы полнотекстового поиска. В текущей версии электронной библиотеки, созданной на основе ИС Т-ЫЬга [1], имеются следующие типы полнотекстового поиска: а) абзацно-ориентированный, б) частотно-ориентированный. При этом абзацно-ориентированный поиск представлен разновидностями работы как в локальной, так и в распределенной среде.
2.1. Абзацно-ориентированный поиск предназначен для поиска и презентации текста с точностью до отдельных авторских абзацев, содержащих заданную пользователем терминологическую структуру (тем самым эксплицируется «горизонтальный» микроконтекст, в котором в составе абзаца находятся искомые термины). Авторский абзац выбран в качестве естественной единицы смыслового членения текста. Обеспечивается поддержка нескольких видов и различных форм презентации результатов этого поиска:
2.1.1. Простой («однослойный») тематический поиск, с одним комплексным полем для ввода терминов и использованием для этих терминов операторов логического объединения, обязательного исключения или обязательного включения термина в запрос. Результатом поиска является список абзацев, удовлетворяющих заданным условиям.
Каждый из абзацев, входящих в результаты запроса, может быть одним «кликом» мышки раскрыт до своего полного вида. Используя опцию «Контекст» в левом меню, можно последовательно раскрыть абзацы до и после найденного - вплоть до кластера из семи абзацев (три абзаца «до», три абзаца «после», плюс сам абзац - результат запроса).
Имеется возможность посмотреть с этой же экранной страницы соответствующий ресурс (статью, книгу и т.д.) в файловом виде; ресурс при этом может быть представлен в различных форматах: текстового документа, графического образа документа (важно для архивных ресурсов), сопровождающего документ аудио- или видеофайла (важно для организации электронных выставок и коллекций).
Имеется также возможность оценки пользователем найденных абзацев, и затем автоматизированной сборки выбранных абзацев с помощью опции «Собрать тему». В результате пользователь получает файл, в котором собраны тематически ориентированные абзацы из различных документов электронной библиотеки, и указаны ресурсы (вместе с их библиографическими описаниями), откуда взяты эти абзацы. На клиентском (пользовательском) компьютере этот итоговый файл может быть записан на переносимый носитель информации («флэшку») или распечатан.
2.1.2. Расширенный («многослойный») тематический поиск. Этот вид поиска содержит функционал дополнительной тематической фокусировки запроса. Соответствующий инструментарий включает в себя: а) формирование нескольких поисковых полей («слоев») и б) включение в запрос дополнительных количественных параметров его фокусировки.
Поисковое поле «слой» представляет собой технический инструмент для выделения того или иного содержательного «аспекта» интересующей пользователя «темы»; всего может быть сформировано от 2 до 8 слоев. Например, в первом слое вводим термин «факт», во втором - термин «разум», в третьем - термин «истина». Тем самым в структуре запроса тематика «факта» специализирована (аспектуализирована) в связи с «истиной» и «разумом».
Между слоями действует операция логического пересечения; внутри слоя - операция логического объединения заданных терминов. Имеется возможность комбинировать актуально используемые слои, например, из трех слоев сделать какие-либо два обязательными, а один - произвольно выбираемым при осуществлении запроса.
Еще более точная тематическая фокусировка запроса достигается за счет выполнения дополнительных условий: а) указания минимально необходимого количества поисковых слоев (от 2 до 8); б) указания максимального расстояния между терминами, принадлежащими разным слоям: от 0, когда слова из двух разных слоев запроса в составе абзаца примыкают друг к другу (например, «Сийское Евангелие», или «факт истории» и т. д.), до произвольной величины. Практически не имеет смысла задавать число больше 100 - поскольку в этом случае искомые слова в абзаце будут отстоять далеко друг от друга, и между ними с большой вероятностью не будет смысловой связи.
2.2. Частотно-ориентированный поиск предназначен для построения частотно-ранжированных списков терминов (существительных), и тем самым экспликации различных «вертикальных» макроконтекстов, неявно присутствующих в отдельном документе или их выбранной совокупности. Получающиеся таблицы списков терминов, с указанием абсолютного (в обычных числах) и относительного (в %о, промилле) количества их встречаемости в тексте, мы называем «терминограммами» (по аналогии с «рентгенограммами»). Поиск может проводиться одновременно по 1, 2 или 3 корзинам ресурсов. Обеспечивается поддержка двух видов этого поиска и различных форм презентации его результатов:
абсолютный частотный, результатом которого является частотно-ранжированный список существительных, входящих в ресурсы области поиска и приведенных к нормальной форме (именительный падеж, единственное число).
относительный частотный, результатом которого является частотно-ранжированный список существительных, входящих только в те абзацы первичного текста, которые содержат заданный пользователем термин (тем самым список строится «относительно» этого термина).
Все термины, входящие в итоговую терминограмму, являются активными; «кликнув» по любому из них, можно выйти на уже сформированный абзацно-ориентированный запрос по данному термину, и эксплицировать его микроконтекст.
Эти виды частотного поиска могут использоваться для целей текстологического анализа документа; для выявления и описания предметной области документа; для составления списка ключевых слов; для сравнительного анализа предметных областей различных авторов или различных документов; для проверки текстов на плагиат и т.д.
Рисунок 1.
Пример автоматического построения «терминограмм» (частотный запрос относительно термина «факт») по трем корзинам ресурсов: произведениям Бердяева (64 шт.), Лосева (5 шт.), Канта (5 шт.)
В рамках распределенной информационной среды в настоящее время реализованы абзацно-ориентированные запросы, наиболее востребованные для тематической обработки документов.
2.3. Примеры экспликации контекстного знания с помощью сервисов полнотекстового поиска
Для экспликации контекстного знания можно применить методику сочетания частотно-ориентированных запросов с абзацно-ориентированными. Для этого вначале c помощью инструментов частотно-ориентированных запросов строятся соответствующие частотно-ранжированные списки терминов (существительных) - «терминограммы» -относительно исследуемых терминов (например, «факт»). При этом на заданную глубину (как правило, в 10 слов) средствами относительного частотного поиска автоматически создаются таблицы частотной встречаемости терминов по выбранной совокупности ресурсов. В итоге мы получаем экспликацию предметной области, коррелирующей с исследуемыми терминами/концептами - т.е. экспликацию «вертикального контекста». Затем термины из этих таблиц включались в абзацно-ориентированные запросы, что позволяло эксплицировать микроконтекст («горизонтальный контекст») употребления этих терминов в рамках авторского абзаца.
Экспликация концепта фактуальности в философии Н.А. Бердяева. С помощью относительного частотного поиска (относительно термина «факт») можно предварительно выявить предметную область (смысловой макроконтекст), в котором существует концепт «факт» в философских текстах Н.А. Бердяева в целом или в тексте отдельного произведения [2]. В частности, для исследуемых работ Бердяева, содержащих термин «факт» (24 произведения) в смысловую окрестность «факта» попадают (т.е. встречаются в абзацах, где обязательно имеется и термин «факт»), в порядке убывания частотности, следующие термины: 1. «жизнь» (850 раз), 2. «мир» (811 раз), 3. «человек» (788 раз), 4. «дух» (484 раза), 5. «Бог» (483 раза), 6. «сознание» (401 раз), 7. «свобода» (377 раз), 8. «факт» (366 раз), 9. «философия» (324 раза), 10. «история» (311 раз).
Опираясь на эти результаты, эксплицирующие предметную область фактуальности в работах Н.А. Бердяева, можно далее с помощью абзацно-ориентированного поиска осуществить экспликацию горизонтальных микроконтекстов (в пределах авторского абзаца), коррелирующих с концептом «факт».
Можно использовать многослойный (например, трехслойный) запрос. В один слой ввести термин «факт», в два других - термины из бердяевской терминограммы (например, «мир» и «человек»), выбрать дополнительные параметры фокусировки запроса (все 3 слоя актуальны, расстояние между терминами не более 8 слов) и получить результат: 7 абзацев в 4-х произведениях (поиск произведен по массиву из 64 текстов Бердяева). См. ниже рис.2.
Экспертная оценка этого и других найденных абзацев говорит о высокой степени релевантности результатов таким образом организованного полнотекстового запроса. Эксплицируются микроконтексты концепта фактуальности, связанные с такими аспектами темы: «гуманизм и факт рабства человека у природного мира»; «факт самосознания человека и трансцендентность сознания» и т.д.
Выбирая другие термины из терминограмм Бердяева (например, «факт» + «сознание» + «свобода»; или «факт» + «философия» + «история» и т.д.), включая их в абзацно-ориентированные запросы и варьируя условия их фокусировки, можно эксплицировать самые разные семантические микроконтексты в рамках разработки темы «Проблема факта в философии Бердяева».
Рисунок 2.
Многослойный (трехслойный) запрос c терминами [«факт», «мир», «человек»] по массиву текстов Н.А.Бердяева (всего 64 произведение). При заданных условиях фокусировки запроса найдено 7 релевантных абзацев в 4 произведениях. Запрос произведен по электронной библиотеке Университета ИТМО (проект «Humanitariana») 7 октября 2014 года
4. Характеристики распределенной информационной среды со сквозным полнотекстовым поиском
В локальной сети каждой из организаций будет реализована архитектура клиент-сервер; клиентской программой является Интернет-браузер, на стороне сервера - операционная система семейства Windows. Может быть использована также виртуальная машина Windows, установленная на Linux-сервере. В ходе реализации проекта предполагается также внедрение версии, серверная часть которой функционирует в среде операционной системы Linux. Тем самым будет реализована полная многоплатформенность базовой информационной системы, используемой для создания электронных библиотек.
В рамках предлагаемого проекта реализуется модель децентрализованной, «федеративно» устроенной распределенной информационной среды, обеспечивающей независимость ресурсной базы каждой из ее организаций-участников и транспарентность поиска по всей среде для ее пользователей.
Тем самым предлагается модель децентрализованной среды под управлением пользовательского браузера, обращающегося к множеству независимых серверов. Этот подход вполне укладывается в парадигму распределенных информационных систем [3], достаточен для достижения целей проекта и позволяет не рассматривать более сложные и дорогие варианты построения распределенных систем, связанные, например, с взаимодействием унифицированного протокола Z39.50 [4, 5] с Интернет-протоколами [6].
Этот подход может быть рассмотрен как вариант metasearch engine [7]. Инструментом машины метапоиска является в этом случае пользовательский браузер.
Пользовательский запрос запускается с любого из серверов (из любой библиотеки/организации), на вход на который у пользователя есть права.
Библиотеки в распределенной среде - каждая по отдельности или в каком-либо их функциональном объединении - могут стать также «точками роста» новых форм деятельности каждой из организаций, в том числе на основе развития ресурсной базы электронных полнотекстовых библиотек в рамках различных мероприятий и проектов.
Предполагаемые организаторы-исполнители проекта - (Университет ИТМО, Санкт-Петербург и ООО «Константа», Архангельск) - имеют опыт создания различных современных информационных систем в сфере образования, науки и культуры, а также продвижения и использования передовых отечественных технологий полнотекстового поиска, в том числе в распределенной среде.
Результаты исследований и разработок в этом направлении докладывались в 2004-2014 гг. на крупнейших российских и международных конференциях (RCDL; EVA Moscow; Научный сервис в сети Интернет; Электронный век культуры; Крым-2013; Электронные ресурсы библиотек, архивов и музеев; конференциях ADIT; конференциях АРБИКОН и др.).
В частности, создан действующий прототип межмузейной распределенной полнотекстовой библиотеки, ориентированный на дальнейшее масштабирование и объединяющей ресурсы и сервисы электронных библиотек нескольких музеев, расположенных в гг. Архангельске и Москве (см.: видеоконференцию на сайте Российской ассоциации электронных библиотек (НП «ЭЛБИ») [8], а также доклад на конференции АДИТ-2014 в г. Выборг [9].
Рисунок 3.
С сервера Университета ИТМО (Санкт-Петербург) сформирован распределенный полнотекстовый запрос, на который откликнулся также сервер другого участника проекта «Нишапкапапа» - ООО «Константа» (г. Архангельск). Это показано на соответствующей странице во всплывающем окне
По инициативе и на базе организаторов проекта - Санкт-Петербургского национального исследовательского университета информационных технологий, механики и оптики (Университет ИТМО) и ООО «Константа» (разработчик ИС Т-ЫЬга) - в настоящее время осуществляется проект «Нитат1апапа» (грант РГНФ 14-03-12017) по созданию межрегионального информационно-ресурсного центра по извлечению контекстного знания в гуманитарной сфере, основанного на вышеупомянутых технологиях электронных библиотек [10], изучаются возможности использования инструментов продвинутого полнотекстового поиска для поддержки научных исследований [11].
5. Исполнители проекта и их роль:
- Университет ИТМО (Санкт-Петербург): административно-финансовое сопровождение проекта; техническая поддержка функционирования распределенной децентрализованной информационной среды; консультирование и дистанционное обучение персонала организаций-участников проекта; участие в подготовке тематических электронных ресурсов для импорта в электронную полнотекстовую библиотеку; разработка методических рекомендаций по подготовке качественных цифровых ресурсов и работе с электронной полнотекстовой библиотекой; повышение квалификации участников проекта на базе Центра технологий электронного правительства НИУ ИТМО (очно в Санкт-Петербурге, выездные семинары и мастер-классы в Крыму, дистанционное обучение с использованием Интернет-коммуникаций).
- ООО "Константа" (г. Архангельск): предоставление серверных лицензий на специализированное прикладное ПО - информационную систему Т-ЫЬга для создания электронных полнотекстовых библиотек с возможностями распределенного полнотекстового поиска (зарегистрирована в Роспатенте, Свидетельство № 2007613971 от 17 сентября 2007 года); установка этих информационных систем на серверах участников проекта и импорт полнотекстовых ресурсов в режиме непосредственного и/или удаленного доступа.
Сроки реализации проекта: 2015-2017 гг.
6. Этапы реализации проекта:
1 этап (2015 г.).
Пилотный проект по созданию действующего прототипа регионального информационного межведомственного и междисциплинарного кластера на основе распределенной полнотекстовой библиотеки в составе 5 организаций:
1 университет (Крымский федеральный университет им. В.И. Вернадского);
2 общедоступные библиотеки (Универсальная научная библиотека им. И. Франко, г. Симферополь и Центральная городская библиотека им. А. С. Пушкина, г. Симферополь;
1 музей (Крымский республиканский краеведческий музей, г. Симферополь);
1 научный центр (Крымский научный центр, г. Симферополь).
2. этап (2016 г.)
Расширение состава участников информационного кластера до 10 организаций. Подключение еще 5 организаций:
1 университет (Крымский гуманитарный университет, г. Ялта);
2 библиотеки (Морская библиотека им. М.П. Лазарева, г. Севастополь), Центральная библиотека им. Белинского (г. Керчь).
1 музей (Симферопольский художественный музей, г. Симферополь).
1 научный центр (Институт биологии Южных морей, г. Севастополь)
3 этап (2017 г.).
Расширение состава участников информационного кластера до 15 организаций. Подключение еще 5 организаций:
1 университет (Севастопольский городской гуманитарный университет, г. Севастополь);
2 библиотеки (Центральная библиотека им. Чехова, г. Ялта), Крымская республиканская научно-медицинская библиотека, г. Симферополь)
1 музей (Картинная галерея И.К. Айвазовского, г. Феодосия),
1 научный центр (Национальный научный центр «Никитский ботанический сад», г. Ялта).
Примечание. Количество и конкретный состав организаций-участников каждого из этапов определяются в ходе подготовительных работ по проекту, в рамках рабочих совещаний с участием Правительства Крыма, его профильных министерств и ведомств и представителей организаций-участников проекта.. 7. Ожидаемые результаты:
1. Создание в 15 образовательных, научных и культурных организациях Крыма электронных полнотекстовых библиотек с возможностями продвинутого полнотекстового поиска, функционирующих в современной Интер-нет/Интранет архитектуре.
2. Создание региональной сети электронных полнотекстовых библиотек, объединяющих вышеназванные библиотеки на основе технологии распределенного поиска (как по каталогу, так и по полнотекстовым ресурсам).
3. Создание силами каждой из организаций/библиотек тематических коллекций полнотекстовых ресурсов в соответствии с профилем и приоритетами этих организаций; их включение в сервисы полнотекстового поиска.
4. Подключение в режиме удаленного доступа участников Крымского информационно-поискового кластера к создаваемым в настоящее время другим кластерам распределенного полнотекстового поиска (кластер межмузейной распределенной библиотеки; информационно-ресурсная среда проекта «Humanitariana»; кластер общедоступных библиотек Санкт-Петербурга).
5. Активизация деятельности сообщества граждан и организаций республики Крым, объединяемых вокруг каждой из организаций/библиотек, на основе совместного развития и использования ресурсно-сервисной базы электронных полнотекстовых библиотек в рамках различных мероприятий и проектов.
6. Апробация организационно-технологической основы для дальнейшего масштабирования проекта в Республике Крым, в других регионах России.
Контакты:
Руководитель проекта Ляпин Сергей Хамзеевич, ген. директор ООО «Константа», научный сотрудник Центра технологий электронного правительства Университета ИТМО,
lyapins@yandex.ru; моб.+7 911 569 9175, +7 964 376 5813, +7 985 973 0873.
Список литературы
1. См. демонстрационную версию эл. Библиотеки. - http://demo.tlibra.ru
2. Ляпин С.Х. Тексты, контексты, концепты: использование современных систем полнотекстового поиска для философских исследований (на материале русской философии)». Доклад на семинаре в Библиотеке истории русской философии и культуры («Дом А.Ф.Лосева»). - http://www.losev-library.ru/index.php?pid=6872
3. Таненбаум Э., Стеен М. ван. Распределенные системы. Принципы и парадигмы. Пер. с английского В. Горбунков. - СПб.: Питер, 2003. - С. 23.
4. http://www.iso.org/iso/catalogue_detair7csnumberf7446
5. Жижимов О.Л., Мазов Н.А.. Модель распределенной информационной системы Сиб. Отд. РАН на базе протокола Z39.50 // Электронные библиотеки. 1999 - Т. 2 - Вып. 2. - http://www.elbib.ru/index.phtml?page=elbib/rus/journal/1999/part2/zhizhimov
6. Максимов Н.В., Сысойкина М.А. О реализации электронной библиотеки с использованием протоколов HTTP и Z39.50 // Электронные библиотеки. 2002. - Т. 5, вып. 1. - http://www.elbib.ru/content/journal/2002/200201/MS/MS.ru.html
7. Metasearch_engine // Эл. ресурс. http://en.wikipedia.org/wiki/Metasearch_engine
8. http://www.aselibrary.ru/conference/conference43/conference432039
9. Костанян С.А., Куковякин А.В., Ляпин С.Х. Музейная библиотека для поддержки музейной деятельности и интеграции ресурсов в распределенной информационной среде (презентация партнерского проекта). - http://adit.ru/sites/default/files/mus-bibl.pdf
10. Ляпин С.Х., Куковякин А.В., Мбого И.А., Толстикова И.И., Чугунов А.В. Сервисы полнотекстового поиска в распределенной информационной среде (проект HUMANITARIANA) / Доклад на конф. Телематика-2014. - http://tm.ifmo.ru/tm2014/db/doc/ get_thes.php?id=85
11. Ляпин С.Х., Толстикова И.И., Чугунов А.В. Информационно-поисковая поддержка тематических исследований в социогума-нитарной сфере (в рамках проекта HUMANITARIANA) / Доклад на конф. Телематика-2014. - http://tm.ifmo.ru/tm2014/ db/doc/get_thes.php?id=86
