CC BY
23С.В. Егерев
НОВЫЕ ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ И НАУКА ГРАЖДАН*
Аннотация. Проекты научного краудсорсинга в своем развитии все больше опираются на новые специализированные разработки, выполненные в рамках информационных технологий (ИТ). Устойчивые компьютеризованные проекты научного краудсорсинга в последние годы характеризуются термином «кибернаука граждан» (citizen cyberscience). Признано, что кибернаука граждан включает три принципиальных направления: добровольческие вычисления, добровольческое осмысливание и кооперативное зондирование. В статье рассматриваются новые специализированные ИТ-продукты для поддержки каждого из трех указанных направлений. Так, проекты добровольческих вычислений опираются на новые алгоритмы распределенных вычислений. Проекты добровольческого осмысливания нуждаются в разработке и поддержке платформ сайтов, форумов, тренингов для участников-добровольцев, а также в открытых БД и специализированных цифровых библиотеках. Проекты кооперативного зондирования требуют разработки мобильных приложений для смартфонов участников, а также алгоритмов обработки больших массивов данных. Примечательно, что процессы разработки ИТ-продуктов зачастую сами выступают в качестве объектов краудсорсинговых проектов.
Abstract. The projects of scientific crowdsourcing in their development are increasingly based on new specialized developments in information technology (IT). Sustainable computerized projects of scientific crowdsourcing in recent years have been characterized by the term
* Частично по материалам доклада 30.03.2017 на ежегодной конференции Института истории естествознания и техники им. С.И. Вавилова.
«citizen cyberscience». IT-is recognized that citizen cyberscience comprises three directions: voluntary computing, volunteer thinking and cooperative sensing. The paper deals with new specialized IT-products to support each of these three areas. For example, voluntary calculation projects rely on new distributed computing algorithms. Volunteer thinking projects require the development and support of site platforms, forums, training sessions for volunteer participants as well as open databases and specialized digital libraries. Cooperative sensing projects require the development of mobile applications for participants' smartphones, as well as algorithms to handle large amounts of data. Notably, IT is often the process of developing IT-products that themselves act as objects of crowdsourcing projects.
Ключевые слова: организация научной деятельности; разработка программного обеспечения; мобильные приложения; проблема безопасности личных данных.
Keywords: organization of scientific activities; software development; mobile applications; security of the private data.
Введение
Новые информационные технологии (ИТ) привлекли тысячи людей во всем мире к участию в процессах получения новых знаний на распределенной неформальной основе. Уже признано, что такие проекты вносят вклад и в формальную (так называемую «институционализированную») науку. Возникли и новые, неожиданные способы взаимодействия формальной науки с гражданским обществом. Добровольческое участие в создании знаний не является новым явлением, однако оно получило дополнительный импульс с появлением современных ИТ.
Эти распределенные научные исследования в последние годы привлекают внимание науковедов. Неудивительно поэтому, что назрела определенная потребность в классификации объектов исследования и упорядочении новой терминологии. Так, ставится задача в рамках распределенных научных исследований разделить понятия «краудсорсинговые проекты», «наука толпы»1 и «наука граждан». Обычный краудсорсинг определяется как концепция по-
1 В русскоязычной литературе «науке толпы» часто соответствуют понятия «распределенная поддержка научных исследований» и «научный краудсорсинг простых операций» - Прим. авт.
лучения услуг, идей или содержания благодаря вкладу большой группы людей, обычно из онлайновых сообществ, развивающихся с начала 2000-х годов. С тех пор краудсорсинг проник в разные области жизнедеятельности, от совместной борьбы со стихийными бедствиями до визуализации дизайна.
Научный краудсорсинг и выросшая из краудсорсинговых проектов наука граждан представляют исследовательскую практику, в ходе которой общественность (непрофессиональные ученые) сотрудничает с учеными-профессионалами при проведении научных исследований. Проекты науки граждан, которые используют современные информационные технологии, также известны и как «кибернаука граждан». Подобные проекты науки граждан в онлайн-версиях уже показали свою эффективность с точки зрения получения новых знаний. Действительно, развитие Интернета и мобильных технологий существенно повышает потенциал науки граждан. Например, увеличивается так называемая «видимость» проекта, повышаются его функциональность и доступность результатов.
Кибернаука граждан
Принята классификация, согласно которой кибернаука граждан распадается на три категории: добровольческие вычисления, добровольческое осмысливание и кооперативное зондирование [1]. Схема показана на рис. 1.
Кибернаука граждан Citizen cyberscience
Добровольческие Добровольческое Кооперативное
вычисления осмысливание зондирование
Voluntary Voluntary Participatory
computing thinking sensing
Рис. 1. Структура кибернауки граждан
В проектах добровольческих вычислений участники устанавливают программное обеспечение на своих компьютерах, временно неиспользуемые мощности которых вовлекаются в решение общих задач проекта. Такие проекты не требуют особых усилий от добровольцев. В проектах добровольческого осмысливания участники вовлекаются на более активном когнитивном уровне. Как правило, они посещают сайт, на котором знакомятся с уже полученными данными, а также проходят подготовку для выполнения анализа этих данных по определенному исследовательскому протоколу.
Применительно к анализу краудсорсинга простых операций легко выявить популярные ИТ платформы общего назначения, адаптированные под распределенное коммерческое выполнение так называемых «микрозадач».
Наиболее ранние и известные платформы поддержки выполнения «микрозадач» распределенными коллективами и индивидуалами - Amazon Mechanical Turk, Stack Overflow и Freelancer. Их задача - свести заказчика с одним из исполнителей. Программы поддержки распределенных бирж труда опробованы впервые в проекте «Mechanical Turk»1 компании «Amazon», в котором зарегистрированы более 400 тыс. постоянных «распределенных» работников, в основном финансово неблагополучных, из стран третьего мира. В этом проекте предлагается неинтересная работа за очень скромное вознаграждение. При этом нередки конфликты между исполнителями и заказчиками. Более оптимальным примером является отечественное программное решение, а именно проект SmartCat известной российской лингвистической компании ABBYY. Проект2 нацелен на совершенствование алгоритмов перевода и создание в конечном итоге идеального облачного переводчика. Также одна из задач проекта - поддержка распределенной биржи труда переводчиков. Масштаб участвующих исчисляется десятками тысяч. Одна из задач проекта - поддержка распределенной биржи труда переводчиков. Благодаря продуманной стратегии конфликтов не замечено, в отличие от ситуации с проектом «Mechanical Turk». Вознаграждение весьма скромное. Так, по со-
1 «Mechanical Turk» («Механический турок») - крупнейшая интернет-биржа труда простых операций. Проект назван по имени популярного в XIX в. автомата для игры в шахматы. Действует с 2005 г. На этой площадке заказчики и исполнители находят друг друга и договариваются о сроках и объемах работ. Режим доступа: https://www.mturk.com/mturk/welcome
2 Режим доступа: https://smartcat.pro
стоянию на июль 2016 г., стоимость одной стандартной страницы перевода для пары «русский - английский» составляет 120-150 руб., независимо от направления перевода. Однако призовая стратегия компании состоит не столько в привлечении небольших сумм от заказчиков, сколько в предоставляемой посетителям сайта возможности практически бесплатно пользоваться машинным переводом художественных, деловых и научных текстов. По мере развития проекта происходит совершенствование алгоритмов перевода и приближение к цели - созданию в конечном итоге идеального облачного переводчика. Для этого и используются корректировки, вносимые многочисленными добровольцами в автоматически созданные подстрочники. Полугодовое наблюдение автора за развитием проекта показало динамику развития алгоритмов перевода. Так, фраза, довольно неуклюже переведенная автоматическим переводчиком в июле 2016 г., в декабре того же года переводится им же весьма изящным образом. Конечно, это заслуга как добровольцев, так и алгоритма обработки их вариантов перевода.
Более сложные задачи решаются с поддержкой со стороны специального краудсорсингового программного обеспечения, позволяющего проектам наращивать модульность, что является условием становления «науки граждан». Это в первую очередь Topcoder, Upwork и Crowdplat. Как правило, за каждым видом подобного программного обеспечения стоит определенная компания, поддерживающая краудсорсинговую площадку для решения той или иной задачи.
Известно, что Topcoder позиционируется как корпорация, проводящая соревнования по спортивному программированию. Принципиально, что все соревнования являются индивидуальными. По состоянию на июль 2012 г. ядро участников составляли более 160 000 пользователей, из которых около 28 000 программистов хоть раз участвовали в соревновании под названием Algorithm Competition. Наиболее популярный вид этих увлекательных турниров - соревнование по быстрому решению алгоритмических задач (аналогично школьным и студенческим олимпиадам по программированию). Он заключается в том, что каждому участнику даются три задачи, разные по сложности, классифицируемые на три уровня. Каждая задача имеет свою максимальную стоимость в баллах. Обычно это 250, 500 и 1000. Баллы начисляются только за решения, признанные верными, частичные решения не учитываются.
Пройдя несколько соревновательных этапов, часть участников «пробиваются» к наиболее приближенному к промышленному
программированию виду соревнований. В них участвуют пары программистов. Первый пишет подробную спецификацию для некоторого компонента, заказанного сторонней фирмой, а второй реализует ее на .NET-языке или на языке Java. Работа оценивается несколькими жюри, и по их оценке выставляется итоговый балл. Таким образом в игровой форме создается новый программный продукт, авторами которого оказываются прежде незнакомые люди, представляющие различные страны.
Другой профиль у компании Upwork, которая до 2015 г. носила название Elance-oDesk. Она предлагает глобальную площадку по поиску работы, а также ряд программных продуктов для работодателей, которые хотят нанять удаленных специалистов и сотрудничать с ними. Уникальным является то, что Upwork позволяет клиентам не только работать с индивидуальными работниками, но и «сколачивать» онлайн-команды разработчиков. Координация и оплата происходит с помощью программного обеспечения компании и сайта. Потенциальные клиенты могут размещать проекты бесплатно, а фрилансеры («подрядчики») могут создавать профили и делать ставки на проекты также бесплатно. Компания собирает 10% от оплаты за работу от работодателя фрилансеру. Платежи осуществляются через Upwork. В дополнение к площадке проектов, услуг, платежей и бухгалтерии компания предлагает колла-боративное программное обеспечение, «Upwork Team App», что позволяет клиентам видеть процесс работы фрилансера, когда он находится в режиме оплачиваемого времени.
Платформа Crowdplat позволяет подбирать для выполнения технологических проектов надежные распределенные фрилансерские команды. Платформа состоит из двух ИТ-продуктов - программы cOutsource, обслуживающей компании, и программы cLancers, ориентированной на фрилансеров. Оба продукта доступны в обычной версии и в версии для мобильных устройств. Итогом успешной работы платформы является создание многочисленных рабочих мест для высокотехнологичных специалистов со всего мира.
Кооперативное зондирование
Третий вид кибернауки граждан представляет кооперативное зондирование тех или иных параметров (как правило, имеющих отношение к окружающей среде). Участники скачивают на свой мобильный телефон приложение, которое позволяет им собирать данные. При этом используются датчики, которые уже имеются в
их мобильном телефоне. Это различные трансиверы (мобильная сеть, WiFi, Bluetooth), приемники FM и GPS, камеры, акселерометр, цифровой компас и микрофон.
Тенденции применения мобильных устройств участниками научных краудсорсинговых проектов разнообразны. Так, интенсивно прорабатывается архитектура систем мониторинга больших площадей на основе краудсорсинга и мобильных устройств. В конкретных пространственных объектах (очень больших объектах, в частности с исторической ценностью) может быть трудно или невозможно установить фиксированные камеры из-за огромного количества возможных точек интереса (points of interest, POI). Для мониторинга таких объектов широко внедряются системы, основанные на распределенной архитектуре. А именно, есть сервер с новыми алгоритмами обнаружения, и есть приложения-клиенты, которые работают на смартфонах посетителей и способствуют получению новых фотографий, сопоставимых с опорными фотографиями наблюдаемых районов.
Вклады мобильных агентов (а это пользователи, датчики, роботы и т.д.) могут быть представлены в виде чисел либо в виде категорий, в зависимости от приложений и задач. В качестве примеров данных, предоставляемых «толпой» агентов, можно назвать такие экологические количественные данные, как температура и состояние атмосферы, данные анализа ежедневного поведения индивидуума (для психологов), данные межличностного взаимодействия, например показатели плотности толпы либо показатели взаимодействия элементов толпы. К таким данным относятся также категориальные рекомендации, например рейтинги близлежащих ресторанов, а также отзывы пользователей относительно беспроводных мобильных мультимедийных приложений.
Краудсорсинговые проекты, запущенные в 2015-2016 гг., дают примеры разнообразных схем кооперативного зондирования. Тенденции применения мобильных устройств участниками научных краудсорсинговых проектов разнообразны. Кооперативное зондирование вдохновило на разработку мобильных интерактивных приложений, в частности для смартфонов. Эффективность зондирования окружающей среды при мобильном краудсорсинге существенно возрастает.
Погода является особенно интересной областью экологического зондирования. Это следует из числа и популярности приложений, разработанных для прогнозирования. Хотя даже базовые встроенные датчики смартфонов хорошо приспособлены для зон-
дирования погодных явлений, новые смартфоны содержат уже не только датчики температуры и датчики освещенности, но также барометрические датчики давления (для поддержки измерений высоты).
Надежная оценка погоды традиционно требует плотной сети метеорологических измерительных станций. Краудсорсинговая загрузка метеоданных может смягчить это требование. Однако имеется серьезная проблема, с которой сталкиваются организаторы метеорологических проектов. Она состоит в том, что люди проводят большую часть времени в помещениях, работая или отдыхая. Соответственно, данные с их смартфонов должны не приниматься во внимание, т.е. отфильтровываться. Возможны два решения: (а) использовать датчик, свободный от влияния закрытого помещения и (б) использовать дополнительные условия для определения того, находится ли участник снаружи или в помещении. В случае анализа погодных условий наиболее устойчивым показателем является давление, поскольку оно примерно одинаково и в помещении, и снаружи. Другие важные датчики, связанные с передачей метеоданных, не столь устойчивы. Это в первую очередь датчик температуры батареи смартфона и датчик освещенности. Их показания важны, но только при условии, что участник находится не в помещении. Для устранения неоднозначности используются другие датчики смартфона, в частности датчик сближения и акселерометр. Если, например, акселерометр показывает, что участник неподвижен в течение долгого времени, то данные с его смартфона на всякий случай игнорируются.
От многих недостатков ранних версий программного обеспечения свободно краудсорсинговое гидрометеорологическое приложение Atmos. Оно используется в операционной системе Android с июня 2013 г., а с лета 2016 г. - в системе IOS, что уже позволяет подвести некоторые итоги работы. Предусмотрены не только оптимизированная работа всех датчиков, но и явное участие человека как для комментариев о текущем состоянии погоды, так и для прогнозирования погодных исследований.
На рис. 2 показан пользовательский интерфейс приложения Atmos. Кооперативное зондирование начинается с того, что участник указывает свое местоположение на главном экране (рис. 2 а). В то время как Atmos в фоновом режиме периодически передает на сервер проекта данные датчиков смартфонов (GPS, температура, свет и давление, в зависимости от марки смартфона), участник явным образом вносит данные о погодных условиях как для текущей (рис. 2 б), так и для будущей ситуации (рис. 2 в).
IV * U 1V3Í
Atmos i 0
luco NOW 1ЛТИ1
(♦■Add a new place
Seattle 27 *C Ok
Athens 16-c Дсоивгч to 1 мтп '
Lugano 10 *C
Lillestfcm -3-е
Lisbon 23 -c
Oulu TC
New Delhi 39 "С It*
<3 0 □
T t * ti M 11
i^^Atmos i 0
PUCf) M Wf и lIH
t © ▼ л Q 2017
< jfc Atmos i 0
PUCf» NOW LATE»
How warm does it feel?
It will feel...
Ht ИХ
HI HX
How is the weather?
m « о m $ a
Sumy
How windy is it?
The weather will be...
Clear Stormy CI«*
It will be-
fa) Панель местоположения
(б) Панель текущая
(в) Панель прогноза
Рис. 2. Три окна интерфейса мобильного приложения Atmos [2]
Опыт использования приложения показал, что сочетание обоих видов результатов «зондирования» температуры (краудсор-синговые вклады совместно с вкладами от датчиков погодных станций) дает среднюю погрешность 2,7°C, в то время как при использовании только краудсорсинговых данных средняя погрешность улучшается почти вдвое и падает до 1,86°C [2].
Вторым по распространенности направлением массового сбора данных является уточнение разного рода картографических данных. Сбор данных от добровольцев-участников-наблюдателей во многих проектах перекрывается с данными картографических учреждений, например это осуществляется в приложении OpenStreetMap. Имеют место и гибридные попытки совместить официальные картографические сети типа LUCAS1 с массивом вкладов от добровольцев, «вооруженных» мобильными приложениями, например FotoQuestAustria [3]. Приложение FotoQuestAustria было разработано как мобильное игровое приложение для операционных систем IOS и Android с целью сбора данных in-situ по протоколу LUCAS. Приложение было разработано специально для
1 LUCAS - система мониторинга растительного покрова и землепользования, единая для ЕС - Прим. авт.
среды Geo-Wiki и использует платформу AJAX-API. Для сбора и обработки вкладов от отдельных участников используется открытая база данных PostgreSQL с картографической системой Post-GIS.
(а) (6) (в)
Рис. 3. Три окна мобильного интерфейса приложения Ро1о0ие81Ашй1а: (а) расположение имеющихся заданий в прилегающем районе; (б) имеющиеся задания на участке, наиболее близком к участнику; (в) ближайшие точки, с указанием очков, которые участник может получить в случае успеха
Остановимся на этом примере игрового вовлечения в серьезное научное исследование более подробно. Интерфейс приложения (три окна) показан на рис. 3. Когда приложение впервые загружено, участник видит карту окружающей области и расположение точек-заданий светлого и темного цветов (рис. 3 а, б). Темный цвет означает, что в точке еще никто не побывал, соответственно, ее цена максимальна - 100 очков. Светлый цвет означает, что в точке побывали до пяти человек, и ее цена, соответственно, значительно ниже. Если точка посещалась более чем пятью участниками, она будет отображаться более ярко. Каждый раз, когда точку посещают, ее цена уменьшается, что стимулирует участников искать ранее не освоенные места. Когда игрок находится в пределах 50 м от точки, активируется возможность работы с точ-
кой (рис. 3 в). У участника возникает возможность определить, является ли точка реально достижимой. Если она недостижима, то участник определяет, видима она или нет. Если точка видима, участнику будет предложено сделать фотографию в направлении точки и поиск будет завершен. В противном случае ему будет дано указание на максимальное сближение с точкой. При достижении точки приложение, использующее встроенный компас, позволяет сделать четыре снимка строго по сторонам света. Первая цель достигнута. Далее участники выполняют и другие задания.
Применительно к Австрии эта игровая практика уже привела как к уточнению распределения растительного покрова, так и к выделению классов покрова, а именно: типы лесных участков, заболоченные местности и т.д. Успех приложения позволил его распространить на всю Европу для сбора данных о растительном покрове и землепользовании в различных странах ЕС с середины октября 2016 г. Вместе с тем при эксплуатации приложения стало очевидно, что необходима дополнительная подготовка, а также регулярная обратная связь, чтобы общественность могла иметь возможность различать более детальные категории растительного покрова и более тонкие особенности землепользования, а также прогрессировать по мере участия в программе.
В целом краудсорсинговые проекты, несомненно, будут способствовать сбору данных в местностях, представляющих интерес для дистанционного зондирования, однако необходимо соблюдать тонкое равновесие между обязательностью строгого выполнения протоколов о сборе данных и сохранением характера этой деятельности в качестве забавной и привлекательной.
Закончить данный раздел уместно, упомянув нашумевшую в 2016 г. игру Рокетоп во. Это игра для смартфона из группы игр «дополненной реальности». С точки зрения ИТ-поддержки крауд-сорсинга она реплицирует многие аспекты стратегий мониторинга реального мира дикой природы и естественной истории, позволяя игрокам найти, захватить и пополнить коллекцию не только виртуальных, но и реальных животных. В то же время увлечение Рокетоп во может поощрить злоупотребление ресурсами дикой природы или, наоборот, подавить интерес к реальной природе. Как результат осмысления опыта первого года использования уже предлагаются несколько вариантов стратегий, в которых приложения типа Рокетоп во адаптируются для повышения эффективности краудсорсинговых проектов мониторинга живой природы [8].
Специфические информационные ресурсы
Информационные ресурсы кибернауки выступают в двоякой роли - как источник и как результат краудсорсинга [5]. Так, цифровые библиотеки применяются на многих этапах на протяжении всего жизненного цикла научно-исследовательских проектов с момента их создания. Создатели сайтов больших проектов, делающие крупные инвестиции в цифровые библиотеки, вообще рассматривают свои массивы данных как основной научный результат, но это, пока, увы, не очень распространено [6].
Анализ показывает, что не только ИТ-технологии поддерживают краудсорсинг, но и краудсорсинг вносит вклад в совершенствование ИТ-инфраструктуры. В частности, очень успешным проектом явилась оптимизация расположения точек доступа (WiFi) на местности при использовании смартфонов добровольцев в фоновом режиме. Средняя ошибка оптимальной локализации точки доступа прототипа системы уменьшилась до 4,0 м в типичном помещении при значительном сокращении времени и затрат на рабочую силу [7, 8].
Заключение
Обобщенная схема поддержки краудсорсинговых проектов разработчиками новых ИТ-продуктов показана на рис. 4.
Так, добровольческие вычисления требуют постоянного совершенствования алгоритмов параллельных и распределенных вычислений. Проекты добровольческого осмысливания требуют поддержки сайтов, форумов, тренингов, открытых баз данных и цифровых библиотек. Кооперативное зондирование основано на использовании мобильных приложений для смартфонов. Серверы требуют алгоритмов обработки больших массивов данных.
А возможен ли краудсорсинг, вообще не использующий современные ИТ-продукты? Возможен! Дисперсные исследовательские проекты могут использовать совсем простенькие системы коммуникации. Это, например, российский орнитологический проект «Соловьиные вечера»1, регулярно проводящийся один раз в год в конце мая в Москве и других городах. Добровольцы оперативно сообщают по проводному телефону о случаях пения соловьев в городской черте (это важный экологический индикатор).
1 Режим доступа: http://rbcu.ru/campaign/1753
Рис. 4. Обобщенная схема ИТ-поддержки кибернауки граждан
Однако наука граждан без мощной ИТ-поддержки - это сегодня скорее экзотика.
Важно отметить, что современные программные продукты в области информационных технологий вносят большой вклад в превращение краудсорсинговых проектов ограниченного действия в постоянно действующую науку граждан. Активисты науки граждан хорошо адаптированы к унифицированным продуктам и легко включаются в прогнозирование погоды, в поиски в орнитологических и зоологических областях, а также в решение других задач, которые покажутся им интересными.
В заключение обратим внимание на методы защиты неприкосновенности частных данных участников кооперативного зондирования. Этому вопросу, в частности, посвящен обзор [9]. На сегодняшний день типичным методом защиты конфиденциальности пользователей является так называемая концепция «к-анонимности». Предполагается, что данные, переданные конкретным пользователем, теряют связь с «автором» при удовлетворении некоторым специфическим условиям. Эта концепция также поддерживается специфическими ИТ-продуктами. Таким образом, данные участника используются, однако «извне проекта» невозможно отследить предоставившего данные автора.
Исследование поддержано грантом РГНФ 16-03-00358.
Список литературы
1. Haklay M. Citizen Science and Volunteered Geographic Information: Overview and Typology of Participation // Crowdsourcing Geographic Knowledge // Ed. by D.Z. Sui, S. Elwood and M.F. Goodchild. - Dordrecht, Netherlands: Springer, 2013. -P. 105-122.
2. Niforatos E. Vourvopoulos A., Langheinrich M. Understanding the potential of human-machine crowdsourcing for weather data // International Journal of HumanComputer Studies. - 2016. - Vol. 102, N 6. - P. 54-68.
3. Laso Bayas J.C. Crowdsourcing In-Situ Data on Land Cover and Land Use Using Gamification and Mobile Technology // Remote Sensing. - 2016. - Vol. 8, N 11. -P. 905.
4. Pokémon Go: Benefits, Costs, and Lessons for the Conservation Movement / Dor-ward L.J., Mittermeier, J.C., Sandbrook, C. Spooner, F. / ^^e^ation Letters. -2017. - N 10. - P. 160-165. - DOI: 10.1111/conl.12326.
5. Zanatta A.L. Software Crowdsourcing Platforms // IEEE Software. - 2016. - Vol. 33, N 6. - P. 112-116.
6. Borgman C.L. Knowledge infrastructures in science: Data, diversity, and digital libraries // International Journal on Digital Libraries. - 2015. - Vol. 16, N 3-4. -P. 207-227.
7. Chen P.Y. When crowdsourcing meets mobile sensing: A social network perspective // IEEE Communications Magazine. - 2015. - Vol. 53, N 10. - P. 157-163.
8. Zhuang Y. Smartphone-based WiFi access point localisation and propagation parameter estimation using crowdsourcing // Electronics Letters. - 2015. - Vol. 51, N 17. - P. 1380-1382.
9. Christin D. Privacy in mobile participatory sensing: Current trends and future challenges // J. Syst. Softw. - 2016. - Vol. 116. - P. 57-68. - DOI: 10.1016/j.jss. 2015.03.067.
