CC BY
80
Эффективность алгоритмов машинного обучения и свёрточной нейронной сети для обнаружения патологических изменений на магнитно-резонансных томограммах головного мозга
Ю.Д. Агафонова1, А.В. Гайдель1-2, П.М. Зельтер 3, А.В. Капишников 3 1 Самарский национальный исследовательский университет имени академика С.П. Королёва, 443086, Россия, г. Самара, Московское шоссе, д. 34, 2 ИСОИ РАН - филиал ФНИЦ «Кристаллография и фотоника» РАН, 443001, Россия, г. Самара, ул. Молодогвардейская, д. 151, 3 ФГБОУ ВО «Самарский государственный медицинский университет» Минздрава России, 443099, Россия, г. Самара, ул. Чапаевская, д. 89
Аннотация
В работе сравниваются подходы для автоматического обнаружения различимых невооружённым глазом областей патологических изменений на изображениях МРТ головного мозга. В статье проанализированы многоэтапные подходы для диагностики видимых патологических изменений головного мозга на магнитно-резонансных томограммах, основанные на глубоком обучении и на пороговой обработке. Была сформирована свёрточная нейронная сеть, построен классификатор, основанный на применении ансамбля решающих деревьев, был создан алгоритм для многоэтапной обработки изображений. В результате экспериментальных исследований было установлено, что наиболее эффективным методом распознавания изображений магнитно-резонансной томографии является подход, основанный на ансамбле решающих деревьев. С его помощью 95 % изображений из контрольной выборки были классифицированы правильно. При этом с помощью свёрточной нейронной сети удалось классифицировать правильно все изображения, содержащие область патологических изменений. Полученные данные могут найти применение на практике для диагностики заболеваний головного мозга, для автоматизации процесса обработки большого количества исследований магнитно-резонансной томографии.
Ключевые слова: компьютерное зрение, обработка изображений, магнитно-резонансная томография, классификация, свёрточная нейронная сеть.
Цитирование: Агафонова, Ю.Д. Эффективность алгоритмов машинного обучения и свёрточной нейронной сети для обнаружения патологических изменений на магнитно-резонансных томограммах головного мозга / Ю.Д. Агафонова, А.В. Гайдель, П.М. Зельтер, А.В. Капишников // Компьютерная оптика. - 2020. - Т. 44, № 2. - С. 266-273. - DOI: 10.18287/2412-6179-CO-671.
Citation: Agafonova YuD, Gaidel AV, Zelter PM, Kapishnikov AV. Efficiency of machine learning algorithms and convolutional neural network for detection of pathological changes in MR images of the brain. Computer Optics 2020; 44(2): 266-273. DOI: 10.18287/2412-6179-CO-671.
Введение
В настоящее время наблюдается рост числа научных публикаций, описывающих различные подходы к созданию систем поддержки принятия решений для врачей диагностического профиля, в том числе связанных с диагностикой онкологических заболеваний по радиологическим изображениям. Основная проблема в этой области исследований заключается в отсутствии чёткой легко формализуемой связи между яркостью отсчётов изображения и наличием патологических изменений определённого вида.
Решению данной проблемы могут способствовать представленные алгоритмы. Данные алгоритмы способны обработать значительное количество изображений магнитно-резонансной томографии (МРТ) головного мозга с целью определения местоположения
опухоли, её контура и её площади. В качестве входных данных используется выборка изображений МРТ головного мозга, в качестве выходных данных получается маска расположения опухоли, если таковая присутствует на изображении.
Алгоритм для решения подобной задачи на основе метода опорных векторов описан в [1], однако в этой работе не приводится сколько-нибудь значимое экспериментальное исследование: демонстрируются графические результаты работы предложенных подходов для конкретного изображения, но количественные результаты, по которым можно было бы сделать научно значимые выводы об эффективности этих подходов, не приводятся. В [2] представлена информационная система для автоматизированного выделения подобных областей интереса, во многом предполагающая ручное взаимодействие с изображениями.
Сегментация изображений МРТ мозга для обнаружения тканей заданного вида является крайне актуальной задачей, что подтверждается повышающимся интересом к ней. В [3] предлагается гибридный подход, сочетающий свёрточную нейронную сеть и ансамбль решающих деревьев. В работе [4] для задачи сегментации тканей на изображениях МРТ головного мозга используется модификация метода нечёткой кластеризации С-средних. В [5] для сегментации изображений МРТ предлагается использовать нейронную сеть Ц-№1 с двумя путями. В работе [6] представлена статистическая модель формы деформируемых объектов, в том числе её можно использовать для описания черепа или головного мозга.
Широкий обзор современных методов обнаружения и локализации опухолей мозга на изображениях МРТ можно найти в [7].
Ранее авторами был предложен алгоритм автоматизированной диагностики эмфиземы по изображениям компьютерной томографии лёгких [8], однако область лёгкого при этом предлагалось выделять вручную. Позже был исследован эвристический алгоритм автоматического выделения области интереса на изображениях компьютерной томографии лёгких из соображений повышения качества дальнейшей диагностики [9].
Целью настоящей работы являлась разработка алгоритма для определения локализации заболеваний головного мозга. К патологиям, которые определяет алгоритм, относятся не только злокачественные опухоли, но и другие заболевания, например, гематома, менингиома, подострый удар, аневризма и другие. Ключевым требованием к патологии для её обнаружения является конкретная локализация и видимые отличия по яркости от окружающих тканей на заданном изображении МРТ с определённым режимом сканирования. Некоторые подходы, которые используют отдельные режимы сканирования поодиночке, упоминаются, например, в [7]. Основной задачей, решаемой в работе, является определение по изображению МРТ мозга, присутствует на нём такое патологическое изменение или нет. Новыми являются эвристические модификации алгоритмов, основанных на пороговой обработке, а также подходы к формированию признаков для решаемой задачи. Результаты сравнительного экспериментального исследования предложенных подходов, включая алгоритм, основанный на свёрточной нейронной сети, для набора реальных диагностических изображений также получены впервые.
1. Этапы алгоритма локализации, основанного на пороговой обработке
Общая схема этапов, включающих предварительную обработку и постобработку изображения, выглядит схожим образом для всех рассмотренных алго-
ритмов обнаружения области интереса. Подобная схема ранее была описана авторами в [10]. Она включает следующие этапы.
1. Стандартизация изображения. Производится поэлементное контрастирование исходного изображения х0(п, т) размером N х М (рис. 1а) по формуле
х1 (и,т) = ст1 (х0 (и,т) - х0) / ст0 + х1, где х0 - это средняя яркость изображения х0(и, т):
N -1
Х0 =Х Х0 (и, т),
и=0
ст0 - это среднеквадратическое отклонение яркости на изображении х0(и, т):
ст0 = £( (и,т)-х0) ,
V и=0
х1 = Q /2 I - целевая средняя яркость изображения, ст1 = \_Q / 61 - целевое среднеквадратическое отклонение яркости изображения, Q = 256 - количество оттенков серого, |_х] - оператор округления вниз до ближайшего целого.
2. Вычитание фона. Область интереса Б на изображении легко выделяется простой пороговой обработкой:
Б = {(и,т) е ([0;N-1]х[0;М-1])Z21 х (и,т) >/2|,
где = 1 или другому низкому значению яркости. Под Z понимается множество целых чисел. Полученное после двух этапов обработки изображение представлено на рис. 1б. Фон на рис. 1б не перекрашен в белый цвет, а просто исключён из рассмотрения.
3. Сглаживание. С целью подавления возможных шумов на изображении оно фильтруется с помощью размытия Гаусса:
х2 (и, т) = х1 (и, т)**—ехр 2л
и2 + т2
где оператор ** означает двумерную свёртку сигналов. Результат фильтрации представлен на рис. 2.
а) б)
Рис. 1. Исходное изображение (а), результат стандартизации и вычитания фона (б)
Рис. 2. Сглаживание изображения: изображение до сглаживания (а) и после сглаживания (б)
4. Адаптивная пороговая обработка. Ключевой этап для локализации области патологических изменений основан на гипотезе о том, что на изображении подверженная таким изменениям ткань отличается по яркости от окружающих тканей. Каждый отсчёт изображения подвергается пороговой обработке с адаптивным порогом, зависящим от яркости в некоторой окрестности 1 этого отсчёта:
х3 (п, т ) =
|0, х2 (п,т)< Т(п,т), (2 -1, х2 (п, т)> Т (п, т),
где
Т (п, т ) =
X х2 (
(2г + 1) (
п + i, т +
1)-
среднее значение яркости изображения в окрестности отчёта (п, т),1 = [-г; +г]2п^ - квадратное окно радиуса г = 11.
На рис. 3 а изображён результат адаптивной пороговой обработки изображения, представленного на рис. 2б.
5. Операции математической морфологии. Для цифрового изображения х(п, т) операцию дилатации со структурным элементом в виде окна 1 можно определить как
у (п, т ) = пих (( (п + i, т +1)),
а операцию эрозии - как
у (п, т ) = (111111 (х (п + i, т +1)) .
(1)
(2)
В результате применения операции эрозии все объекты, соединённые тонкими линиями, становятся разъединёнными, и размеры всех объектов уменьшаются. При применении дилатации происходит устранение разрывов линий на изображении путем их перекрытия [11]. Операция открытия определяется как последовательное применение сначала эрозии (2), а затем дилатации (1) к некоторому изображению, а операция закрытия, - напротив, как последовательное
применение к изображению сначала дилатации (1), а затем эрозии (2). В предлагаемом алгоритме с целью сглаживания границ выделенных объектов изображение х4(п, т) получается из изображения х3(п, т) путём последовательного применения сначала открытия, а потом закрытия с квадратным окном 1 радиусом г = 5. Результат такого преобразования представлен на рис. 3б.
а) ДРЙИЦМЩ РМА. б) ]
Рис. 3. Результат адаптивной пороговой обработки (а) и применения операций математической морфологии (б)
6. Выделение контуров. На получившемся чёрно-белом изображении х4(п, т) выделяются замкнутые контуры с помощью подхода, описанного в [12]. Для каждого контура
С
С = {(пк, тк )
вычисляются эвристические характеристики: - периметр
Г = Х>/( - пк+1 )2 +(к - тк+1 )2 ,
к
площадь 1
s = -
X пт+1 - пк+т
к
(3)
(4)
- минимальный радиус Я0 окружности, описанной вокруг контура,
- эксцентриситет эллипса Е, приближающего вершины контура, который был получен с помощью алгоритма, описанного в [13],
- округлость
0 =
(5)
- цельность - отношение площади (4) к площади выпуклой оболочки контура, вычисленной с помощью алгоритма, описанного в [14].
Окончательно полагается, что область патологических изменений ограничена контуром, ограничивающим максимальную площадь, среди контуров, отвечающих эвристически выбранному ограничению (рис. 4):
300 < 5 < 10000, 10 < R < 100,
о
r > 0,2, 0,1 < E < 0,9, S > 0,7.
(6)
Эти ограничения выбраны из тех соображений, что контуры, которые имеют большое расхождение с эллипсоидной формой и слишком большой размер, не рассматриваются как возможный очаг заболевания.
^^¡^^^Н б)
Рис. 4. Результат работы алгоритма локализации области патологических изменений, основанного на адаптивной пороговой обработке: исходное изображение (а), выделенная область (б)
2. Классификация выделенных областей
Для решения задачи определения факта присутствия на изображении МРТ головного мозга видимых патологических изменений предлагается классифицировать области, выделенные с помощью алгоритма, описанного в параграфе 1, вместо применения к ним эвристических правил (6). В качестве признаков некоторой выделенной области Б, ограниченной контуром С, использовано 12 следующих числовых характеристик.
1. Цельность S, описанная в параграфе 1.
2. Эксцентриситет Е, описанный в параграфе 1.
3. Округлость (5).
4. Площадь выпуклой оболочки контура, вычисленной с помощью алгоритма, описанного в [14], для последующего вычисления цельности 5".
5. Площадь самого контура (4).
6. Периметр контура (3).
7. Доля площади, которую выделенная область за-
нимает на изображении
7 = 5 / ^М) .
8. Отношение радиуса Я0 наименьшей окружно-
сти, описанной вокруг контура, к высоте изображения
Яо = Я / N.
9. Размах по первой координате
Ах = (max {х | (х, y) е D } -- min {х|(х, y)е d}) / N.
10. Размах по второй координате Ay = (max {y | (х, y)е D}- min {y|(x, y) е d}) /M.
11. Средняя яркость изображения в области D Xd = - ^ Xq (n, m).
5 (n,m)eD
12. Среднеквадратическое отклонение яркости в области D
Cd =
^ (xq(n,m)-Xd) .
(n ,m)eD
(7)
Эти параметры используются в качестве признаков для бинарной классификации. Класс в данном случае - это фактор, подвержена ли данная область патологическим изменениям. Часть выборки изображений в этом случае можно использовать для обучения классификатора, а оставшиеся - для контроля качества его работы.
3. Свёрточная нейронная сеть
В качестве альтернативного подхода для обнаружения патологических изменений на изображении МРТ головного мозга предлагается использовать нейронную сеть, схожую по архитектуре с AlexNet [15]. Эта сеть состоит из пяти свёрточных слоёв, за некоторыми из которых следует слой субдискретизации, после чего сеть завершается четырьмя плотными слоями, между которыми во избежание переобучения расположены исключающие слои. Архитектура сети схематично представлена на рис. 5.
Входные изображения были уменьшены до размера 72^72 отсчёта для ускорения обучения нейронной сети и её работы. Обучение производилось методом стохастического градиентного спуска на протяжении 120 эпох. В качестве функции активации на всех свёрточных слоях и на всех плотных слоях, кроме последнего нейрона, использовалась функция ReLu, имеющая вид
/ReLu (x) = max (x,0) .
В качестве функции активации последнего выходного нейрона использовалась логистическая сигмоида
Ферми
/exp (х) = — 1 "
exp (-х)
1
Спой Фильтры Ядро
Свёртка 32 3x3
43
Слой Окно
Субдискретизация 2*2
43
Слой Фильтры Ядро
Свёртка 256 11x11
43
Слой Окно
Субдискретизация 2*2
43
Слой Фильтры Ядро
Свёртка 384 3x3
43
Слой Фильтры Ядро
Свёртка 384 3x3
43
Слой Фильтры Ядро
Свёртка 256 3x3
43
Слой Окно
Субдискретизация 2x2
43-
Слой Размер
Плотный слой 4096
43-
Слой Вероятность
Исключение 0,4
43
Слой Размер
Плотный слой 4096
43
Слой Вероятность
Исключение 0,4
4^
Слой Размер
Плотный слой 100
43-
Слой Вероятность
Исключение 0,4
43-
Слой Размер
Плотный слой 17
43-
Выходной , нейрон ,
Рис. 5. Архитектура нейронной сети
В качестве функции потерь использовалась бинарная кросс-энтропия
1 N
Hp =-N X (У ■ log( pi) + (1 - у) • log(l - p)), (8)
N /=1
где N - количество изображений в выборке, у i - класс i-го изображения, pi - значение, выданное нейронной сетью для i-го изображения.
4. Экспериментальное исследование эффективности предложенных подходов
Вычислительные эксперименты проводились на наборе из 98 двумерных срезов магнитно-резонансной томографии головного мозга, подобных изображению на рис. 1а, со средним разрешением 512^512 отсчётов. Изображения были получены при различных режимах сканирования, среди которых были T1, T2 и FLAIR. На всех этих изображениях присутствовали визуально различимые участки патологических изменений различной природы с чёткой локализацией, которые были вручную выделены экспертом.
Основным источником изображений для этого и последующих экспериментов выступал архив CENTRAL, поддерживаемый Washington University School of Medicine, на платформе XNAT [16]. Также ряд изображений МРТ головного мозга, поражённого глиобластомой, был получен из архива The Cancer Imaging Archive [17], основанного федеральным исследовательским центром Frederick National Laboratory for Cancer Research. Среди патологий на изображениях преобладали менингиомы и глиобластомы.
Предложенный алгоритм относит каждый отсчёт изображения к области патологических изменений либо к фону, так что фактически решает задачу классификации каждого отсчёта. В качестве оценки эффективности этого алгоритма предлагается использовать следующие показатели:
- точность
JP = NTP / (NTP + Nfp ) ,
- полнота
Jr = Ntp / (Ntp + Nfn ) ,
- F-мера Ван Ризбергена
F = 2JpJr / (Jp + Jr ),
- специфичность
Js = Ntn / (Ntn + Nfp ),
- достоверность
Ja =(Ntp + Ntn ) / ((p + Ntn + Nfp + Nfn ) , (9)
где NTP - число верно определённых отсчётов, относящихся к области патологических изменений, NTN -число верно определённых отсчётов, относящихся к
фону, Ырр - число отсчётов фона, ошибочно отнесённых к области патологических изменений, а Ыт -число отсчётов, относящихся к области патологических изменений, но ошибочно отнесённых к фону.
В табл. 1 приведены средние значения этих характеристик по всем изображениям из выборки. Как и ожидалось, точное выделение области произвольных патологических изменений является сложной задачей, однако предложенный алгоритм всё равно справляется с ней в достаточной мере, о чём свидетельствуют высокие показатели достоверности сегментации. Однако более важной задачей является не точное выделение области патологических изменений, а определение, есть ли вообще такая область на снимке, или же на изображении представлен головной мозг здорового человека.
Табл. 1. Результаты экспериментального исследования эффективности алгоритма сегментации, основанного на пороговой обработке
Показатель Значение
Jp 0,59
Jr 0,55
F1 0,52
Js 1,00
Ja 0,99
Для экспериментального исследования классификатора, описанного в параграфе 2, использовалась выборка из 137 изображений МРТ мозга с теми же характеристиками. В неё входили 68 снимков с патологией и 69 снимков без патологии. Выборка была случайным образом разделена на контрольную выборку из 67 снимков, в которую вошли 34 снимка с патологией и 33 без патологии, и обучающую выборку, включающую остальные изображения.
С целью выравнивания шкалы измерения признаков каждый признак был независимо стандартизирован подобно тому, как стандартизировались яркости отсчётов изображения на первом этапе, описанном в параграфе 1. Иными словами, из значения каждого признака вычиталось среднее значение этого признака, после чего результат делился на его среднеквадра-тическое отклонение. При этом среднее значение признака и его среднеквадратическое отклонение оценивались по обучающей выборке.
В качестве классификатора использовался ансамбль из 196 решающих деревьев максимальной глубиной 10, подобный предложенному в [18]. Выделенная область считалась патологией, если по меньшей мере половина деревьев приняли такое решение. В итоге мозг на изображении считался поражённым заболеванием, если хотя бы одна выделенная область была классифицирована как область патологических изменений.
В табл. 2 приведены показатели, описанные в параграфе 2, но не для классификации отдельных отсчётов изображения на относящиеся к объекту или к
фону, а для классификации целых изображений на содержащие участки видимых патологических изменений и не содержащие таких участков. Все показатели указывают на высокое качество классификации.
Табл. 2. Результаты экспериментального исследования эффективности классификатора выделенных областей
Показатель Значение
Jp 0,97
Jr 0,93
F1 0,95
Js 0,97
Ja 0,95
Кроме того, особенности модели ансамбля решающих деревьев были использованы для вычисления важности отдельных признаков. В качестве важности признака использовалась частота его встречаемости в решающих правилах по всем деревьям решений.
На рис. 6 изображена диаграмма важности отдельных признаков для классификации. Признаки пронумерованы в порядке, в котором они описаны в этом параграфе. Чёрной линией в каждую сторону от верхушки столбца отложено среднеквадратическое отклонение соответствующей величины, рассчитанное по всем решающим деревьям. Можно заметить, что среднеквадратическое отклонение (7) яркости отсчётов изображения, попавших в выделенную область, является важным диагностическим показателем.
12 11 10 6 1 3 5 2 4 7 9 8 Рис. 6. Важность признаков для классификации
Экспериментальные исследования эффективности этой нейронной сети, описанной в параграфе 3, проводились на тех же изображениях и в таком же порядке. Считалось, что изображение содержит патологическую область, если нейронная сеть выдала значение не меньше 0,5. В табл. 3 представлены те же показатели эффективности распознавания изображений, что и в табл. 2, но вычисленные для предложенной нейронной сети.
Как видно из табл. 3, свёрточная нейронная сеть показывает в среднем худшее качество классификации по сравнению с классификатором на основе ансамбля решающих деревьев, поскольку её Б-мера ниже на 0,04. Однако при этом её полнота составляет 1,
что означает, что все изображения, содержащие области патологических изменений, были классифицированы правильно.
Табл. 3. Результаты экспериментального исследования эффективности свёрточной нейронной сети
Показатель Значение
Jp 0,83
Jr 1,00
F1 0,91
Js 0,71
Ja 0,88
На рис. 7 представлена зависимость достоверности классификации (8) и функции потерь (9) от номера эпохи для обучающей выборки при обучении сети (соответственно, йшп_асс и йши^оББ) и для контрольной выборки (соответственно, уа1_асс и уаМоББ). Видно, что обучение по меньшей мере до
Номер эпохи
Рис.7. Изменение достоверности классификации и функции потерь в процессе обучения свёрточной нейронной сети
Заключение
В работе сравниваются подходы для автоматического обнаружения различимых невооружённым глазом областей патологических изменений на изображениях МРТ головного мозга. Эти подходы в дальнейшем могут быть объединены в единый метод, решающий эту задачу ещё более эффективно.
Для рассмотренного набора изображений наиболее эффективным подходом оказался классификатор, основанный на ансамбле решающих деревьев, однако свёрточная нейронная сеть правильно распознала все изображения с патологией из контрольной выборки. Это означает, что хотя нейронная сеть чаще ошибочно полагает наличие патологии на изображении мозга здорового человека, всё же в целях повышения качества диагностики можно рекомендовать использовать именно её, поскольку она практически не пропускает изображения, на которых патология всё же присутствует. Кроме того, за счёт регулировки порога классификации потенциально можно дополнительно повысить показатели эффективности классификации с
помощью нейронной сети и подобрать требуемое для прикладной задачи соотношение точности и полноты.
Полученные результаты могут быть использованы при проектировании информационной системы автоматизированной диагностики видимых патологий с чёткой локализацией по изображениям МРТ головного мозга человека.
Благодарности
Разработка методов и алгоритмов выполнена при поддержке грантов РФФИ № 19-29-01235 мк и № 1929-01135 мк, экспериментальные исследования - в рамках госзадания ИСОИ РАН - филиала ФНИЦ «Кристаллография и фотоника» РАН (соглашение № 007-ГЗ/Ч3363/26).
Литература
1. Telrandhe, S.R. Detection of brain tumor from MRI images by using segmentation & SVM / S.R. Telrandhe, A. Pimpalkar, A. Kendhe // 2016 World Conference on Futuristic Trends in Research and Innovation for Social Welfare (Startup Conclave). -2016. - 6 p.
2. Kails, M.R. Automated segmentation of MR images of brain tumors / M.R. Kaus, S.K. Warfield, A. Nabavi, P.M. Black, F.A. Jolesz, R. Kikinis // Radiology. - 2001. - Vol. 218, Issue 2.
- P. 586-591.
3. Yang, T. A deep learning model integrating SK-TPCNN and random forests for brain tumor segmentation in MRI / T. Yang, J. Song, L. Li // Biocybernetics and Biomedical Engineering. -2019. - Vol. 39, Issue 3. - P. 613-623.
4. Haider, A. Brain tissue segmentation using improved kernelized rough-fuzzy C-means with spatio-contextual information from MRI / A. Halder, N.A. Talukdar // Magnetic Resonance Imaging.
- 2019. - Vol. 62. - P. 129-151.
5. He, Y. A 3D dual path U-Net of cancer segmentation based on MRI / Y. He, X. Yu, C. Liu, J. Zhang, K. Hu, H.C. Zhu // 2018 IEEE 3rd International Conference on Image, Vision and Computing (ICIVC). - 2018. - P. 268-272.
6. Смелкина, Н.А. Реконструкция анатомических структур на основе статистической модели формы / Н.А. Смелкина, Р.Н. Косарев, А.В. Никоноров, И.М. Байриков, К.Н. Рябов, А.В. Авдеев, Н.Л. Казанский // Компьютерная оптика. -2017. - Т. 41, № 6. - С. 897-904. - DOI: 10.18287/2412-61792017-41-6-897-904.
7. Wadhwa, A. A review on brain tumor segmentation of MRI images / A. Wadhwa, A. Bhardwaj, V.S. Verma // Magnetic Resonance Imaging. - 2019. - Vol. 61. - P. 247-259.
8. Гайдель, А.В. Возможности текстурного анализа компьютерных томограмм в диагностике хронической обструктив-ной болезни / А.В. Гайдель, П.М. Зельтер, А.В. Капишников, А.Г. Храмов // Компьютерная оптика. - 2014. - Т. 38, № 4. -С. 843-850.
9. Gaidel, A. Method of automatic ROI selection on lung CT images / A. Gaidel // Procedia Engineering. - 2017. - Vol. 201. -P. 258-264. - DOI: 10.1016/j.proeng.2017.09.612.
10. Агафонова, Ю.Д. Локализация области патологических изменений на изображениях МРТ головного мозга / Ю.Д. Агафонова, А.В. Гайдель. - В кн.: Перспективные информационные технологии (ПИТ 2019) / под ред. С.А. Прохорова. - Самара: Самарский научный центр РАН, 2019. - С. 362-365.
11. Serra, J. Image analysis and mathematical morphology / J. Serra.
- Orlando: Academic Press, 1983. - 610 p.
12. Suzuki, S. Topological structural analysis of digitized binary images by border following / S. Suzuki, K.A. Be // Computer Vision, Graphics, and Image Processing. - 1985. - Vol. 30, Issue 1. - P. 32-46.
13. Fitzgibbon, A.W. A buyer's guide to conic fitting / A.W. Fitzgibbon, R.B. Fisher // Proceedings of the 6th British Conference on Machine Vision. - 1995. - Vol. 2. - P. 513-522.
14. Sklansky, J. Finding the convex hull of a simple polygon / J. Sklansky // Pattern Recognition Letters. - 1982. - Vol. 1, Issue 2. - P. 79-83.
15. Krizhevsky, A. ImageNet classification with deep convolutional neural networks / A. Krizhevsky, I. Sutskever, G.E. Hinton //
Communications of the ACM. - 2017. - Vol. 60, Issue 6. -P. 84-90.
16. Herrick, R. XNAT Central: Open sourcing imaging research data / R. Herrick, W. Horton, T. Olsen, M. McKay, K.A. Archie, D.S. Marcus // Neurolmage. - 2016. - Vol. 124, Part B. -P. 1093-1096.
17. Clark, K The Cancer Imaging Archive (TCIA): Maintaining and operating a public information repository / K. Clark, B. Vendt, K. Smith, J. Freymann, J. Kirby, P. Koppel, S. Moore, S. Phillips, D. Maffitt, M. Pringle, L. Tarbox, F. Prior // Journal of Digital Imaging. - 2013. - Vol. 26, Issue 6. - P. 1045-1057.
18. Breiman, L. Random forests / L. Breiman // Machine Learning. - 2001. - Vol. 45, Issue 1. - P. 5-32.
Сведения об авторах
Агафонова Юлия Дмитриевна, 2000 года рождения, с 2018 является студенткой Самарского национального исследовательского университета. В настоящее время студентка второго курса по направлению «Математическое обеспечение и администрирование информационных систем». Область научных интересов: компьютерное зрение, обработка изображений, анализ изображений, цифровая фотография. E-mail: uka132@mail.ru .
Гайдель Андрей Викторович, 1989 года рождения, кандидат технических наук, в 2012 году окончил Самарский государственный аэрокосмический университет имени академика С.П. Королёва по направлению «Прикладная математика и информатика», в 2015 году защитил кандидатскую диссертацию. Работает доцентом кафедры технической кибернетики Самарского университета и научным сотрудником в Институте систем обработки изображений РАН - филиале ФНИЦ «Кристаллография и фотоника» РАН. Область научных интересов: компьютерная обработка изображений, теория распознавания образов, интеллектуальный анализ данных, теория алгоритмов. E-mail: andrey.gaidel@gmail.com .
Зельтер Павел Михайлович, 1986 года рождения, в 2010 году с отличием окончил Самарский государственный медицинский университет, в 2012 году - ординатуру по специальности «Рентгенология», работает ассистентом кафедры лучевой диагностики и лучевой терапии с курсом медицинской информатики СамГМУ. Область научных интересов: компьютерная томография, ХОБЛ, компьютерный анализ медицинских изображений. E-mail: pzelter@mail.ru .
Капишников Александр Викторович, 1955 года рождения. В 1972 году окончил лечебный факультет Куйбышевского медицинского института. Докторскую диссертацию защитил в 2004 году. Заведует кафедрой лучевой диагностики и лучевой терапии с курсом медицинской информатики СамГМУ Минздрава России. Область научных интересов: лучевая диагностика и ядерная медицина в пульмонологии, остеологии, нефрологии и онкологии, информационные технологии медицинской радиологии, CADe и CADx - системы для компьютерной поддержки диагностики.
ГРНТИ: 28.23.15.
Поступила в редакцию 18 ноября 2019 г. Окончательный вариант - 20 марта 2020 г.
Efficiency of machine learning algorithms and convolutional neural network for detection of pathological changes in MR images of the brain
Yu.D. Agafonova1, A.V. Gaidel12, P.M. Zelter 3, A.V. Kapishnikov 3
1 Samara National Research University, Moskovskoye shosse 34, 443086, Samara, Russia;
2IPSIRAS - Branch of the FSRC "Crystallography and Photonics" RAS, Molodogvardeyskaya 151, 443001, Samara, Russia;
3 Samara State Medical University, Chapayevskaya 89, 443099, Samara, Russia
Abstract
We compare approaches for the automatic detection of pathological changes in brain MRI images that are visible to the naked eye. We analyse multi-stage approaches based on deep learning and threshold processing. A convolutional neural network was formed, a classifier was built based on the use of an ensemble of decision trees, and an algorithm was created for multi-stage image processing. Because of experimental studies, it was found that the most effective method for recognizing images of magnetic resonance imaging is an approach based on an ensemble of decision trees. With its help, 95 % of the images from the test sample were classified correctly. At the same time, using the convolutional neural network, it was possible to classify correctly all images containing the area of pathological changes. The data obtained can be used in practice for the diagnosis of brain diseases, for automating the processing of a large number of studies of magnetic resonance imaging.
Keywords: computer vision, image processing, magnetic-resonance imaging, classification, convolutional neural network.
Citation: Agafonova YuD, Gaidel AV, Zelter PM, Kapishnikov AV. Efficiency of machine learning algorithms and convolutional neural network for detection of pathological changes in MR images of the brain. Computer Optics 2020; 44(2): 266-273. DOI: 10.18287/2412-6179-CO-671.
Acknowledgements: The work was partially funded by the Russian Foundation for Basic Research under grants No. 19-29-01235 and 19-29-01135 (theoretical results) and the Ministry of Science and Higher Education within the State assignment to the FSRC "Crystallography and Photonics" RAS No. 007-GZ/Ch3363/26 (numerical calculations).
References
[1] Telrandhe SR, Pimpalkar A, Kendhe A. Detection of brain tumor from MRI images by using segmentation & SVM. 2016 World Conference on Futuristic Trends in Research and Innovation for Social Welfare (Startup Conclave); Coimbatore: 2016.
[2] Kaus MR, Warfield SK, Nabavi A, Black PM, Jolesz FA, Kikinis R. Automated segmentation of MR images of brain tumors. Radiology 2001; 218(2): 586-591.
[3] Yang T, Song J, Li L. A deep learning model integrating SK-TPCNN and random forests for brain tumor segmentation in MR. Biocybern Biomed Eng 2019; 39(3): 613-623.
[4] Halder A, Talukdar NA. Brain tissue segmentation using improved kernelized rough-fuzzy C-means with spatio-contextual information from MRI. Magnetic Resonance Imaging 2019; 62: 129-151.
[5] He Y, Yu X, Liu C, Zhang J, Hu K, Zhu HC. A 3D dual path U-Net of cancer segmentation based on MRI. IEEE 3rd International Conference on Image, Vision and Computing (ICIVC) 2018: 268-272.
[6] Smelkina NA, Kosarev RN, Nikonorov AV, Bairikov IM, Ryabov KN, Avdeev AV, Kazanskiy NL. Reconstruction of anatomical structures using statistical shape modeling. Computer Optics 2017; 41(6): 897-904. DOI: 10.18287/2412-6179-2017-41-6-897-904.
[7] Wadhwa A, Bhardwaj A, Verna VS. A review on brain tumor segmentation of MRI images. Magnetic Resonance Imaging 2019; 61: 247-259.
[8] Gaidel AB, Zelter PM, Kapishnikov AV. Computed tomography texture analysis capabilities in diagnosing a
chronic obstructive pulmonary disease. Computer Optics 2014; 38(4): 843-850.
[9] Gaidel AV. Method of automatic ROI selection on lung CT images. Procedia Engineering 2017; 201: 258-264. DOI: 10.1016/j.proeng.2017.09.612.
[10] Agafonova JD, Gaidel AV. Localization of the area of pathological changes in the images of braint MRIs [In Russian]. In Book: Advanced Information Technologies and Scientific Computing (PIT 2019). Samara: "SNC RAN" Publisher; 2019: 362-365.
[11] Serra J. Image analysis and mathematical morphology. Orlando: Academic Press; 1983.
[12] Suzuki S, Be KA. Topological structural analysis of digitized binary images by border following. Computer Vision, Graphics, and Image Processing 1985; 30(1): 32-46.
[13] Fitzgibbon AW, Fisher RB. A buyer's guide to conic fitting. Proc 6th British Conf Machine Vis 1995; 2: 513-522.
[14] Sklansky J. Finding the convex hull of a simple polygon. Patt Recogn Lett 1982; 1(2): 79-83.
[15] Krizhevsky A, Sutskever I, Hinton GE. ImageNet classification with deep convolutional neural networks. Communications of the ACM 2017; 60(6): 84-90.
[16] Herrick R, Horton W, Olsen T, McKay M, Archie KA, Marcus DS. XNAT Central: Open sourcing imaging research data. NeuroImage 2016; 124(Pt B): 1093-1096.
[17] Clark K, Vendt B, Smith K, Freymann J, Kirby J, Koppel P, Moore S, Phillips S, Maffitt D, Pringle M, Tarbox L, Prior F. The Cancer Imaging Archive (TCIA): Maintaining and operating a public information repository. J Digit Imaging 2013; 26(6): 1045-1057.
[18] Breiman L. Random forests. Machine Learning 2001; | 45(1): 5-32.
Authors' information
Julia Dmitrievna Agafonova (b. 2000) since 2018 is a student of Samara National Research University. At present, she is a second-year student in the field of "Mathematical Support and Administration of Information Systems". Research interests: computer vision, image processing, image analysis, digital photography. E-mail: uka132@mail.ru .
Andrey Viktorovich Gaidel (b. 1989) graduated from Samara State Aerospace University in 2012, majoring in Applied Mathematics and Informatics. He received his Candidate of Science degree in Physics and Math in 2015 from the SSAU. Currently he is a teaching assistant of the Technical Cybernetics sub-department and Engineer at SSAU's laboratory SRL-35 of Samara State Aerospace University, also working as an intern researcher of the Image Processing Systems Institute of the Russian Academy of Sciences, - Branch of the FSRC "Crystallography and Photonics" RAS, Samara, Russia. His research interests currently focus on computer image processing, pattern recognition, data mining and theory of computation. E-mail: andrey.saidel@smail.com .
Pavel Mikhailovich Zelter (b. 1986) graduated with honors from Samara State Medical University in 2010, residency in Radiology in 2012. Assistant lecturer of Radiology department with course of Medical Informatics of Samara State Medical University. Research interests are currently focused on computered tomography, COPD, digital analysis of medical images. E-mail: pzelter@mail.ru .
Aleksandr Viktorovich Kapishnikov (b.1955). In 1972 he graduated from Medical faculty of Kuibyshev Medical Institute. Doctor of Science in Medicine (2004). Head of Diagnostic Radiology and Medical Informatics department of Samara State Medical University. Research interests: diagnostic radiology and nuclear medicine in pulmonology, osteology, nephrology and oncology, information technology in medical imaging, computer-based diagnostic support system (CADe and CADx).
Received November 18, 2019. The final version - March 20, 2020.
