Большая База Данных Рефератов - Классификация римских цифр на основе нейронных сетей

Рус Укр Eng

Классификация римских цифр на основе нейронных сетей

аким образом для моделирования был выбран размер изображения 7x9 пикселей.

Обучающая пара содержит 63+9=72 значения.

Представили 144 объекта различной формы.

В Excel получили файл, таблицу с обучающими параметрами.

Наш объект заносится в таблицу при помощи нулей и единиц, т.е. формируется соответствующий массив, записанный в одну строку, также в процессе обучения используются реальные выходные значения, которые записаны как одно значения в конце строки сформированного массива. Объекты, расположение которых должно быть выучено сетью, представляются размерной сеткой (7x9), где темным пикселям (частям объекта) соответствуют 1, а белым (пустое пространство) - 0.

изображение римской цифры 9.

изображение умышленно перевернуто нами для достижения лучшей терпимости сети к подаваемому углу изображения.

2.2 Окончательный выбор модели, структуры НС

По рекомендациям разработчиков пакета критерием остановки обучения будет:

события после минимума > 20000, так как с использованием встроенной калибровки этот критерий позволяет избежать переучивания сети и запоминания тестовых примеров.

Рассмотрим наиболее подходящие сети для решения данной задачи. Основные параметры, такие как виды функций активации: скорость обучения (=0,1),веса (=0,3),момент равен (=0,1)

По умолчанию для предсказания рекомендуется использовать сеть Ворда, содержащую два скрытых блока с разными передаточными функциями.

Стандартные сети.

Попробуем провести обучение с помощью модели 4-хслойной сети, в которой каждый слой соединён только с предыдущим слоем.

Структура НС:

1. количество слоев: 4

2. количество нейронов:

а) во входном слое: 63

б) в выходном слое: 9

3. вид функций активации:

а) входной слой - линейная [0;1]

б) выходной слой - логистическая

В таблице отражена зависимость минимальной средней ошибки на тренировочном и тестовом наборах от количества нейронов в скрытом слое.

Скорость обучения = 0,1; момент = 0,1; скрытые слои - слой 1 - 24 нейрона, слой 2 - 24 нейрона.

Таблица данных

Время обучения	Функции активации	Min средняя ошибка
	1слой	2слой	на тренировочном наборе	на тестовом наборе
03:18	логистическая	логистическая	0,0000036	0,0002548
08:03	Гауссова	Гауссова	0,0000006	0,0003652
00:05	линейная	линейная	0,5047548	0,7126971
01:01	компГауссова	компГауссова	0,0000059	0,0004709

Исходя из таблицы, оптимальной структурой для данной сети являестся сесть с Гауссовыми активационными функциями.

	Вых1	Вых2	Вых3	Вых4	Вых5	Вых6	Вых7	Вых8	Вых9
R квадрат	1,0000	1,0000	1,0000	1,0000	1,0000	1,0000	0,9995	1,0000	0,9999
СКО	0,002	0,002	0,001	0,001	0,001	0,002	0,007	0,001	0,004
Относ СКО %	0,155	0,195	0,073	0,057	0,082	0,166	0,722	0,084	0,351

НС после обучения показывает не очень хорошие обобщающие данные. Неплохие обобщающие данные сеть в середине интервала.

Скорость обучения и начальный момент на качество обобщения не влияют.

Сеть Ворда с двумя блоками в скрытом слое.

Структура НС:

1. количество слоев: 4

2. количество нейронов:

а) во входном слое: 63

б) в выходном слое: 9

В таблице отражена зависимость минимальной средней ошибки на тренировочном и тестовом наборах и времени обучения от вида функций активации.

Скорость обучения = 0,1; момент = 0,1

Таблица данных

1 скрытый слой	2 скрытый слой	Min средняя ошибка	Время обучения
Функция активации	Кол-во нейронов	Функция активации	Кол-во нейронов	на тренировочном наборе	на тестовом наборе
Комп.Гауссова	24	Комп. Гауссова	24	0,0000016	0,0005358	04:42
Гауссова	24	Гауссова	24	0,0000017	0,0019529	03:58
логистическая	24	логистическая	24	0,0000058	0,0003688	02:18
логистическая	24	Комп.Гауссова	24	0,0000043	0,0006007	01:35

Исходя из таблицы дла данной сети оптимальными будут гауссовы функции активации.

	Вых1	Вых2	Вых3	Вых4	Вых5	Вых6	Вых7	Вых8	Вых9
R квадрат	1.0000	0.9992	0.9999	1.0000	0.9999	1.0000	0.9995	1.0000	1.0000
СКО	0.002	0.009	0.003	0.001	0.003	0.001	0.021	0.001	0.002
Относ СКО %	0.152	0.910	0.275	0.107	0.320	0.133	2.112	0.128	0.153

Данная сеть после обучения показывает хорошие обобщающие данные.

Скорость обучения и начальный момент на качество обобщения не влияют.

Сеть Ворда с двумя блоками в скрытом слое и с обходным соединением

Структура НС:

1. количество слоев: 4

2. количество нейронов:

а) во входном слое: 63

б) в выходном слое: 9

3. активационная функция

а) во входном слое: линейная

б) в выходном: логистическая

Скорость обучения = 0,1; момент = 0,1

Таблица данных

1 скрытый слой	2 скрытый слой	Min средняя ошибка	Время обучения
Функция активации	Кол-во нейронов	Функция активации	Кол-во нейронов	на тренировочном наборе	на тестовом наборе
Гауссова	24	компГауссова	24	0,0000013	0,0034898	02:59
Гауссова	24	Гауссова	24	0,0000005	0,0065507	05:21
компГауссова	24	компГауссова	24	0,0000017	0,0037426	02:29
логистческая	24	логистическая	24	0,0000147	0,0019549	00:38

Исходя из таблицы дла данной сети оптимальными будут функции активации Гауссова для 1 слоя и Комплем. Гауссова для 2 слоя.

	Вых1	Вых2	Вых3	Вых4	Вых5	Вых6	Вых7	Вых8	Вых9
R квадрат	0,9995	0,9995	0,9986	0,9995	0,9983	0,9994	0,9996	0,9977	0,9979
СКО	0,007	0,008	0,013	0,007	0,012	0,007	0,006	0,014	0,015
Относ СКО %	0,690	0,760	1,258	0,692	1,230	0,746	0,620	1,429	1,512

Данная сеть после обучения показывает не очень хорошие обобщающие данные.

Скорость обучения и начальный момент на качество обобщения не влияют.

Сеть Кохонена

Структура НС:

1. кол-во нейронов

a. входной слой: 63

b. выходной слой: 9

2. скорость обучения: 0,5

3. начальные веса: 0,5

4. окрестность: 8

5. эпохи: 500

в таблице отражена зависимость средней количества неиспользованных категорий от пораметров выбора примеров и метрик расстояния.

Параметры выбора примеров	Метрики расстояния	Время обучения	Кол-во неиспозльзованных категорий
поочередный	евклидова	00:02	1
случайный	евклидова	00:02	1
поочередный	нормированная	00:02	3
случайный	нормированная	00:02	2

Данная сеть обладает плохим обобщением.

На данной диаграмме показаны сравнительные данные по времени обучения рассмотренных сетей.

Т.к сеть Кохонена обладает наихудшими обобщением, ее в диаграмму не включаем.

На данной диаграмме показаны сравниваемые нами значения выходных данных обученных сетей.

Исходя из представленных диаграмм оптимальной для нас будет сеть Ворда с 2мя скрытыми блоками.

2.3 Выбор параметров обучения

Находим оптимальные параметры:

* скорость обучения в интервале от 0 до1

* момент в интервале от 0 до 1

* начальные веса от 0 до 1

1. Зависимость качества обучения от скорости обучения

Скорость обучения	0,1	0,5	0,7	1
Мин. ср. ошибка на тест. наборе	0,0019529	0,0006956	0,0005016	0,0002641

2.Зависимость качества обучения от момента

Момент	0,1	0,5	0,7	1
Мин. ср. ошибка на тест. наборе	0,0019529	0,0012411	0,0013824	0,5690943

3.Зависимость качества обучения от начальных весов

Начальный вес	0,1	0,3	0,7	1
Мин. ср. ошибка на тест. наборе	0,0010359	0,0019529	0,0032182	0,0031102

2.4 Оптимальные параметры обучения

Скорость обучения: 0,1

Начальный момент: 0,1

Начальные веса: 0,3

Модель - Сеть Ворда с двумя блоками в скрытом слое.

Структура НС:

1. количество слоев: 4

2. количество нейронов:

1) блок 1: 63

2) блок 2: 24

3) блок 3: 24

4) блок 4: 9

3. вид функций активации:

1) блок 1 - линейная [0;1]

2) блок 2 -гауссова

3) блок 3 -гауссова

4) блок 5 - логистическая.

2.5 Блок-схема алгоритма обучения

3. Анализ качества обучения

При данных оптимальных параметрах результаты применения сети можно представить виде таблицы

	Вых1	Вых2	Вых3	Вых4	Вых5	Вых6	Вых7	Вых8	Вых9
R квадрат	1.0000	0.9992	0.9999	1.0000	0.9999	1.0000	0.9995	1.0000	1.0000
СКО	0.002	0.009	0.003	0.001	0.003	0.001	0.021	0.001	0.002
Относ СКО %	0.152	0.910	0.275	0.107	0.320	0.133	2.112	0.128	0.153
доля с ош <5%	10.417	12.500	13.194	9.722	9.722	11.111	10.417	9.722	12.500
доля с ош 5-10%	0	0	0	0	0	0	0	0	0
доля с ош 10-20%	0	0	0	0	0	0	0	0	0
доля с ош 20-30%	0	0	0	0	0	0	0.694	0	0
доля с ош >30%	0	0	0	0	0	0	0	0	0

Для проверки способностей к обобщению на вход сети подаются зашумленные последовательности входных сигналов. Процент зашумления показывает, какое количество битов входного вектора было инвертировано по отношению к размерности входного вектора.

Для зашумления 5% сеть выдает такие результаты:

	Вых1	Вых2	Вых3	Вых4	Вых5	Вых6	Вых7	Вых8	Вых9
Rквадрат	0,9868	0,9884	0,9800	0,9831	0,9843	0,9830	0,9814	0,9855	0,9838
СКО	0,036	0,034	0,044	0,041	0,039	0,041	0,043	0,038	0,040
Относ СКО %	3,616	3,385	4,448	4,089	3,942	4,096	4,289	3,781	3,998
доля с ош<5%	11,111	0	0	0	0	0	0	0	0
доля с ош5-10%	0	11,111	11,111	0	0	11,111	0	11,111	11,111
доля с ош 10-20%	0	0	0	11,111	11,111	0	11,111	0	0
доля с ош 20-30%	0	0	0	0	0	0	0	0	0
доля с ош>30%	0	0	0	0	0	0	0	0	0

Далее мы подавали различное количество инвертированных битов.

В таблице представлена зависимость количества инвертированных битов от количества правильных ответов на выходе

Количество инвертированных битов	Количество верных ответов на выходе
50	0
25	2
13	9
19	6
16	7
15	8
14	8

Таким образом мы выявили критическое количество зашумленных данных = 16 на каждый входной вектор.

Это соответствует 20% зашумления. При большем зашумлении входных данных сеть не может отдать предпочтение одной цифре, причем с увеличением зашумления количество таких букв растет.

Результаты сети при критическом зашумлении:

	Вых1	Вых2	Вых3	Вых4	Вых5	Вых6	Вых7	Вых8	Вых9
R квадрат	0,7193	0,8274	0,6583	0,7303	0,7928	0,6981	0,9135	0,8702	0,7746
СКО	0,028	0,017	0,034	0,027	0,020	0,030	0,009	0,013	0,022
Относ СКО %	16,650	13,057	18,369	16,322	14,304	17,268	9,243	11,321	14,922
доля с ош <5%	0	0	0	0	0	0	0	0	0
доля с ош 5-10%	0	0	0	0	0	0	0	0	0
доля с ош 10-20%	0	11,111	0	0	11,111	0	0	0	0
доля с ош 20-30%	0	0	0	0	0	0	11,111	0	11,111
доля с ош >30%	11,111	0	11,111	11,111	0	11,111	0	11,111	0

Судя по анализу качества обучения, сеть хорошо справляется при 20% зашумлении.

Это говорит о том что у сети неплохой потенциал для обобщения.

Выводы

В ходе данной курсовой работы были получены навыки моделирования нейронных сетей, а также была решена частная задача моделирования нейронной сети для классификации римских цифр. Исходными данными для сети являлись изображения римских цифр, представленные виде матриц, размерностью 7х9.

Обученная нейронная сеть хорошо себя показала при 20% уровне шума. Для увеличения этого показателя нужно снизить риск возникновения критических шумов. Этого можно достигнуть путем увеличения размерности сетки.

Список использованных источников

1 Стандарт предприятия СТП 1-У-НГТУ-98

2 Круглов В.В., Борисов В.В. Искусственные нейронные сети. Теория и практика. - М.: Горячая линия - Телеком, 2001. - 382 с.:ил.

3 Электронный учебник по NeuroShell 2

4 Каллан Р. Основные концепции нейронных сетей

5 Ресурсы сети Интернет

Страницы: 1, 2

Меню

Классификация римских цифр на основе нейронных сетей