Na wystawie „Przyszłość jest dziś” w Centrum Nauki Kopernik możecie zobaczyć instalację z siecią neuronową, która na podstawie zbieranych danych uczy się rozpoznawać pisane odręcznie cyfry. Podobną sieć neuronową testowaliście też na platformie OSE IT Szkoła.

Z setek cyfr pisanych za pomocą ruchu myszy na ekranie powstał pokaźny zbiór – zobaczcie poniżej interaktywną wizualizację 3D!

Jak działa sieć neuronowa?

Sieć neuronowa to system przeznaczony do przetwarzania informacji. Jej budowa i funkcjonowanie pierwotnie wzorowane były na uproszczonym modelu działania fragmentów rzeczywistego (biologicznego) systemu nerwowego. Na przesłankach biologicznych oparte są schematy sztucznych neuronów wchodzących w skład sieci oraz – w pewnym stopniu – jej struktura.

Charakterystyczną cechą sieci neuronowej jest jej zdolność uczenia się na podstawie przykładów, a także umiejętność działania na nowych danych, o ile są one wystarczająco podobne do znanych wzorców. 

Tak właśnie dzieje się w przypadku naszej sieci. Na podstawie przykładów ręcznego zapisu poszczególnych cyfr (dostarczanych za pośrednictwem tej strony i odpowiednio klasyfikowanych przez moderatorów) tworzona jest ich baza. Wprowadzone dane  są następnie dzielone na trzy zbiory:

• dane treningowe – na których model się uczy;
• dane walidacyjne – na nich testujemy różne wytrenowane wersje modelu (np. różniące się liczbą neuronów czy sposobem ich przycinania) w celu wybrania najbardziej obiecującego;  
• dane testowe – te służą do oszacowania, jak dobrze wybrany model będzie działać na zupełnie nowych danych.

Rozdział pomiędzy danymi treningowymi, walidacyjnymi i testowymi zapobiega zjawisku tzw. overfittingu (zbytniego dopasowania modelu), czyli sytuacji, gdy sieć świetnie klasyfikuje przykłady, za pomocą których była trenowana, ale nie najlepiej radzi sobie z nieznanymi wcześniej wariantami.

Nasza sieć jest okresowo trenowana. Co pewien czas nowe, wprowadzane przez użytkowników cyfry dodawane są do zbioru treningowego. Sieć aktualizowana jest poprzez uruchomienie od początku procesu treningu z uwzględnieniem wszystkich zebranych do tej pory danych.

Trening

Sieć trenowana jest za pomocą algorytmu propagacji wstecznej błędu. Brzmi skomplikowanie, ale w dużym uproszczeniu polega to na tym, że po dokonaniu decyzji parametry modelu modyfikowane są od końca, czyli od ostatniej warstwy sieci, i tym mocniej, im bardziej przyczyniły się do popełnienia błędu. 

Aby przygotować sieć na czekające ją wyzwania i nie dopuścić do nadmiernego dopasowania do danych treningowych, podczas treningu losowo wyłączamy całe neurony. Dzięki temu rozpraszamy funkcjonalność sieci i ograniczamy jej złożoność. Ważnym elementem procesu, pozwalającym na zachowanie czytelności sieci, jest jej przycinanie (ang. pruning).

Przycinanie (pruning)

Przycinanie sieci neuronowej to usuwanie nadmiarowych połączeń lub całych neuronów z wytrenowanej sieci. Optymalizuje to szybkość jej działania oraz ilość pamięci potrzebnej do obliczeń. Ma to duże znaczenie zwłaszcza dla sieci działających na urządzeniach mobilnych lub niewielkich, energooszczędnych czipach wykorzystywanych w urządzeniach IOT (czyli w tzw. urządzeniach smart, będących częścią Internetu Rzeczy).

Wybór architektury

Pikanterii procesowi dodaje fakt, że każdy neuron nie powinien mieć więcej niż 10 połączeń wychodzących i wchodzących. Architektura sieci wybrana została za pomocą algorytmu genetycznego promującego sieci, który z dużym prawdopodobieństwem trenował się do akceptowalnego poziomu oraz w jak najmniejszym stopniu łamał ograniczenie struktury połączeń. Po przycięciu sieci do odpowiedniego poziomu, jeżeli występowały w niej neurony łamiące ograniczenie, usuwane były te połączenia, które w najmniejszym stopniu wpływały na spadek dokładności sieci.

Destylacja wiedzy

W celu zwiększenia dokładności sieci w eksponacie zastosowany został algorytm destylacji wiedzy, którego używa się w większej, dokładniejszej sieci neuronowej jako nauczyciela. Docelowa sieć ma przewidzieć zarówno odpowiednią klasę cyfry, jak również prawdopodobieństwo tego, że narysowana cyfra przynależy do poszczególnych klas wyznaczonych przez nauczyciela. Działanie intuicyjne sprawia, że sieć szybciej uczy się podobieństw pomiędzy poszczególnymi klasami cyfr (np. 3 i 8 mają brzuszki) oraz informacja zwrotna w postaci gradientu jest "gęstsza".

Notka końcowa

W celu zwiększenia dokładności sieci w eksponacie zastosowany został algorytm destylacji wiedzy, którego używa się w większej, dokładniejszej sieci neuronowej jako nauczyciela. Docelowa sieć ma przewidzieć zarówno odpowiednią klasę cyfry, jak również prawdopodobieństwo tego, że narysowana cyfra przynależy do poszczególnych klas wyznaczonych przez nauczyciela. Działanie intuicyjne sprawia, że sieć szybciej uczy się podobieństw pomiędzy poszczególnymi klasami cyfr (np. 3 i 8 mają brzuszki) oraz informacja zwrotna w postaci gradientu jest "gęstsza".

Statystyki

Dokładność

To procentowa miara, która określa, jak dobrze sieć radzi sobie z odpowiednim klasyfikowaniem danych.

Złożoność

Złożoność sieci zależna jest od ilości neuronów i połączeń między nimi.
W przypadku tej konkretnej sieci dążymy do minimalizacji liczby elementów składowych i otrzymujemy niewielką sieć. Jednak sieci przeznaczone np. do rozpoznawania obiektów na zdjęciach mogą składać się nawet z kilkudziesięciu milionów elementów (AlexNet: 60 milionów). Cieszący się dużą popularnością GPT-3, czyli wytrenowany przez OpenAI generator tekstu, ma aż 175 miliardów. Wyścig się jednak nie kończy. Microsoft opublikował model, który ma aż 30 bilionów parametrów!

Dane

Aby sieć mogła nauczyć się prawidłowo rozpoznawać wpisywane przez użytkowników cyfry,  musimy dostarczyć jej odpowiednią liczbę przykładów. Wszystkie zebrane i odpowiednio pokategoryzowane przykłady dzielimy na trzy zbiory: 

• dane treningowe – na których model się uczy;  
• dane walidacyjne – na nich testujemy różne wytrenowane wersje modelu w celu wybrania najbardziej obiecującego;
• dane testowe – służą do oszacowania tego, jak dobrze wybrany model będzie działać na zupełnie nowych danych. 

***

Projekt „Kampanie edukacyjno-informacyjne na rzecz upowszechniania korzyści z wykorzystywania technologii cyfrowych” jest realizowany przez Kancelarię Prezesa Rady Ministrów, wspólnie z Państwowym Instytutem Badawczym NASK oraz Centrum Nauki Kopernik. Kampanie mają na celu promowanie wykorzystywania technologii w codziennym życiu przez osoby w różnym wieku, przełamywanie barier z tym związanych oraz wzrost cyfrowych kompetencji społeczeństwa. Projekt obejmuje pięć obszarów: jakość życia, e-usługi publiczne, bezpieczeństwo w sieci, programowanie i cyfrową przyszłość.