OSE IT Szkoła Strona główna
  • Zobacz wszystkie
    • OSE IT Szkoła Algorytmika i programowanie
      5 kursów OSE IT Szkoła
    • OSE IT Szkoła Cyberbezpieczeństwo
      34 kursy OSE IT Szkoła
    • OSE IT Szkoła Cyfrowa higiena
      11 kursów OSE IT Szkoła
    • OSE IT Szkoła Edukacja medialna
      2 kursy OSE IT Szkoła
    • OSE IT Szkoła Fizyka
      13 kursów OSE IT Szkoła
    • OSE IT Szkoła Multimedia, grafika i technologie internetowe
      1 kurs OSE IT Szkoła
    • OSE IT Szkoła Szachy
      3 kursy OSE IT Szkoła
    • OSE IT Szkoła Sztuczna inteligencja
      9 kursów OSE IT Szkoła
    • OSE IT Szkoła Algorytmika i programowanie
      34 kursy OSE IT Szkoła
    • OSE IT Szkoła Bazy danych
      12 kursów OSE IT Szkoła
    • OSE IT Szkoła Bezpieczeństwo systemów informatycznych
      5 kursów OSE IT Szkoła
    • OSE IT Szkoła Biologia i chemia
      7 kursów OSE IT Szkoła
    • OSE IT Szkoła Cyberbezpieczeństwo
      5 kursów OSE IT Szkoła
    • OSE IT Szkoła Edukacja medialna
      9 kursów OSE IT Szkoła
    • OSE IT Szkoła Fizyka
      10 kursów OSE IT Szkoła
    • OSE IT Szkoła ICT English
      1 kurs OSE IT Szkoła
    • OSE IT Szkoła Matematyka
      5 kursów OSE IT Szkoła
    • OSE IT Szkoła Multimedia, grafika i technologie internetowe
      24 kursy OSE IT Szkoła
    • OSE IT Szkoła Prawo internetu
      8 kursów OSE IT Szkoła
    • OSE IT Szkoła Sieci komputerowe
      17 kursów OSE IT Szkoła
    • OSE IT Szkoła Szachy
      3 kursy OSE IT Szkoła
    • OSE IT Szkoła Sztuczna inteligencja
      27 kursów OSE IT Szkoła
    • OSE IT Szkoła Tendencje w rozwoju informatyki
      13 kursów OSE IT Szkoła
    • OSE IT Szkoła Algorytmika i programowanie
      37 kursów OSE IT Szkoła
    • OSE IT Szkoła Bazy danych
      12 kursów OSE IT Szkoła
    • OSE IT Szkoła Bezpieczeństwo systemów informatycznych
      5 kursów OSE IT Szkoła
    • OSE IT Szkoła Biologia i chemia
      7 kursów OSE IT Szkoła
    • OSE IT Szkoła Cyberbezpieczeństwo
      38 kursów OSE IT Szkoła
    • OSE IT Szkoła Cyfrowa higiena
      11 kursów OSE IT Szkoła
    • OSE IT Szkoła Edukacja medialna
      9 kursów OSE IT Szkoła
    • OSE IT Szkoła Fizyka
      22 kursy OSE IT Szkoła
    • OSE IT Szkoła ICT English
      1 kurs OSE IT Szkoła
    • OSE IT Szkoła Matematyka
      5 kursów OSE IT Szkoła
    • OSE IT Szkoła Multimedia, grafika i technologie internetowe
      25 kursów OSE IT Szkoła
    • OSE IT Szkoła Prawo internetu
      8 kursów OSE IT Szkoła
    • OSE IT Szkoła Sieci komputerowe
      17 kursów OSE IT Szkoła
    • OSE IT Szkoła Szachy
      3 kursy OSE IT Szkoła
    • OSE IT Szkoła Sztuczna inteligencja
      27 kursów OSE IT Szkoła
    • OSE IT Szkoła Tendencje w rozwoju informatyki
      13 kursów OSE IT Szkoła
  • Zobacz także

  • Aktualności
  • O portalu
  • Materiały
    • Wykłady
      Publikacje
      Wideo
      Program edukacyjny „Przyszłość jest dziś”
  • Konkursy
  • Kontakt

Sieć neuronowa

20.04.2022

Zobacz wirtualny eksponat z wystawy „Przyszłość jest dziś” i wykorzystaj go podczas lekcji.

Na wystawie „Przyszłość jest dziś” w Centrum Nauki Kopernik możecie zobaczyć instalację z siecią neuronową, która na podstawie zbieranych danych uczy się rozpoznawać pisane odręcznie cyfry. Podobną sieć neuronową testowaliście też na platformie OSE IT Szkoła.

Z setek cyfr pisanych za pomocą ruchu myszy na ekranie powstał pokaźny zbiór – zobaczcie poniżej interaktywną wizualizację 3D!

 

 

Jak działa sieć neuronowa?

Sieć neuronowa to system przeznaczony do przetwarzania informacji. Jej budowa i funkcjonowanie pierwotnie wzorowane były na uproszczonym modelu działania fragmentów rzeczywistego (biologicznego) systemu nerwowego. Na przesłankach biologicznych oparte są schematy sztucznych neuronów wchodzących w skład sieci oraz – w pewnym stopniu – jej struktura.

Charakterystyczną cechą sieci neuronowej jest jej zdolność uczenia się na podstawie przykładów, a także umiejętność działania na nowych danych, o ile są one wystarczająco podobne do znanych wzorców. 

Tak właśnie dzieje się w przypadku naszej sieci. Na podstawie przykładów ręcznego zapisu poszczególnych cyfr (dostarczanych za pośrednictwem tej strony i odpowiednio klasyfikowanych przez moderatorów) tworzona jest ich baza. Wprowadzone dane  są następnie dzielone na trzy zbiory:

  • dane treningowe – na których model się uczy;
  • dane walidacyjne – na nich testujemy różne wytrenowane wersje modelu (np. różniące się liczbą neuronów czy sposobem ich przycinania) w celu wybrania najbardziej obiecującego;  
  • dane testowe – te służą do oszacowania, jak dobrze wybrany model będzie działać na zupełnie nowych danych.

Rozdział pomiędzy danymi treningowymi, walidacyjnymi i testowymi zapobiega zjawisku tzw. overfittingu (zbytniego dopasowania modelu), czyli sytuacji, gdy sieć świetnie klasyfikuje przykłady, za pomocą których była trenowana, ale nie najlepiej radzi sobie z nieznanymi wcześniej wariantami.

Nasza sieć jest okresowo trenowana. Co pewien czas nowe, wprowadzane przez użytkowników cyfry dodawane są do zbioru treningowego. Sieć aktualizowana jest poprzez uruchomienie od początku procesu treningu z uwzględnieniem wszystkich zebranych do tej pory danych.

 

Trening

Sieć trenowana jest za pomocą algorytmu propagacji wstecznej błędu. Brzmi skomplikowanie, ale w dużym uproszczeniu polega to na tym, że po dokonaniu decyzji parametry modelu modyfikowane są od końca, czyli od ostatniej warstwy sieci, i tym mocniej, im bardziej przyczyniły się do popełnienia błędu. 

Aby przygotować sieć na czekające ją wyzwania i nie dopuścić do nadmiernego dopasowania do danych treningowych, podczas treningu losowo wyłączamy całe neurony. Dzięki temu rozpraszamy funkcjonalność sieci i ograniczamy jej złożoność. Ważnym elementem procesu, pozwalającym na zachowanie czytelności sieci, jest jej przycinanie (ang. pruning).

 

Przycinanie (pruning)

Przycinanie sieci neuronowej to usuwanie nadmiarowych połączeń lub całych neuronów z wytrenowanej sieci. Optymalizuje to szybkość jej działania oraz ilość pamięci potrzebnej do obliczeń. Ma to duże znaczenie zwłaszcza dla sieci działających na urządzeniach mobilnych lub niewielkich, energooszczędnych czipach wykorzystywanych w urządzeniach IOT (czyli w tzw. urządzeniach smart, będących częścią Internetu Rzeczy).

 

Wybór architektury

Pikanterii procesowi dodaje fakt, że każdy neuron nie powinien mieć więcej niż 10 połączeń wychodzących i wchodzących. Architektura sieci wybrana została za pomocą algorytmu genetycznego promującego sieci, który z dużym prawdopodobieństwem trenował się do akceptowalnego poziomu oraz w jak najmniejszym stopniu łamał ograniczenie struktury połączeń. Po przycięciu sieci do odpowiedniego poziomu, jeżeli występowały w niej neurony łamiące ograniczenie, usuwane były te połączenia, które w najmniejszym stopniu wpływały na spadek dokładności sieci.

 

Destylacja wiedzy

W celu zwiększenia dokładności sieci w eksponacie zastosowany został algorytm destylacji wiedzy, którego używa się w większej, dokładniejszej sieci neuronowej jako nauczyciela. Docelowa sieć ma przewidzieć zarówno odpowiednią klasę cyfry, jak również prawdopodobieństwo tego, że narysowana cyfra przynależy do poszczególnych klas wyznaczonych przez nauczyciela. Działanie intuicyjne sprawia, że sieć szybciej uczy się podobieństw pomiędzy poszczególnymi klasami cyfr (np. 3 i 8 mają brzuszki) oraz informacja zwrotna w postaci gradientu jest "gęstsza".

 

Notka końcowa

W celu zwiększenia dokładności sieci w eksponacie zastosowany został algorytm destylacji wiedzy, którego używa się w większej, dokładniejszej sieci neuronowej jako nauczyciela. Docelowa sieć ma przewidzieć zarówno odpowiednią klasę cyfry, jak również prawdopodobieństwo tego, że narysowana cyfra przynależy do poszczególnych klas wyznaczonych przez nauczyciela. Działanie intuicyjne sprawia, że sieć szybciej uczy się podobieństw pomiędzy poszczególnymi klasami cyfr (np. 3 i 8 mają brzuszki) oraz informacja zwrotna w postaci gradientu jest "gęstsza".

 

Statystyki

Dokładność

To procentowa miara, która określa, jak dobrze sieć radzi sobie z odpowiednim klasyfikowaniem danych.

Złożoność

Złożoność sieci zależna jest od ilości neuronów i połączeń między nimi.
W przypadku tej konkretnej sieci dążymy do minimalizacji liczby elementów składowych i otrzymujemy niewielką sieć. Jednak sieci przeznaczone np. do rozpoznawania obiektów na zdjęciach mogą składać się nawet z kilkudziesięciu milionów elementów (AlexNet: 60 milionów). Cieszący się dużą popularnością GPT-3, czyli wytrenowany przez OpenAI generator tekstu, ma aż 175 miliardów. Wyścig się jednak nie kończy. Microsoft opublikował model, który ma aż 30 bilionów parametrów!

Dane

Aby sieć mogła nauczyć się prawidłowo rozpoznawać wpisywane przez użytkowników cyfry,  musimy dostarczyć jej odpowiednią liczbę przykładów. Wszystkie zebrane i odpowiednio pokategoryzowane przykłady dzielimy na trzy zbiory: 

  • dane treningowe – na których model się uczy;  
  • dane walidacyjne – na nich testujemy różne wytrenowane wersje modelu w celu wybrania najbardziej obiecującego;
  • dane testowe – służą do oszacowania tego, jak dobrze wybrany model będzie działać na zupełnie nowych danych. 

 

***

Projekt „Kampanie edukacyjno-informacyjne na rzecz upowszechniania korzyści z wykorzystywania technologii cyfrowych” jest realizowany przez Kancelarię Prezesa Rady Ministrów, wspólnie z Państwowym Instytutem Badawczym NASK oraz Centrum Nauki Kopernik. Kampanie mają na celu promowanie wykorzystywania technologii w codziennym życiu przez osoby w różnym wieku, przełamywanie barier z tym związanych oraz wzrost cyfrowych kompetencji społeczeństwa. Projekt obejmuje pięć obszarów: jakość życia, e-usługi publiczne, bezpieczeństwo w sieci, programowanie i cyfrową przyszłość.

Kursy wybrane dla Ciebie

Wybierz poziom edukacyjny i sprawdź spersonalizowane rekomendacje kursów.

Rozpocznij naukę
OSE IT Szkoła

Odbiorcy

  • Szkoła podstawowa
  • Szkoła ponadpodstawowa
  • Nauczyciele

Kategorie tematyczne

  • Algorytmika i programowanie
  • Bazy danych
  • Bezpieczeństwo systemów informatycznych
  • Biologia i chemia
  • Cyberbezpieczeństwo
  • Zobacz wszystkie

Pomoc

  • Kontakt
  • Regulamin
  • Polityka cookies
  • Deklaracja dostępności
  • Informacje o dofinansowaniu

  • Szkoła podstawowa
  • Szkoła ponadpodstawowa
  • Nauczyciele

  • Algorytmika i programowanie
  • Bazy danych
  • Bezpieczeństwo systemów informatycznych
  • Biologia i chemia
  • Cyberbezpieczeństwo
  • Zobacz wszystkie

  • Kontakt
  • Regulamin
  • Polityka cookies
  • Deklaracja dostępności
  • Informacje o dofinansowaniu
OSE IT Szkoła

©NASK PIB 2023

OSE Ogólnopolska Sieć Edukacyjna NASK GOV.pl Cyfryzacja

©NASK PIB 2023

OSE Ogólnopolska Sieć Edukacyjna GOV.pl Cyfryzacja NASK

Zaloguj się

Asset 1
Asset 2
Asset 3
Nie pamiętam hasła
Przetwarzamy Twoje dane osobowe, aby umożliwić Ci dostęp i korzystanie z serwisu OSE IT SZKOŁA. Administratorem Twoich danych osobowych jest Naukowa i Akademicka Sieć Komputerowa – Państwowy Instytut Badawczy (NASK-PIB) z siedzibą w Warszawie. Przysługuje Ci prawo wniesienia sprzeciwu, prawo dostępu do danych, prawo żądania ich sprostowania, ich usunięcia lub ograniczenia ich przetwarzania. Szczegółowe informacje na temat przetwarzania Twoich danych osobowych znajdziesz w Polityce prywatności i plików cookies.

Nie masz konta?

Zarejestruj się

Drogi użytkowniku

Przechodząc do serwisu poprzez kliknięcie odnośnika „Zgadzam się” wyrażasz zgodę na przetwarzanie przez nas Twoich danych osobowych.

Pliki cookies

Gdy korzystasz z naszych serwisów, gromadzimy informacje o Twojej wizycie i sposobie poruszania się w naszych serwisach. W tym celu stosujemy pliki cookies. Plik cookies zawiera dane informatyczne, które są umieszczone w Twoim urządzeniu końcowym - przeglądarce internetowej, z której korzystasz.

Pliki cookies używane w naszych serwisach wykorzystywane są między innymi do bieżącej optymalizacji serwisów oraz ułatwiania Twojego z nich korzystania. Niektóre funkcjonalności dostępne w naszych serwisach mogą nie działać, jeżeli nie wyrazisz zgody na instalowanie plików cookies.

Instalowanie plików cookies lub uzyskiwanie do nich dostępu nie powoduje zmian w Twoim urządzeniu ani w oprogramowaniu zainstalowanym na tym urządzeniu.

Stosujemy dwa rodzaje plików cookies: sesyjne i trwałe. Pliki sesyjne wygasają po zakończonej sesji, której czas trwania i dokładne parametry wygaśnięcia określa używana przez Ciebie przeglądarka internetowa oraz nasze systemy analityczne. Trwałe pliki cookies nie są kasowane w momencie zamknięcia okna przeglądarki, głównie po to, by informacje o dokonanych wyborach nie zostały utracone. Pliki cookies aktywne długookresowo wykorzystywane są, aby pomóc nam wspierać komfort korzystania z naszych serwisów, w zależności od tego czy dochodzi do nowych, czy do ponownych odwiedzin serwisu.


Do czego wykorzystujemy pliki cookies?

Pliki cookies wykorzystywane są w celach statystycznych oraz aby usprawnić działanie serwisów i zwiększyć komfort z nich korzystania, m.in:

  • pozwalają sprawdzić jak często odwiedzane są poszczególne strony serwisów - dane te wykorzystujemy do optymalizacji serwisów pod kątem odwiedzających;
  • umożliwiają rozpoznanie rodzaju Twojego urządzenia, dzięki czemu możemy lepiej dopasować sposób i format prezentowania treści oraz funkcjonalności serwisów;
  • poprawiają wydajność i efektywność serwisów dla korzystających.

W jaki sposób możesz nie wyrazić zgody na instalowanie plików cookies za pomocą ustawień przeglądarki?

Jeśli nie chcesz, by pliki cookies były instalowane na Twoim urządzeniu, możesz zmienić ustawienia swojej przeglądarki w zakresie instalowania plików cookies. W każdej chwili możesz też usunąć z pamięci swojego urządzenia pliki cookies zapisane w trakcie przeglądania naszych serwisów. Pamiętaj jednak, że ograniczenia w stosowaniu plików cookies mogą utrudnić lub uniemożliwić korzystanie z tych serwisów.


Wykorzystywane narzędzia firm trzecich

Niektóre pliki cookies są tworzone przez podmiot, z usług których korzystamy, np.

  • Google Inc.

W naszych serwisach wykorzystujemy narzędzie Google Analytics do analizy ruchu na stronie internetowej oraz aktywności dotyczących jej przeglądania. Wykorzystujemy je w szczególności do celów statystycznych, aby sprawdzić jak często odwiedzane są poszczególne serwisy. Dane te wykorzystujemy również do optymalizacji i rozwoju serwisów. Więcej informacji na temat narzędzia Google Analytics znajdziesz na stronie:  https://policies.google.com/technologies/cookies

  • Facebook

Więcej informacji o zasadach plików cookies możesz znaleźć na:
https://pl-pl.facebook.com/policies/cookies/     

  • Twitter

Więcej informacji o zasadach plików cookies możesz znaleźć na:
https://help.twitter.com/en/rules-and-policies/twitter-cookies

  • Youtube

Więcej informacji o zasadach plików cookies możesz znaleźć na:
https://policies.google.com/privacy?hl=pl&gl=pl

Wyrażam zgodę na podstawowe oraz funkcjonalne cookies. Podstawowe cookies są niezbędne aby strona mogła działać prawidłowo. Cookies funkcjonalne wykorzystujemy do analizowania wizyt na stronie internetowej. Pomoże nam to zrozumieć, jak często odwiedzane są poszczególne serwisy oraz pozwoli optymalizować i rozwijać stronę.

Zgadzam się