Descoperirea rețelelor neuronale imponderabile și evoluția învățării profunde

  • Învățarea profundă utilizează arhitecturi multistratificate pentru a procesa date complexe folosind ponderi și funcții de activare.
  • Rețelele neuronale imponderabile înlocuiesc înmulțirile matematice costisitoare cu tabele de căutare binară.
  • Această nouă arhitectură permite o reducere drastică a consumului de energie și a dimensiunii modelelor pentru dispozitivele edge.

Sisteme de rețele neuronale

Dacă te-ai întrebat vreodată cum poate o mașină să-ți recunoască fața sau să înțeleagă ce spui, răspunsul constă în fascinația pentru creierul uman. Aceste structuri biologice, compuse din... neuroni interconectați care transmit semnale electriceAcestea au servit drept model pentru crearea a ceea ce cunoaștem astăzi sub numele de rețele neuronale artificiale, care sunt practic algoritmi concepuți pentru a rezolva puzzle-uri matematice complexe.

În lumea de astăzi, ne-am obișnuit cu ideea că inteligența artificială este sinonimă cu supercomputere și un consum enorm de energie. Cu toate acestea, se conturează o tendință foarte interesantă care urmărește să... optimizarea eficienței energeticeîntrebându-ne dacă într-adevăr trebuie să procesăm milioane de înmulțiri pentru a obține un răspuns simplu, imitând astfel sobrietatea energetică a propriului nostru creier.

calcul analogic
Articol conex:
Calcul analogic în memorie: pariul pentru reducerea consumului de energie al inteligenței artificiale

Arhitectura clasică: de la perceptron la Deep Learning

Pentru a înțelege încotro ne îndreptăm, trebuie să știm de unde am venit. O rețea neuronală de bază este de obicei organizată pe trei niveluri. Totul începe de la stratul de intrareAici sistemul primește date din exterior, le analizează și le trimite mai departe. Apoi urmează straturi ascunsecare poate fi unul singur sau zeci de ele; aici are loc procesarea reală, rafinând informațiile în fiecare etapă.

În cele din urmă, am ajuns la stratul de ieșireceea ce ne dă verdictul final. În funcție de ceea ce căutăm, putem avea un singur nod pentru un răspuns de tip da sau nu (clasificare binară) sau mai multe noduri dacă problema este mai complexă și necesită alegerea între mai multe categorii.

Când vorbim Învățare profundăNe referim la rețele cu multe straturi ascunse și milioane de conexiuni. În acest model, relația dintre neuroni este definită de un valoare numerică numită greutateProblema este că aceste rețele consumă multă energie și date, necesitând milioane de exemple pentru a evita greșelile.

AIoT
Articol conex:
AIoT: ce este și prin ce diferă de IoT convențional?

Inima antrenamentului: Propagarea înainte și înapoi

Pentru ca o rețea să învețe, trebuie mai întâi să încerce să ghicească. Procesul de Propagare înainte Este practic o călătorie de la stânga la dreapta: datele sosesc, sunt înmulțite cu ponderile, se adaugă o ajustare numită bias și trec printr-o funcție de activare (cum ar fi Sigmoid sau ReLu) pentru a decide dacă neuronul „se activează” sau nu.

Dar, din moment ce rețeaua nu știe nimic la început, va eșua spectaculos. Aici intervine Propagarea înapoiși aici se întâmplă magia. Algoritmul se deplasează acum de la dreapta la stânga, calculând eroarea dintre rezultatul obținut și rezultatul real. Folosind derivate matematiceRețeaua ajustează ponderile pentru a minimiza eroarea respectivă în următoarea iterație.

Un detaliu cheie în acest proces este rata de învățareDacă este prea mare, rețeaua învață rapid, dar este inexactă; dacă este prea mică, procesul devine nesfârșit. Scopul final este de a atinge minimul global al funcției de cost, permițând rețelei să generalizeze corect informațiile.

Revoluția rețelelor neuronale fără greutate

Aici lucrurile devin interesante. Profesoara Lizy K. John și echipa sa sparg tiparele propunând rețele neuronale fără greutateÎn timp ce inteligența artificială convențională se bazează pe efectuarea a miliarde de înmulțiri (o operațiune foarte costisitoare pentru hardware), această abordare folosește tabele de căutare interconectate.

În loc să calculeze o operație aritmetică complexă, rețeaua consultă pur și simplu un răspuns stocat pe baza unor intrări binare. Este un sistem mult mai asemănător cu modul în care oamenii raționează: nu înmulțim numerele în minte pentru a decide dacă să mergem la stânga sau la dreapta, ci mai degrabă procesăm semnalele de activare.

Raspberry Pi AI HAT+ 2
Articol conex:
Raspberry Pi AI HAT+ 2: noul pariu pentru a duce IA generativă la limită

Rezultatele sunt pur și simplu uimitoare. În sarcini precum monitorizarea medicală (ECG sau EEG) sau recunoașterea cuvintelor cheie, aceste rețele pot fi de o mie de ori mai mic și mai eficientImaginați-vă trecerea de la un model de 17 megaocteți la unul de doar 14 kiloocteți. Acest lucru permite inteligenței artificiale să trăiască direct în senzor prin intermediul... Edge Computing fără a fi nevoie să trimiteți date în cloud, ceea ce este, de asemenea, un Un punct în favoarea confidențialității a utilizatorului.

Către o inteligență artificială sustenabilă și ușoară

Nu este vorba doar despre eliminarea greutăților; există și tendința de a... rețele neuronale ușoareAcestea sunt concepute pentru a consuma cât mai puțină energie și memorie posibil, folosind tehnici precum dresaj sau tăiere rarăcare constă în eliminarea conexiunilor care nu contribuie la rezultatul final.

Această abordare este vitală în sectoare precum managementul energiei clădirilor sau răcirea centrelor de date, unde optimizarea consumului poate însemna economii de energie de până la 30%Scopul este clar: ca IA să nu fie o problemă climatică, ci o parte a soluției, permițând dispozitive cu costuri reduse, cum ar fi Microcontrolere ARM Cortex, efectuează sarcini inteligente în timp real.

De la transformatoarele care alimentează chatboții moderni până la rețelele neuronale convoluționale (CNN) axate pe imagini, calea către eficiență trece prin reduce complexitatea computaționalăSaltul de la perceptronul clasic la inteligența artificială generativă a fost masiv în ceea ce privește datele și puterea de lucru, dar adevărata tehnologie de vârf urmărește acum să facă mai mult cu mult mai puțin.

Tranziția de la arhitecturi dense, bazate pe multiplicare, la sisteme bazate pe căutare binară și modele reduse permite inteligenței artificiale să fie viabilă pe dispozitive minuscule. Prin integrarea eficienței energetice și a simplificării matematice, procesarea datelor devine mult mai rapidă și mai sustenabilă, deschizând calea pentru calcul local, privat, care nu se mai bazează pe GPU-uri masive pentru a funcționa corect.

cameră hiperspectrală cu inteligență artificială
Articol conex:
Cameră hiperspectrală cu inteligență artificială: utilizări reale și tehnologie

Adăugați ca sursă preferată în Google