Neuromorfe computers: een oplossing voor energieslurpende kunstmatige intelligentie?

Kunstmatige intelligentie zit in veel computertoepassingen, maar vergt veel rekenkracht en energie. De Universiteit Twente onderzoekt hoe chips op basis van klassieke computermaterialen als goud en silicium op dezelfde manier kunnen werken als onze hersenen. Dat zou computers veel zuiniger maken.

7 november 2021

Het ontgrendelen van je telefoon met je gezicht, het vinden van je favoriete muziek, praten met een digitale assistent op je telefoon of in een auto rijden met stuurhulp – het is allemaal mogelijk dankzij kunstmatige intelligentie, die enigszins lijkt op de informatieverwerking in ons brein en die in pakweg twintig jaar tijd belangrijk is geworden in talloze computertoepassingen.

Een nadeel is dat kunstmatige intelligentie energie vreet. Wetenschappers berekenden dat volledig zelfrijdende elektrische auto’s waarschijnlijk tien tot dertig procent van hun energie kwijt zijn aan de computer die de wagen bestuurt. Of neem het computerprogramma AlphaGo dat in 2016 voor het eerst een menselijke Go-meester versloeg. Het draaide op zo’n tweeduizend processors die naar verluidt samen een miljoen watt aan elektriciteit consumeerden – nogal veel ten opzichte van de pakweg twintig watt die zijn menselijke opponent nodig had.

Veel toepassingen van kunstmatige intelligentie vinden plaats in grote datacenters, daar waar veel energie voorhanden is (een tot twee procent van de totale wereldwijde elektriciteitsconsumptie gaat momenteel naar datacenters). Maar dat maakt ons afhankelijk van snelle en betrouwbare verbindingen. Is het niet veel slimmer om dit soort berekeningen te doen op de plek waar ze nodig zijn? Zo zou een camera die zélf interpreteert wat hij ziet, al zijn data niet meer hoeven te delen met een computer die verderop staat.

Rekenkracht hoopt zich nu vooral op bij grote techbedrijven. Wetenschappers werken aan onderdelen van computers die deze trend kunnen omkeren: computers die ultrazuinig zijn en tóch de kracht hebben voor veel van bovenstaande toepassingen. Onderzoekers halen hiervoor inspiratie uit onze eigen hersenen, die fundamenteel verschillen van de klassieke computerarchitectuur. Een hoopje minuscule gouddeeltjes blijkt zich te gedragen als een groepje kunstmatige hersencellen.

Een brein in silicium

Een klassieke computer lijkt in eerste instantie fundamenteel ongeschikt om een brein te simuleren. Weliswaar telt een gemiddelde computerchip miljarden transistors (die je kan voorstellen als minuscule schakelaars), maar die werken anders dan neuronen, de onderdelen waaruit ons brein is opgebouwd.

Een transistor krijgt een signaal en kan dat doorgeven of tegenhouden. Het is als een sluis die helemaal open of helemaal dicht staat: de transistor geeft een ‘1’ of ‘0’ door, alles of niets. Een neuron geeft ook een signaal door, maar doet dat pas wanneer het een zogenoemde drempelwaarde bereikt. Zie het meer als een kanon dat op scherp staat en ‘vuurt’ wanneer het van een aantal ingangen tegelijk een signaal krijgt.

Bovendien houden neuronen hun ‘toestanden’ vast, de verbindingen tussen de neuronen (ook wel synapsen genoemd) zijn aanpasbaar en geven makkelijker of minder makkelijk signalen door afhankelijk van alle eerdere signalen die ze doorgaven. Een transistor heeft in die zin geen geheugen.

Een vereenvoudigde schematische weergave van een neuraal netwerk zoals die in het brein zit. De rode ‘hersencellen’ ontvangen een signaal (links) en geven dat in een bepaalde mate door aan de respectievelijk blauwe en gele cellen. Die produceren uiteindelijk een resultaat (rechts).
fdecomite via CC BY 2.0

Samen sterk

Kunstmatige intelligentie kost veel energie, omdat die op een groot aantal berekeningen van een grote hoop aan data rust. Hoogleraar nano-elektronica Wilfred van der Wiel van de Universiteit Twente laat weten dat het in feite neerkomt op het vermenigvuldigen van enorme reeksen getallen (zogenoemde vector-matrix-vermenigvuldigingen). Voor vermenigvuldiging moet steeds een getal worden opgehaald uit het geheugen alvorens het weer wordt teruggestuurd naar het geheugen. “Dat zijn veel bewerkingsstappen en de enige reden dat het op dit moment redelijk werkt, is dat een computer deze stappen enorm snel na elkaar doet”, zegt Van der Wiel.

Neem dan ons brein. Dat kan qua rekensnelheid van enkele neuronen niet tippen aan de miljarden rekenstappen die een moderne processor er per seconde doorheen ramt. De snelheid van neuronen zit in de orde van enkele honderden ‘bewerkingen’ per seconde. De grote troef is echter dat het brein ontzettend veel rekenstappen tegelijk uitvoert. Het verplaatsen van getallen van en naar het geheugen is niet nodig (zie ook het kader Brein in silicium), omdat het verwerken en opslaan van informatie op dezelfde plek gebeurt. Dat blijkt efficiënt te zijn.

Inmiddels kijken onderzoekers dit af en maken ze computers meer ‘parallel’, zodat ze meer rekenstappen tegelijk doen. Dat kan met bijvoorbeeld zogenoemde graphics processing units (gpu’s), processors die hun oorsprong in de gamewereld vinden en gespecialiseerd zijn in veel parallelle rekenstappen. In de achterbak van Tesla’s liggen gpu’s en ook AlphaGo maakte er gebruikt van. Maar als computers zo efficiënt moeten zijn als het brein, dan is een verdere benadering van de hersenarchitectuur nodig. De transistor moet overboord.

Schematische weergave van een programmeerbare ‘hersencel’ van gouden nanodeeltjes (in het midden) aangestuurd door acht omliggende elektroden. Het circuit werkt vooralsnog bij een temperatuur van -196 graden Celsius.
Kaspar C. et al., The rise of intelligent matter (Nature, juni 2021)

Hersencellen van gouddeeltjes

De computer in het laboratorium van Van der Wiel heeft geen transistors. Computer is misschien ook een groot woord, want voorlopig telt het circuit maximaal twaalf in- en uitgangen die zijn verbonden met een zogenoemd nanomateriaal van gouddeeltjes. Met een beetje fantasie kun je dat als een verzameling van een aantal hersencellen zien.

De gouddeeltjes zijn twintig nanometer in doorsnede en liggen op een isolerende ondergrond van siliciumoxide. Van verschillende kanten lopen er elektroden naar de gouddeeltjes. Dit zijn onder andere inputs die een signaal doorgeven. Uiteindelijk produceert het op basis van deze inputs één output, een signaal dat wordt doorgegeven aan een volgend netwerkje.

De circuitjes zijn programmeerbaar door een bepaalde spanning op de regelelektroden te zetten. Daarmee verandert de manier waarop er stroom door de gouddeeltjes loopt: zowel het pad als de weerstand ervan. Van der Wiel en collega’s hebben al aangetoond dat er op deze manier ‘logische’ schakelingen zijn te maken die in computers zitten, waarvoor veel meer klassieke transistors nodig zijn.

Uiteindelijk is het juist níet de bedoeling om de klassieke computer te imiteren. “Het was een proof of principle van de programmeerbaarheid van het circuit. De uiteindelijk toepassing zal juist níet uit deze schakelingen bestaan”, zegt Van der Wiel.

Wilfred van der Wiel zegt dat toepassingen van energiezuinige neurale netwerken vooral het verschil kunnen maken op plekken waar veel rekenkracht nodig is, maar een beperkte energie beschikbaar is, zoals in camera’s van zelfrijdende auto’s die in staat zijn andere verkeersdeelnemers te herkennen.
flickr.com, Automobile Italia via CC BY 2.0

Vergeetachtige chips

Een van de uitdagingen is het groter maken van het systeem, zodat het complexere functies kan krijgen, aldus Van der Wiel. Eén hersencel maakt nog geen brein en de kracht van dit soort systemen is nu juist het grote aantal eenheden dat tegelijk informatie verwerkt. De honderden nanodeeltjes van Van der Wiel en collega’s steken misschien wat schamel af bij de honderd miljard hersencellen in een mensenbrein. “We willen opschalen en dat is een uitdaging. De vraag is hoe we ons netwerk meer aansluitingen geven en hoe we verschillende van die netwerken aan elkaar knopen”, vertelt Van der Wiel. “Ook dreigen signalen uit dit netwerk dan onmeetbaar klein te worden.”

Een ander punt is het geheugen van de netwerken, want dat ontbreekt. Eerst ‘programmeren’ de onderzoekers de hoop met gouden nanodeeltjes door verschillende spanningen op de elektrodes te zetten, net zo lang totdat de nanodeeltjes de gewenste respons geven. Maar na deze fase van material learning kan het materiaal het gewenste programma in feite ook weer verliezen. “We kijken nu hoe we de functionaliteit kunnen vastleggen, bijvoorbeeld met zogenoemde faseveranderende materialen, die ook in herschrijfbare cd’s zitten.”

Van der Wiel ziet wat dit betreft nog een lange weg naar toepassingen. Hij durft niet te zeggen hoe lang deze op zich laten wachten. “Vijf jaar, vijftig jaar, wie zal het zeggen? We hebben in ieder geval behoorlijk wat vooruitgang geboekt de afgelopen tien jaar. Toen leek het me sterk dat we chips met een random verzameling nanodeeltjes een bepaald gedrag konden leren. En dat is wat er nu wel gebeurt.”

Een weerstandje met geheugen

Ook aan de Rijksuniversiteit Groningen werken onderzoekers aan onderdelen voor neuromorfe computerchips. Het lukt ze inmiddels om in een materiaal een verbinding te maken die de leereigenschappen heeft van een verbinding tussen hersencellen in ons brein. Het bijzondere van zo’n connectie is dat het zijn toestand aanpast en onthoudt: gaan er bijvoorbeeld veel signalen doorheen, dan wordt de verbinding vanzelf sterker. Bij een gebrek aan signaal wordt hij zwakker.

In de computerwereld wordt dit een memristor genoemd – een combinatie van de woorden memory (geheugen) en resistor (weerstand). In Groningen maken de wetenschappers zo’n memristor van een stukje nikkel op een ondergrond van strontiumtitaniumoxide. De weerstand van dit materiaal blijkt afhankelijk van de stroom die er eerder doorheen is gegaan. Niet alleen kan dit materiaal ‘leren’, maar ook ‘vergeten’, precies zoals verbindingen in het brein ook doen. De Groningse wetenschappers hopen hun memristors te verkleinen voor toepassing in een neuromorfe chip.

Bronnen:

C. Kaspar, B.J. Ravoo, W.G. van der Wiel, S.V. Wegner, W.H.P. Pernice, The rise of intelligent matter, Nature (2021), doi:10.1038/s41586-021-03453-y
T.F. Tiotto, A.S. Goossens, J. Borst, T. Banerjee, N.A. Taatgen, Learning to Approximate Functions Using Nb-Doped SrTiO₃ Memristors, frontiers in Neuroscience (2021), doi:10.3389/fnins.2020.627276