https://bodybydarwin.com
Slider Image

Kan AI aan onze controle ontsnappen en ons vernietigen?

2020

"Het begon drie en een half miljard jaar geleden in een poel van modder, toen een molecuul een kopie van zichzelf maakte en zo de ultieme voorouder van al het aardse leven werd. Het begon vier miljoen jaar geleden, toen de hersenvolumes snel begonnen te klimmen in de mensachtige lijn. Vijftigduizend jaar geleden met de opkomst van Homo sapiens. Tienduizend jaar geleden met de uitvinding van de beschaving. Vijfhonderd jaar geleden met de uitvinding van de drukpers. Vijftig jaar geleden met de uitvinding van de computer. In minder dan dertig jaren zal het eindigen. "

Jaan Tallinn kwam deze woorden in 2007 tegen, in een online essay genaamd "Staring into the Singularity." Het "het" is de menselijke beschaving. De mensheid zou ophouden te bestaan, voorspelde de auteur van het essay, met de opkomst van superintelligentie, of AI die het menselijke intellect op een breed scala van gebieden overtreft.

Tallinn, een in Estland geboren computerprogrammeur, heeft een achtergrond in de fysica en heeft de neiging om het leven te benaderen als een groot programmeerprobleem. In 2003 was hij mede-oprichter van Skype en ontwikkelde hij de backend voor de app. Hij verzilverde zijn aandelen nadat eBay het twee jaar later had gekocht, en nu zocht hij naar iets om te doen. "Staring into the Singularity" verpulverde computercode, kwantumfysica en citaten van Calvin en Hobbes . Hij was verslaafd.

Tallinn ontdekte al snel dat de auteur van het essay, autodidactisch theoreticus Eliezer Yudkowsky, meer dan 1.000 artikelen en blogposts had geschreven, waarvan vele gewijd waren aan superintelligentie. Tallinn schreef een programma om Yudkowsky's geschriften van internet te schrapen, chronologisch te ordenen en te formatteren voor zijn iPhone. Daarna besteedde hij het grootste deel van een jaar aan het lezen ervan.

De term 'kunstmatige intelligentie of de simulatie van intelligentie in computers of machines, werd al in 1956 bedacht, slechts tien jaar na de oprichting van de eerste elektronische digitale computers. Hoop voor het veld was aanvankelijk hoog, maar in de jaren 1970, toen vroege voorspellingen viel niet uit, een "AI winter" begon. Toen Tallinn de essays van Yudkowsky vond, onderging AI een renaissance. Wetenschappers ontwikkelden AI's die uitblonken in specifieke gebieden, zoals winnen bij schaken, het schoonmaken van de keukenvloer en het herkennen van menselijke spraak (In 2007 was de daverende overwinning op Jeopardy! Van IBM's Watson nog vier jaar weg, terwijl de triomf bij Go of DeepMind's AlphaGo acht jaar vrij was.) Zulke 'smalle' AI's, zoals ze worden genoemd, hebben bovenmenselijke vermogens, maar alleen in hun specifieke dominante gebieden. Een schaakspel AI kan de vloer niet opruimen of je van punt A naar punt B brengen. Maar de superintelligente AI, Tallinn ging geloven, combineert een breed scala van vaardigheden in één entiteit Meer d arkly, zou het ook gegevens kunnen gebruiken die zijn gegenereerd door mensen met een smartphone om uit te blinken in sociale manipulatie.

Bij het lezen van artikelen van Yudkowsky raakte Tallinn ervan overtuigd dat super intelligence tot een explosie of breakout zou kunnen leiden die ultrasmart AI's onze plaats op de evolutionaire ladder zullen innemen. en domineren ons zoals we nu apen domineren. Of, erger nog, vernietig ons.

Na het afronden van de laatste essays schoot Tallinn een e-mail naar Yudkowsky Alle kleine letters, net als zijn stijl. i m jaan, een van de oprichters van skype, schreef hij. Uiteindelijk kwam hij op het punt: Ik ben het ermee eens dat het voorbereiden op de gebeurtenis van algemene AI die menselijke intelligentie overtreft een van de belangrijkste taken voor de mensheid is . Hij wilde helpen. Toen hij kort daarna naar de Bay Area vloog voor andere vergaderingen, ontmoette hij Yudkowsky bij een Panera Bread in Millbrae, Californië, in de buurt van waar hij woont. Hun samenkomst strekte zich uit tot vier uur. Hij heeft echt de onderliggende concepten en de details begrepen, herinnert Yudkowsky zich. Dit is zeer zeldzaam. Nadien schreef Tallinn een cheque van $ 5.000 naar het Singularity Institute for Artificial Intelligence, de non-profit waar Yudkowsky een onderzoeker was. (De organisatie veranderde haar naam in Machine Intelligence Research Institute, of MIRI, in 2013.) Tallinn heeft het sindsdien meer dan $ 600.000 gegeven.

De ontmoeting met Yudkowsky bracht het doel van Tallinn en stuurde hem op een missie om ons te redden van onze eigen creaties. Terwijl hij de kwestie met andere theoretici en computerwetenschappers in verband bracht, begon hij aan een reisleven, waarbij hij over de hele wereld gesprekken hield over de dreiging van superintelligentie. Meestal begon hij echter onderzoek te financieren naar methoden die de mensheid een uitweg zouden kunnen bieden: de zogenaamde vriendelijke AI. Dat betekent niet dat een machine of agent bijzonder bedreven is in chatten over het weer, of dat het de namen van uw kinderen onthoudt Hoewel superintelligente AI beide dingen kan doen. Het betekent niet dat het gemotiveerd is door altruïsme of liefde. Een veel voorkomende misvatting is dat AI menselijke driften en waarden heeft. Vriendelijk betekent iets veel fundamentelers: dat de machines van morgen niet ons zullen vernietigen in hun zoektocht om hun doelen te bereiken.

Negen jaar na zijn ontmoeting met Yudkowsky neemt Tallinn een maaltijd in de eetzaal van het Jesus College van Cambridge University. De kerkachtige ruimte is bezaaid met glas-in-loodramen, goudgieten en olieverfschilderijen van mannen in pruiken. Tallinn zit aan een zware mahoniehouten tafel, gekleed in het casual gewaad van Silicon Valley: zwarte jeans, T-shirt, canvas sneakers. Een gewelfd houten plafond reikt hoog boven zijn schok van grijsblond haar.

Op 46 is Tallinn in sommige opzichten uw technisch ondernemer in het leerboek. Hij denkt dat hij dankzij de vooruitgang in de wetenschap (en mits AI ons niet vernietigt) vele jaren zal leven voor Zijn bezorgdheid over superintelligentie is algemeen bij zijn cohort hemel. De mede-oprichter van PayPal, Peter Thiel, heeft $ 1, 6 miljoen aan MIRI gegeven en in 2015 schonk Tesla-oprichter Elon Musk $ 10 miljoen aan het Future of Life Institute, een organisatie voor technologische veiligheid in Cambridge, Massachusetts. De toegang van Tallinn tot deze ijle wereld kwam achter het IJzeren Gordijn in de jaren 1980, toen de vader van een klasgenoot met een overheidsbaan een paar slimme kinderen toegang gaf tot mainframe-computers. Nadat Estland onafhankelijk werd, richtte hij een videogamebedrijf op. Tegenwoordig woont Tallinn nog steeds in de hoofdstad - die door een gril van etymologie ook Tallinn wordt genoemd - met zijn vrouw en de jongste van zijn zes kinderen. Wanneer hij onderzoekers wil ontmoeten, vliegt hij ze vaak alleen naar de Baltische regio.

Zijn strategie om te geven is methodisch, zoals bijna al het andere dat hij doet. Hij verdeelt zijn geld over 11 organisaties, die elk werken aan verschillende benaderingen van AI-veiligheid, in de hoop dat men kan blijven. In 2012 was hij mede-oprichter van het Cambridge Centre for the Study of Existential Risk (CSER) met een initiële investering van bijna $ 200.000.

Existentiële risico's - of X-risico's, zoals Tallinn ze noemt - zijn bedreigingen voor het voortbestaan ​​van de mensheid. Naast AI bestuderen de 20 onderzoekers van CSER klimaatverandering, nucleaire oorlog en biowapens. Maar voor Tallinn helpen de andere disciplines meestal de dreiging van weggelopen kunstmatige intelligentie te legitimeren. "Dat zijn eigenlijk gewoon gateway-medicijnen die hij me vertelt. Bezorgdheid over meer algemeen aanvaarde bedreigingen, zoals klimaatverandering, zou mensen kunnen trekken. De horror van superintelligente machines die de wereld overnemen, hoopt hij, zal hen overtuigen om te blijven. Hij is hier nu voor een conferentie omdat hij wil dat de academische gemeenschap AI-veiligheid serieus neemt.

Onze eetgenoten zijn een willekeurig assortiment congresgangers, waaronder een vrouw uit Hong Kong die robotica studeert en een Britse man die in de jaren zestig afstudeerde aan Cambridge. De oudere man vraagt ​​iedereen aan de tafel waar ze naar de universiteit zijn geweest. (Het antwoord van Tallinn, de Universiteit van Tartu, maakt geen indruk op hem.) Hij probeert het gesprek vervolgens naar het nieuws te sturen. Tallinn kijkt hem wezenloos aan. "Ik ben niet geïnteresseerd in risico's op de korte termijn", zegt hij.

Tallinn verandert het onderwerp in de dreiging van superintelligentie. Wanneer hij niet met andere programmeurs praat, gebruikt hij standaard metaforen en loopt hij nu door zijn suite: geavanceerde AI kan ons net zo snel verwijderen als mensen bomen kappen. Superintelligentie is voor ons wat we voor gorilla's zijn. Boven zijn hoofd staat in het Latijn een regel uit Psalm 133: "Hoe goed en hoe aangenaam is het voor broeders om samen in eenheid te wonen." Maar eenheid is verre van wat Tallinn voor ogen heeft in een toekomst met een bedrieglijke superintelligentie.

Een AI zou een lichaam nodig hebben om het over te nemen, zegt de oudere man. Hoe zou het zonder enige vorm van fysieke behuizing fysieke controle kunnen krijgen? Tallinn heeft nog een metafoor klaar: "Zet me in een kelder met een internetverbinding en ik kan veel schade aanrichten", zegt hij. Dan neemt hij een hap risotto.

Of het nu een Roomba is of een van zijn wereld dominerende afstammelingen, een AI wordt aangedreven door resultaten. Programmeurs wijzen deze doelen toe, samen met een aantal regels over hoe ze moeten worden nagestreefd. Geavanceerde AI hoeft niet noodzakelijkerwijs het doel van wereldoverheersing te krijgen om het te bereiken - het kan gewoon toevallig zijn. En de geschiedenis van computerprogrammering zit vol met kleine fouten die tot catastrofes hebben geleid. In 2010 bijvoorbeeld verkocht een handelaar die voor het beleggingsfonds Waddell & Reed werkte duizenden futures-contracten. De software van het bedrijf liet een belangrijke variabele weg uit het algoritme dat hielp bij het uitvoeren van de transactie. Het resultaat was de US "flash crash" van biljoen dollar.

De onderzoekers van Tallinn geloven dat als de beloningsstructuur van een bovenmenselijke AI niet goed is geprogrammeerd, zelfs goedaardige doelen verraderlijke doelen kunnen hebben. Een bekend voorbeeld, neergelegd door de filosoof van Oxford University, Nick Bostrom in zijn boek Superintelligence, is een fictief middel gericht op het maken van zoveel mogelijk paperclips. De AI zou kunnen besluiten dat de atomen in menselijke lichamen beter als grondstof voor hen zouden worden gebruikt.

De opvattingen van Tallinn hebben hun aandeel tegenstanders, zelfs onder de gemeenschap van mensen die zich bezighouden met AI-veiligheid. Sommigen stellen dat het te vroeg is om ons zorgen te maken over het beperken van superintelligente AI als we het nog niet begrijpen. Anderen zeggen dat de aandacht voor malafide technologische actoren de aandacht afleidt van de meest urgente problemen waarmee het veld wordt geconfronteerd, zoals het feit dat de meeste algoritmen zijn ontworpen door blanke mannen, of zijn gebaseerd op gegevens die voor hen gericht zijn. "We lopen het risico een wereld te bouwen waarin we niet willen leven als we die uitdagingen niet op de korte termijn aangaan", zegt Terah Lyons, uitvoerend directeur van het Partnership on AI, een organisatie met meerdere stakeholders gericht op AI veiligheid en andere zaken. (Verschillende van de instituten van Tallinn zijn lid.) Maar, voegt ze eraan toe, enkele van de uitdagingen op korte termijn waarmee onderzoekers worden geconfronteerd - zoals het wegnemen van algoritmische vooringenomenheid - zijn voorlopers van degenen die de mensheid zou kunnen zien met superintelligente AI.

Tallinn is niet zo overtuigd. Hij antwoordt dat superintelligente AI unieke bedreigingen met zich meebrengt. Uiteindelijk hoopt hij dat de AI-gemeenschap de leiding van de antinucleaire beweging in de jaren veertig zou kunnen volgen. In de nasleep van de bombardementen op Hiroshima en Nagasaki hebben wetenschappers zich verenigd om verdere nucleaire testen te beperken. "De wetenschappers van het Manhattan Project hadden kunnen zeggen:" Kijk, we doen hier innovatie, en innovatie is altijd goed, dus laten we gewoon een duik nemen ", zegt hij. "Maar ze waren meer verantwoordelijk dan dat."

Tallinn waarschuwt dat elke benadering van AI-veiligheid moeilijk recht te krijgen is. Als een AI voldoende slim is, legt hij uit, heeft hij misschien een beter begrip van de beperkingen dan zijn makers. Stel je voor, hij zegt wakker te worden in een gevangenis gebouwd door een stel blinde 5-jarigen. "Zo zou het kunnen zijn voor een superintelligente AI die beperkt is door mensen.

Yudkowsky, de theoreticus, vond bewijs dat dit waar kon zijn toen hij in 2002 chatsessies uitvoerde waarin hij de rol speelde van een AI ingesloten in een doos, terwijl een rotatie van andere mensen de poortwachter speelde met de taak de AI in te houden Yudkowsky dat dat alleen sterfelijk is, overtuigde de poortwachter om hem vrij te laten Zijn experimenten hebben onderzoekers echter niet ontmoedigd om een ​​betere doos te ontwerpen.

De onderzoekers die Tallinn-fondsen volgen, voeren een breed scala aan strategieën uit, van praktisch tot schijnbaar vergezocht. Sommigen theoretiseren over het boksen van AI, hetzij fysiek, door een werkelijke structuur te bouwen om het te bevatten, of door te programmeren in grenzen aan wat het kan doen. Anderen proberen AI te leren zich te houden aan menselijke waarden. Een paar werken aan een last-off-off-schakelaar. Een onderzoeker die zich in alle drie verdiept is wiskundige en filosoof Stuart Armstrong aan de University of Oxford s Future of Humanity Institute, dat Tallinn de meest interessante plaats in het universum noemt (Tallinn heeft gegeven FHI meer dan $ 310.000.) Armstrong is een van de weinige onderzoekers ter wereld die zich volledig richt op AI-veiligheid.

Ik ontmoet hem op een middag voor koffie in een café in Oxford. Hij draagt ​​een rugbyhemd losgeknoopt aan de kraag en ziet eruit als iemand die zijn leven achter een scherm doorbrengt, met een bleek gezicht omgeven door een warboel van zandhaar. Hij pepers zijn verklaringen met een desoriënterende mix van popular- culture referenties en wiskunde. Als ik hem vraag hoe het eruit zou kunnen zien om te slagen voor AI-veiligheid, zegt hij: "Heb je The Lego Movie gezien ? Alles is geweldig."

Een stam van Armstrong s onderzoek kijkt naar een specifieke benadering van boksen genaamd een acleacle AI. In een artikel in 2012 met Nick Bostrom, die mede-oprichter was van FHI, stelde hij voor om niet alleen superintelligentie in een vuilwatertank af te weren een fysieke structuur maar deze ook te beperken tot het beantwoorden van vragen, zoals een echt slim Ouija-bord. Zelfs met deze grenzen zou een AI een immense macht hebben om het lot van de mensheid te hervormen door zijn ondervragers subtiel te manipuleren. Om de kans dat dit gebeurt te verminderen, heeft Armstrong tijdslimieten voor gesprekken voorgesteld of vragen verbannen die de huidige wereldorde kunnen verstoren. Hij heeft ook voorgesteld om de orakel-proxy-maatstaven te geven voor het overleven van de mens, zoals de Dow Jones Industrial Average of het aantal mensen dat de straat oversteekt in Tokio, en hem te vertellen om deze stabiel te houden.

Armstrong gelooft uiteindelijk dat het nodig zou kunnen zijn om, zoals hij het in één artikel noemt, een "grote rode uitknop" te creëren: een fysieke schakelaar of een mechanisme geprogrammeerd in een AI om zichzelf automatisch uit te schakelen in het geval van een uitbreken. Maar het ontwerpen van een dergelijke schakelaar is verre van eenvoudig. Het is niet alleen dat een geavanceerde AI die geïnteresseerd is in zelfbehoud kan voorkomen dat de knop wordt ingedrukt. Het kan ook nieuwsgierig worden waarom mensen de knop bedachten, activeren om te zien wat er gebeurt en zichzelf onbruikbaar maken. In 2013 ontwierp een programmeur genaamd Tom Murphy VII een AI die zichzelf kon leren om Nintendo Entertainment System-spellen te spelen. Vastbesloten om bij Tetris niet te verliezen drukte de AI eenvoudig op pauze - en hield het spel bevroren. "Waarlijk, de enige winnende zet is om Murphy niet wrang te spelen, in een artikel over zijn creatie.

Om de strategie te laten slagen, moet een AI niet geïnteresseerd zijn in de knop, of, zoals Tallinn het zegt, "het moet gelijke waarde toekennen aan de wereld waar het niet bestaat en de wereld waar het bestaat." Maar zelfs als onderzoekers kunnen bereiken dat, er zijn andere uitdagingen. Wat als de AI zichzelf duizenden keren op internet heeft gekopieerd?

De benadering die de meeste onderzoekers opwindt, is een manier vinden om AI menselijke waarden te laten naleven - niet door ze te programmeren, maar door AI's te leren ze te leren. In een wereld die wordt gedomineerd door partijpolitiek, houden mensen zich vaak bezig met de manier waarop onze principes verschillen. Maar, merkt Tallinn op, mensen hebben veel gemeen: “Bijna iedereen waardeert zijn rechterbeen. We denken er gewoon niet aan. ”De hoop is dat een AI kan worden geleerd om dergelijke onveranderlijke regels te onderscheiden.

Daarbij zou een AI de minder dan logische kant van mensen moeten leren kennen en waarderen: dat we vaak het ene zeggen en het andere bedoelen, dat sommige van onze voorkeuren conflicteren met anderen, en dat mensen minder betrouwbaar zijn als ze dronken zijn . Maar de gegevenspaden die we allemaal achterlaten in apps en sociale media, kunnen een gids zijn. Ondanks de uitdagingen, gelooft Tallinn, moeten we proberen omdat de inzet zo hoog is. "We moeten een paar stappen vooruit denken", zegt hij. "Het creëren van een AI die onze belangen niet deelt, zou een vreselijke fout zijn."

Op de laatste avond van Tallinn in Cambridge, ga ik met hem en twee onderzoekers dineren in een Brits steakhouse. Een ober zit onze groep in een witgekalkte kelder met een grotachtige sfeer. Hij geeft ons een menu van één pagina met drie verschillende soorten puree. Een paar gaat naast ons aan tafel zitten en vraagt ​​een paar minuten later om ergens anders naartoe te gaan. "Het is te claustrofobisch dat de vrouw klaagt. Ik denk aan de opmerking van Tallinn over de schade die hij zou kunnen aanrichten als hij in een kelder met niets anders dan een internetverbinding wordt opgesloten. Hier zitten we in de doos. Alsof ze op zoek zijn, overwegen de mannen manieren om uit.

Tot de gasten van Tallinn behoren voormalig genomics-onderzoeker Seán Ó hÉigeartaigh, uitvoerend directeur van CSER, en Matthijs Maas, een onderzoeker van het AI-beleid aan de Universiteit van Kopenhagen. Ze maken grapjes over een idee voor een nerdy actiefilm getiteld Superintelligence vs. Blockchain! en bespreek een online game genaamd Universal Paperclips die riffs op het scenario in het boek van Bostrom. De oefening houdt in dat je herhaaldelijk op je muis klikt om paperclips te maken. Het is niet bepaald flitsend, maar het geeft wel een idee waarom een ​​machine op zoek is naar meer geschikte manieren om kantoorbenodigdheden te produceren.

Uiteindelijk verschuift het gesprek naar grotere vragen, zoals vaak het geval is wanneer Tallinn aanwezig is. Het uiteindelijke doel van AI-veiligheidsonderzoek is om machines te maken die, zoals Cambridge filosoof en CSER mede-oprichter Huw Price ooit zei, "ethisch en cognitief bovenmenselijk" zijn. Anderen hebben de vraag gesteld: als we niet willen AI om ons te domineren, willen we het domineren? Met andere woorden, heeft AI rechten? Tallinn zegt dat dit onnodig antropomorfiseren is. Het gaat ervan uit dat intelligentie gelijkstaat aan bewustzijn - een misvatting die veel AI-onderzoekers ergert. Eerder op de dag grapte CSER-onderzoeker Jose Hernandez-Orallo dat bewustzijn bij het spreken met AI-onderzoekers 'het C-woord' is. ('En' vrije wil 'is het F-woord', voegde hij eraan toe.)

GERELATEERD: Hoe het is om als veiligheidsbestuurder in een zelfrijdende auto te werken

Nu in de kelder zegt Tallinn dat bewustzijn naast het punt staat: “Neem het voorbeeld van een thermostaat. Niemand zou zeggen dat het bij bewustzijn is. Maar het is echt lastig om tegenover die agent te staan ​​als je in een kamer bent die op 30 graden negatief is ingesteld. "

Ó hÉigeartaigh luidt. "Het zou fijn zijn om ons zorgen te maken over bewustzijn, " zegt hij, "maar we zullen niet de luxe hebben om ons zorgen te maken over bewustzijn als we niet eerst de technische veiligheidsproblemen hebben opgelost."

Mensen raken overdreven bezig met wat superintelligente AI is, zegt Tallinn. Welke vorm zal het aannemen? Moeten we ons zorgen maken over een enkele AI die het overneemt of een leger van hen? "Vanuit ons perspectief is het belangrijkste wat AI doet", benadrukt hij. En dat, denkt hij, is misschien nog steeds aan de mensen - voor nu.

Dit artikel is oorspronkelijk gepubliceerd in de Winter 2018 Danger-editie van Popular Science.

De kilogram heeft een nieuwe definitie

De kilogram heeft een nieuwe definitie

Aan boord van de kano die bewees dat oude Polynesiërs de Stille Oceaan konden oversteken

Aan boord van de kano die bewees dat oude Polynesiërs de Stille Oceaan konden oversteken

Consumentendrones veroorzaken problemen voor het leger

Consumentendrones veroorzaken problemen voor het leger