With an AI Warning, the Nobel Prize Winner Joins the Laureates Who Have Warned About the Risks of Their Own Work

By Elliefrost @adikt_blog

When computer scientist Geoffrey Hinton won the Nobel Prize in Physics on Tuesday for his work in machine learning, he immediately warned about the power of the technology that helped propel his research: artificial intelligence.

"It will be similar to the Industrial Revolution," he said shortly after the announcement. "But instead of surpassing humans in physical strength, it will surpass humans in intellectual ability. We have no experience with what it is like to have things smarter than we are."

Hinton, who famously quit Google to warn about the potential dangers of AI, has been called the technology's godfather. Now at the University of Toronto, he shared the prize with Professor John Hopfield of Princeton University "for fundamental discoveries and inventions that enable machine learning with artificial neural networks."

And while Hinton acknowledges that AI could transform parts of society for the better - leading to "massive improvements in productivity" in areas like healthcare, for example - he also highlighted the potential for "a number of possible bad consequences, including particularly the threat of these things getting out of hand."

"I worry that the overall consequence of this could be that systems that are more intelligent than us end up taking control," he said.

Hinton is not the first Nobel laureate to warn about the risks of the technology he helped pioneer. Here's a look at others who issued similar warnings about their own work.

1935: Nuclear weapons

The 1935 Nobel Prize in Chemistry was shared by a married couple, Frederic Joliot and Irene Joliot-Curie (daughter of laureates Marie and Pierre Curie), for discovering the first artificially created radioactive atoms. It was work that would contribute to major advances in medicine, including the treatment of cancer, as well as the creation of the atomic bomb.

In his Nobel Prize lecture that year, Joliot concluded with a warning that future scientists "would be able to accomplish transmutations of an explosive type, real chemical chain reactions."

"If such transmutations succeed in spreading into matter, one can imagine the enormous liberation of usable energy," he said. "But unfortunately, if the contagion were to spread to all elements of our planet, the consequences of unleashing such a catastrophe can only be viewed with concern."

Nevertheless, Joliot predicted that it would be "a process that [future] Researchers will undoubtedly try to achieve this while, we hope, taking the necessary precautions."

[1945:Antibioticaresistentie

Sir Alexander Fleming deelde in 1945 de Nobelprijs voor de geneeskunde met Ernst Chain en Sir Edward Florey voor de ontdekking van penicilline en de toepassing ervan bij het genezen van bacteriële infecties.

Fleming deed de eerste ontdekking in 1928, en tegen de tijd dat hij in 1945 zijn Nobelprijsrede hield, had hij al een belangrijke waarschuwing voor de wereld: "Het is niet moeilijk om microben in het laboratorium resistent te maken tegen penicilline door ze bloot te stellen aan concentraties die niet voldoende om ze te doden, en hetzelfde is af en toe in het lichaam gebeurd, 'zei hij.

"Er kan een tijd komen dat iedereen penicilline in de winkels kan kopen", vervolgde hij. "Dan bestaat er het gevaar dat de onwetende mens zichzelf gemakkelijk te weinig kan doseren en, door zijn microben bloot te stellen aan niet-dodelijke hoeveelheden van het medicijn, ze resistent maakt."

Het was "zoveel jaren geleden zo'n belangrijke en vooruitziende gedachte", zei Dr. Jeffrey Gerber, arts infectieziekten in het Children's Hospital in Philadelphia en medisch directeur van het Antimbiotic Stewardship Program.

Bijna een eeuw na de eerste ontdekking van Fleming wordt antimicrobiële resistentie - de resistentie van ziekteverwekkers zoals bacteriën tegen medicijnen die bedoeld zijn om ze te behandelen - volgens de Wereldgezondheidsorganisatie beschouwd als een van de grootste bedreigingen voor de mondiale volksgezondheid, verantwoordelijk voor 1,27 miljoen sterfgevallen in 2019. alleen.

Het belangrijkste onderdeel van Flemings waarschuwing was wellicht het buitensporig wijdverbreide gebruik van antibiotica, en niet zozeer het idee van lage doseringen.

"Steeds vaker krijgen mensen geheel onnodig antibiotica," vertelde Gerber in een e-mail aan CNN. En "steeds vaker zien we insecten die resistent zijn tegen bijna elk (en soms elk) antibioticum dat we hebben."

1980: Recombinant DNA

Paul Berg, die in 1980 de Nobelprijs voor de scheikunde won voor de ontwikkeling van recombinant DNA, een technologie die de biotechnologie-industrie een vliegende start heeft gegeven, waarschuwde niet zo scherp als sommige van zijn collega-laureaten over de potentiële risico's van zijn onderzoek.

Maar hij erkende wel de angst waartoe genetische manipulatie zou kunnen leiden, waaronder biologische oorlogvoering, genetisch gemodificeerd voedsel en gentherapie, een vorm van geneeskunde waarbij een defect gen dat ziekten veroorzaakt, wordt vervangen door een normaal functionerend gen.

In zijn Nobellezing uit 1980 concentreerde Berg zich specifiek op gentherapie en zei dat de aanpak "veel valkuilen en onbekenden kent, waaronder vragen over de haalbaarheid en wenselijkheid van een bepaalde genetische ziekte, om maar te zwijgen over de risico's."

'Het lijkt mij', vervolgde hij, 'dat als we ooit op deze weg verder willen gaan, we een meer gedetailleerde kennis nodig zullen hebben van hoe menselijke genen zijn georganiseerd en hoe ze functioneren en worden gereguleerd.'

In een interview decennia later merkte Berg op dat hij en andere wetenschappers in het veld al publiekelijk waren samengekomen om de potentiële gevaren van de technologie te erkennen en aan vangrails te werken, tijdens een conferentie die bekend staat als Asilomar, in 1975.

"De zorgen over het recombinant DNA of genetische manipulatie kwamen van de wetenschappers, dus dat was een zeer cruciaal feit", vertelde hij in 2001 aan wetenschapsschrijver Joanna Rose, volgens een transcriptie op de Nobel-website.

Door publiekelijk de risico's te erkennen en de noodzaak om ze te onderzoeken, zei Berg, 'kregen we een enorme hoeveelheid publieke bewondering, zo je wilt, en tolerantie, en dus mochten we ons daadwerkelijk gaan bezighouden met de vraag hoe we kunnen voorkomen komen er nog gevaarlijke dingen uit ons werk?"

In 2001, zo zei hij, "hebben de ervaringen en experimenten die zijn gedaan, aangetoond dat de oorspronkelijke zorgen waarvan we echt geloofden dat ze mogelijk waren, in feite niet bestonden."

Nu is gentherapie een groeiend onderdeel van de geneeskunde, met goedgekeurde behandelingen voor sikkelcelziekte, spierdystrofie en sommige erfelijke vormen van blindheid, hoewel het nog niet op grote schaal wordt gebruikt omdat het nog steeds ingewikkeld is om toe te dienen en erg duur is. In de beginperiode leidde de technologie in 1999 tot de dood van een 17-jarige deelnemer aan een klinische proef, Jesse Gelsinger, wat ethische vragen opriep over de manier waarop het onderzoek werd gedaan en de werkzaamheden op dit gebied vertraagde.

En hoewel Berg zelf zijn zorgen uitte, sloot hij zijn Nobelprijslezing in 1980 af met een oproep tot optimisme en de 'noodzaak om door te gaan'.

"De doorbraak van recombinant DNA heeft ons een nieuwe en krachtige benadering gegeven van de vragen die de mens al eeuwenlang intrigeren en plagen", zei hij. "Ik zou die uitdaging in ieder geval niet uit de weg gaan."

2020: Genbewerking

Vier jaar geleden deelden Jennifer Doudna en Emmanuelle Charpentier de Nobelprijs voor de scheikunde voor de ontwikkeling van een methode voor genoombewerking genaamd CRISPR-Cas9.

In haar lezing beschreef Doudna "buitengewone en opwindende kansen" voor de technologie in de volksgezondheid, landbouw en biogeneeskunde.

Maar ze specificeerde dat het werk veel zorgvuldiger te werk moet gaan als het wordt toegepast op menselijke geslachtscellen, waarvan de genetische veranderingen zouden worden doorgegeven aan het nageslacht, versus somatische cellen, waar eventuele genetische veranderingen beperkt zouden blijven tot het individu.

"Erfelijkheid maakt het bewerken van geslachtscellen tot een zeer krachtig hulpmiddel als we erover nadenken om het bijvoorbeeld in planten te gebruiken of om betere diermodellen voor menselijke ziekten te creëren," zei Doudna. "Het is heel anders als we nadenken over de enorme ethische en maatschappelijke problemen die de mogelijkheid met zich meebrengt om kiembaanmodificatie bij mensen te gebruiken."

Doudna, oprichter van het Innovative Genomics Institute, vertelde deze week aan CNN dat ze geloofde dat "passende waarschuwingen van wetenschappers over het mogelijke misbruik van hun ontdekkingen een belangrijke verantwoordelijkheid en nuttige publieke dienstverlening is, vooral wanneer het werk brede maatschappelijke implicaties heeft."

"Degenen onder ons die het dichtst bij de wetenschap van CRISPR staan, begrijpen dat het een krachtig hulpmiddel is dat onze gezondheid en de wereld positief kan transformeren, maar potentieel op snode wijze kan worden gebruikt," zei ze. "We hebben die mogelijkheid voor tweeërlei gebruik gezien bij andere transformatieve technologieën zoals kernenergie - en nu bij AI."

Christian Edwards en Katie Hunt van CNN hebben bijgedragen aan dit rapport.

Voor meer CNN-nieuws en nieuwsbrieven kunt u een account aanmaken op CNN.com