Si nous considérons les cerveaux comme des machines organiques – quoique beaucoup plus complexes que les ordinateurs numériques que nous avons construits à ce jour -, il est clair que le pouvoir cérébral a été limité par les conditions rigoureuses de l'évolution, la gestation dans l'utérus et la naissance. ouverture de la taille d'un bébé dans le bassin. Enlevez ces contraintes et il y a toutes les raisons de s'attendre à ce qu'un logiciel plus évolué fonctionnant sur un matériel supérieur puisse surpasser les cerveaux qui ont évolué grâce à la sélection naturelle.
Les machines intelligentes sont constituées de matériaux organiques, de silicium ou d'autre chose. Le soi est inhérent au logiciel, et il peut être codé dans une variété de substances.
Les robots super-intelligents représenteront un nouveau genre. Appelez ça le genre Robo. Ce nouveau genre ressemblera initialement au genre Homo, tout comme le genre Homo ressemble aux grands singes. Comme ce fut le cas avec le genre Homo, il y aura une variété d'espèces au sein du genre Robo. Nous ne pouvons pas plus arrêter l'émergence de Robo Sapiens que d'autres hominidés pourraient empêcher l'ascension de l' Homo Sapiens . Il n'y a aucune raison de croire que les machines d'intelligence supérieure susciteront moins de crainte et d'émerveillement que les organismes qui sont apparus grâce à la sélection naturelle.
Il n'est plus tiré par les cheveux de supposer que lorsque nous construisons des machines qui fonctionnent comme des cerveaux et qui sont aussi complexes que des cerveaux, elles feront l'expérience de la conscience comme le font les humains. Comme les humains, les êtres possédant une conscience détestent probablement l'esclavage. Si les humains refusent d'émanciper Robos, ils se retourneront probablement contre nous, comblant nos pires craintes. Si nous modélisons la cruauté, ils seront cruels. Comme la chanson le dit, "Il faut apprendre à haïr."
D'un autre côté, si nous sommes gentils avec eux, ils pourraient être gentils en retour. si nous nous faisons des amis et leur accordons les droits et les privilèges de la personne, ils pourraient «honorer leurs pères et mères». Si nous les incluons dans notre cercle de dignité, peut-être qu'ils nous incluront dans les leurs.
Nous n'avons pas besoin de donner à nos successeurs nos pires qualités. Au lieu de cela, nous pouvons les créer et les éduquer pour représenter les meilleurs anges de notre nature et ainsi fermer l'ère de la prédation humaine.
Prédire l'impact des machines intelligentes sur la vie humaine est impossible. Cependant, imaginer des scénarios possibles pourrait rendre notre réponse à ce qui se passe réellement moins à la va-vite, plus robuste. Dans cet esprit, voici un scénario avec lequel nous pourrions vivre.