Daniel Dennett: “Por qué la civilización es más frágil de lo que creíamos”
Por: Tom Chatfield, corresponsal de reportajes, 22 de abril de 2024
Antes de su reciente muerte, el influyente filósofo Daniel Dennett habló con la BBC sobre su búsqueda de toda la vida para comprender la experiencia humana y por qué vio nuevos peligros en la Inteligencia Artificial (IA).
El filósofo Daniel Dennett, que murió a los 82 años el 19 de abril, fue una de las mentes más agudas y proféticas del último medio siglo. Se atrevió a abordar algunas de las preguntas más importantes sobre la mente y la conciencia humanas. A lo largo de su carrera publicó más de una docena de libros, hizo importantes aportaciones a campos que van desde la ciencia cognitiva y la filosofía de la mente hasta la teoría evolutiva, y se convirtió en un ardiente defensor de la racionalidad y el escepticismo.
En diciembre de 2023, hablé con él durante varias horas sobre sus recientes memorias, “I’ve Been Thinking” (“Estuve pensando”), así como sobre su vida y obra. Todavía estaba apasionadamente comprometido con las cuestiones de la verdad, la cognición y la posibilidad tecnológica que lo fascinaron por primera vez cuando era estudiante de doctorado en Oxford en la década de 1960, y todavía dispuesto a luchar al servicio de un pensamiento riguroso.
En particular, nuestra conversación se centró en los graves riesgos que plantea la inteligencia artificial. Su advertencia no era de una toma de control por parte de alguna superinteligencia, sino de una amenaza que, en su opinión, podría ser existencial para la civilización, enraizada en las vulnerabilidades de la naturaleza humana.
“Si convertimos esta maravillosa tecnología que tenemos para el conocimiento en un arma para la desinformación”, me dijo, “estamos en serios problemas”. ¿Por qué? “Porque no sabremos lo que sabemos, y no sabremos en quién confiar, y no sabremos si estamos informados o mal informados. Podemos volvernos paranoicos e hiperescépticos, o simplemente apáticos e impasibles. Ambas son vías muy peligrosas. Y las tenemos encima”.
Filosofía de la ciencia ficción
Para entender el argumento de Dennett sobre la IA, y lo que lo convirtió en un pensador tan profundo y original, vale la pena remontarse a uno de sus artículos académicos más inusuales. En 1978, publicó “¿Dónde estoy?”, que tomó la forma de un cuento de ciencia ficción con su propio cerebro en una tina.
“Hace varios años”, comienza la historia, “se me acercaron funcionarios del Pentágono que me pidieron que me ofreciera como voluntario para una misión altamente peligrosa y secreta”. Gracias a un accidente durante un proyecto de investigación clasificado, un dispositivo de perforación con una ojiva atómica se había atascado a una milla (1.6 kilómetros) bajo tierra, debajo de Tulsa, Oklahoma. Necesitaban que les ayudara a recuperarlo. Más precisamente, necesitaban su cuerpo. Con el fin de evitar la radiación dañina para las neuronas emitida por el dispositivo (la verosimilitud no es una característica necesaria de la ciencia ficción filosófica), su cerebro sería extirpado quirúrgicamente y conectado por transceptores de radio a su cuerpo. De este modo, podría controlarlo de forma remota sin correr el riesgo de exponerse.
La pregunta detrás de la deliciosa fantasía de Dennett era la siguiente: suponiendo que el procedimiento tuviera éxito, y que su cerebro continuara controlando su cuerpo y recibiendo información a través de sus órganos sensoriales, ¿dónde estaría Daniel Dennett? En la historia, imagina su cuerpo entrando en la habitación donde su cerebro flota dentro de una tina reforzado, y luego se sienta y lo mira.
La escena fue recreada para la televisión en un documental de 1988 del director holandés Piet Hoenderdos, en el que Dennett se interpretaba a sí mismo (con gusto). Seguramente es uno de los pocos casos de un artículo académico que recibe una adaptación de este tipo. “Bueno, aquí estoy, sentado en una silla plegable, mirando a través de un pedazo de vidrio a mi propio cerebro”, declara el atónito Dennett. “Pero espera… ¿No debería haber pensado: ‘Aquí estoy, suspendido en un líquido burbujeante, siendo mirado por mis propios ojos’?”.
El segundo de estos pensamientos resulta aún más difícil de mantener que el primero. Y el pensamiento que se deriva de esto es que es imposible estar seguro de dónde estoy “yo” -o incluso de lo que significa la palabra “aquí”- puramente sobre la base de la experiencia personal.
“¿Cómo supe a dónde me refería con ‘aquí’ cuando pensé ‘aquí’?”, continúa. “¿Podría pensar que me refería a un lugar cuando en realidad quería decir otro?” No importa lo que pueda creer acerca de su propia ubicación o estado mental, tales creencias no ofrecen ninguna garantía especial de su propia exactitud. Lo que importa es la visión externa de los acontecimientos, no la interna: los hechos sobre el terreno, no cómo aparece este terreno a la persona que está de pie sobre él (o flotando en una cuba, según sea el caso).
Contrariamente a siglos de tradición filosófica, propuso, no tenemos ningún conocimiento especial sobre el funcionamiento de nuestras propias mentes, mientras que la sensación de que nuestro “yo” es una entidad unificada y coherente es simplemente una ilusión maravillosa y evolucionada.
Como dijo en sus memorias, “hay poco que pueda saber con certeza a partir de la introspección de mi propia mente”. Pero hay mucho que aprender “estudiando científicamente las mentes de los demás”, siempre y cuando esto implique un escepticismo riguroso incluso sobre las intuiciones más plausibles. La verdad no te liberará de las restricciones cognitivas, porque tal cosa no es posible. Pero puede, si tienes cuidado, enseñarte sobre los tipos de libertad que vale la pena desear.
Esto nos lleva de vuelta a una tecnología asombrosamente capaz de invertir el escenario en el corazón de “¿Dónde estoy?”: la IA generativa. Tiene la capacidad de conjurar simulacros humanos convincentes a partir de billones de bytes de datos; y, al hacerlo, poner patas arriba siglos de suposiciones en torno a la verdad, la identidad y nuestras experiencias compartidas de la realidad.
Con solo 30 segundos de video de calidad moderada, por ejemplo, los servicios de IA disponibles gratuitamente ahora pueden crear una versión artificial de cualquier hablante, o una persona totalmente ficticia, y hacer que digan cualquier cosa. Líderes como el primer ministro de India, Narendra Modi, ya han utilizado herramientas de inteligencia artificial para crear versiones de sí mismos que hablen con fluidez las lenguas regionales, con el fin de ganar votos; se están implementando enfoques similares en Indonesia y Pakistán. En julio de 2023, en Bangladesh, se difundieron burdas falsificaciones de videos en los que aparecen mujeres líderes de la oposición en bikini y en la piscina, que fueron rápidamente desmentidos pero aun así se compartieron ampliamente. Y mucho más está por venir.
Con 2024 a punto de ser el año electoral más importante de la historia (nada menos que la mitad de la población mundial acudirá a las urnas en muchos países), nunca ha sido tan fácil manipular la información que influye en la toma de decisiones humanas, ni subvertir nuestras intuiciones e inclinaciones cotidianas.
De hecho, hay muchas razones para pensar que, con suficientes datos, pronto podría ser posible crear un facsímil convincente de una persona: una entidad que podría pasar por un político, o por usted o por mí, no solo en una actuación pregrabada, sino también en una conversación cotidiana.
Proféticamente, Dennett imaginó este escenario hace décadas. En la historia de ciencia ficción del documental de Hoenderdos, los científicos crean un Dennett extra: junto al cerebro original en una tina, su mente se duplica como un “gemelo digital”. Ambos compiten por el control de su cuerpo. En este escenario, la cuestión de si alguien está realmente en alguna parte –o ha dicho o hecho algo, o incluso existe– se vuelve aún más complicada.
Para ver lo cerca que la realidad se ha acercado ya a la ficción, consideremos el caso –una imitación basada en IA– del robot de Luciano Floridi, otro destacado filósofo de la tecnología (conocido por su estudio sobre la tradición del escepticismo y por sus trabajos sobre la filosofía de la información y la ética de la información), “diseñado para responder preguntas y escribir textos emulando las formas de pensar y el estilo de escritura de Floridi”. Se trata tanto de una fascinante herramienta pedagógica como de un estudio de caso sobre cómo, en la era de la IA, nuestras ideas y nuestras identidades pueden empezar a cobrar literalmente vida propia.
Para Dennett, había algo preocupante en el hecho mismo de nuestra obsesión con la IA que parece humana. Si bien los facsímiles completos de la mente humana pueden no ser inminentes, la forma en que estamos usando la IA para hacerse pasar por seres humanos –me dijo– ya nos ha puesto en una trayectoria peligrosa. Llamó a esas IA “personas falsas” y me dijo que el despliegue masivo de tales entidades constituía “una travesura de la peor clase”: una forma de “vandalismo social” que debería ser abordada por la ley.
¿Por qué? Porque, si se pueden crear representaciones digitales convincentes de los seres humanos a su antojo, se pone en riesgo todo el negocio de evaluar colectivamente las afirmaciones, experiencias y acciones de otras personas, por no hablar de la infraestructura social esencial, como los contratos, las obligaciones y las consecuencias. De ahí la necesidad de prohibiciones legales, un argumento que expuso extensamente en un artículo de mayo de 2023 para The Atlantic.
“No sería perfecto”, me dijo, “pero ayudaría si pudiéramos prohibir por ley la falsificación de personas. Podemos imponer penas severas por falsificar personas, igual que hacemos con el dinero falso… deberíamos convertirlo en una marca de vergüenza, no de orgullo, el hecho de hacer que tu propia IA sea más humana”.
No deja de ser irónico que Dennett se pasara décadas argumentando en contra de quienes intentan esculpir una categoría elusiva de “humanidad” que sólo nuestras mentes pueden poseer. Materialista convencido, defendió repetidamente que, como dijo en 1995 en “La peligrosa idea de Darwin”, su análisis de la teoría evolutiva, “todos los logros de la cultura humana –lenguaje, arte, religión, ética, la propia ciencia– son en sí mismos artefactos… del mismo proceso fundamental que desarrolló las bacterias, los mamíferos y el Homo sapiens. No existe una creación especial del lenguaje, y ni el arte ni la religión tienen una inspiración literalmente divina”.
La aparición de la humanidad a partir de materia irreflexiva es maravillosa, pero no milagrosa. Incluso mentes tan extraordinarias como la nuestra son, en última instancia, el producto de una variedad de módulos incomprensibles, compuestos a su vez de componentes más toscos, conectados en secuencia ininterrumpida a las primeras formas de vida.
De ello se deduce que, en principio, nada impide que los algoritmos de la inteligencia artificial se acerquen o superen nuestras propias capacidades; o de los humanos que aumentan y rediseñan sus mentes a través de medios artificiales. De hecho, algunos de los primeros trabajos más importantes de Dennett consistieron en defender el poder y el potencial de la computación contra aquellos que, como el filósofo John Searle, afirmaban que el mero cálculo nunca podría dar lugar a fenómenos como la conciencia. Para Dennett, no había nada “simple” en el cálculo o en los procesos algorítmicos: sólo era una cuestión de escala y complejidad.
En este sentido, los logros de las IA modernas –desde su destreza lingüística y su dominio de juegos como el ajedrez y el Go hasta su capacidad para aprobar exámenes legales y médicos– son una reivindicación continua de la insistencia de Dennett en que la competencia de nivel humano puede surgir de procesos totalmente incomprensibles (por no mencionar que, en nuestro caso, así fue).
Durante nuestra conversación, sin embargo, también se esforzó en destacar el abismo entre las arquitecturas computacionales actuales y las complejidades analógicas de los humanos. Es peligroso obsesionarse sobre si la IA alcanzará la “inteligencia general”, con toda la flexibilidad cognitiva de un ser humano, por no hablar de algo mayor.
Mucho antes de que algo así ocurra, señaló, tendremos que enfrentarnos a la aparición de agentes autónomos “extremadamente manipuladores”, y éstos supondrán una amenaza mucho mayor que las hipotéticas superinteligencias (“¡olvídate de eso!”).
¿Por qué? Porque, al igual que las redes sociales han demostrado ser un caldo de cultivo evolutivo para los contenidos capaces de explotar las vulnerabilidades humanas, la misma dinámica favorece tanto a los contenidos generados por IA como a las IA capaces de desplegar una tentadora combinación de persuasión, seducción, conmoción y adulación.
Desde “influencers” artificiales impecablemente glamorosos hasta falsa pornografía a gran escala, desde compañeros infinitamente empáticos hasta estafas románticas, los amores y anhelos humanos son un campo fértil para el refinamiento de la manipulación. Puede que (todavía) no seamos cerebros en tinas. Pero lo que vemos, creemos, pertenecemos y hacemos está cada vez más entrelazado con innumerables sistemas de información; y muchos de ellos son más hábiles para ofrecer persuasión y verosimilitud que la propia verdad.
Nada de esto significa negar el poder y el potencial de tecnologías como las IA, o las innumerables formas en que pueden mejorar el alcance y el autoconocimiento de la humanidad. Pero sí se trata de argumentar que, como dijo Dennett, es probable que las IA “evolucionen para reproducirse”. Y las que mejor se reproduzcan serán las que sean más hábiles manipulando a nuestros interlocutores humanos. A las aburridas las dejaremos de lado, y a las que mantengan nuestra atención las difundiremos. Todo esto sucederá sin ninguna intención. Será la selección natural del software”.
Para que se desarrollen escenarios nocivos, no se necesita ni un plan maestro hecho por humanos ni por máquinas. Como sostenía Dennett en su libro de 2017 “From Bacteria to Bach” (De las bacterias a Bach), “una vez que la infraestructura para la cultura ha sido diseñada e instalada [es decir, ha evolucionado en las mentes humanas]… la posibilidad de que existan memes parásitos que exploten esa infraestructura está más o menos garantizada”.
En términos evolutivos, nuestras mentes no están afinadas para diferenciar la verdad de la mentira. Somos criaturas parciales, apasionadas y tribales: animales sociales unidos por lazos de amor y lealtad que definen nuestra humanidad y nos hacen dolorosamente vulnerables.
¿Qué hacer? Afortunadamente, otro rasgo definitorio del pensamiento humano es nuestra capacidad para reflexionar precisamente sobre estas limitaciones: para corregir, colectiva y gradualmente, los puntos ciegos de la percepción personal. “Lo que quieres”, me dijo Dennett, “es que tu pensamiento esté determinado por la verdad sobre lo que hay ahí fuera. Quieres sentirte atraído por la buena evidencia que hay de cómo es el mundo. Pero también quieres tener el espacio para reconsiderar, y recapacitar, y seguir reconsiderando: tus perspectivas, tus proyectos, tus objetivos. Quieres ser un sistema intencional de orden superior que reflexiona sobre medios y fines y objetivos”.
Este es el método científico en microcosmos, con un sabor de librepensamiento humanista. La “libertad” de actuar sobre la base de información manipuladoramente inexacta no es libertad en absoluto. Por el contrario, las acciones determinadas por “la buena evidencia que está ahí fuera” son emancipatorias: están abiertas a las complejidades de la realidad en lugar de estar atrapadas por falsedades.
Para ampliar el experimento mental de “¿Dónde estoy?”, imagina lo que sucedería si tu cerebro se colocara en una tina y luego, sin tu conocimiento o permiso, se conectara a una versión simulada de la realidad. Dentro de ese reino virtual, es posible que aún poseas ciertas libertades. En el contexto del mundo externo, sin embargo, estarías atrapado y engañado: aislado de toda forma significativa de comprensión y acción.
Aunque pueda parecer puramente un asunto de ficción especulativa, una versión de este escenario se desarrolla cada vez que alguien toma una afirmación falsa como la verdad literal, o una entidad artificial como un ser un humano. Desde las teorías conspirativas hasta la propaganda totalitaria, desde las pruebas fabricadas hasta los sucedáneos de los humanos, el rechazo de la realidad es un negocio en auge. Y no hay nada que haga inevitable la supervivencia de la tolerancia, el escepticismo o el debate razonado en un mundo plagado de estas cosas.
La civilización, me dijo Dennett, “es más frágil de lo que creíamos”, y por eso es aún más valiosa. A pesar de sus conflictos, injusticias y odios, vivimos en una época en la que es posible para una gran parte de la humanidad “confiar los unos en los otros, tener proyectos a largo plazo, viajar libremente, formar familias, vivir con muy poco miedo. Eso es maravilloso. Y deberíamos preservarlo. Esa auténtica estructura social a toda costa”. Este es el gran peligro de los grandes modelos lingüísticos de la IA y de las personas ficticias por igual: “que destruyan la confianza que hemos engendrado durante miles de años”.
A pesar de todo esto –y de su reputación de inflexible sensatez– Dennett me dejó claro que no tenía ningún interés en trascender las limitaciones de la naturaleza humana. Para él, el amor y la lealtad no son un bagaje biológico que sería mejor superar. Por el contrario, son fuerzas motivadoras de la más profunda naturaleza: manantiales de propósito y bondad, siempre que puedan liberarse del egoísmo y el odio.
“Cuidar del número uno es una buena norma de los agentes. Pero el número uno puede entenderse de forma muy amplia. El número uno puede incluir a tus hijos, una idea, tocar la guitarra, tu equipo deportivo favorito. El número uno puede ser lo que tú quieras que sea. Eso es lo que más te importa. Eso es lo que vas a proteger. Y esto es obvio. Si alguien quiere extorsionarte, no tienen que amenazarte. Sólo tienen que amenazar lo que amas”.
La biología es donde todo comienza y termina: el patrón evolucionado y asombroso de nuestra emergencia junto con cualquier otra forma de vida; las complejidades ilimitadas que somos capaces de concebir a través de la cultura, el lenguaje y la computación; nuestra existencia común como criaturas de carne y hueso.
“Mis dos hijos son adoptados”, me dijo Dennett al final de nuestra conversación. “Pero los amo con la intensidad de cualquier padre biológico. Puedo recordar un momento en los primeros años de vida de nuestra hija mayor, cuando era una niña, tal vez de dos años o menos, cuando detecté una posible amenaza en un patio de recreo o algo así, y de repente me di cuenta: ‘Oh, Dios mío, creo que mataría para proteger a esta niña’. Y me asustó, casi. Pero también me emocionó, porque fue un reconocimiento de la intensidad y profundidad del apego emocional. Y de eso se trata la vida”.
(*) Tom Chatfield es un autor británico y filósofo de la tecnología. Su libro más reciente, Wise Animals (Animales sabios), explora la coevolución de la humanidad y la tecnología.
Daniel Dennett: ‘Why civilization is more fragile than we realized’
By: Tom Chatfield, Features correspondent BBC, April 22, 2024
Before his recent death, the influential philosopher Daniel Dennett spoke to the BBC about his lifelong quest to understand human experience – and why he saw new dangers from AI.
The philosopher Daniel Dennett, who died at the age of 82 on 19 April, was among the sharpest and most prophetic minds of the last half-century. Throughout his life, he dared to tackle some of the biggest questions about the human mind and consciousness. His career saw him publish over a dozen books, make major contributions to fields ranging from cognitive science and philosophy of mind to evolutionary theory, and become an ardent advocate for rationality and scepticism.
In December 2023, I spoke to him for several hours about his recent memoir, I’ve Been Thinking, as well as his life and work. He was still passionately engaged with the questions of truth, cognition and technological possibility that first fascinated him as a doctoral student at Oxford in the 1960s – and still willing to pick a fight in the service of rigorous thought.
In particular, our conversation focused on the grave risks posed by artificial intelligence. His warning was not of a takeover by some superintelligence, but of a threat he believed that nonetheless could be existential for civilisation, rooted in the vulnerabilities of human nature.
“If we turn this wonderful technology we have for knowledge into a weapon for disinformation,” he told me, “we are in deep trouble.” Why? “Because we won’t know what we know, and we won’t know who to trust, and we won’t know whether we’re informed or misinformed. We may become either paranoid and hyper-sceptical, or just apathetic and unmoved. Both of those are very dangerous avenues. And they’re upon us.”
Science fiction philosophy
To understand Dennett’s argument about AI – and what made him such a deep and original thinker – it’s worth looking back to one his most unusual academic papers. In 1978, he published Where Am I?, which took the form of a science fiction short story featuring his own brain in a vat.
“Several years ago,” the story begins, “I was approached by Pentagon officials who asked me to volunteer for a highly dangerous and secret mission.” Thanks to an accident during a classified research project, a drilling device bearing an atomic warhead had got stuck a mile underground, beneath Tulsa, Oklahoma. They needed him to help retrieve it. More precisely, they needed his body. In order to avoid the neuron-damaging radiation being emitted by the device (plausibility isn’t a necessary feature of philosophical science fiction), his brain would be surgically removed and hooked up by radio transceivers to his body. He could then remotely control it without risking exposure.
The question behind Dennett’s delightful fantasy was this: assuming the procedure succeeded, and his brain continued to control his body and receive inputs via its sensory organs, where would Daniel Dennett be? In the story, he imagines his body walking into the room where his brain floats within a reinforced vat, then sitting down and looking at it.
The scene was recreated for television in a 1988 documentary by Dutch director Piet Hoenderdos – in which Dennett played himself (with gusto). It’s surely one of the only cases of an academic paper receiving such an adaptation. “Well, here I am sitting on a folding chair, staring through a piece of plate glass at my own brain,” the flabbergasted Dennett declares. “But wait… shouldn’t I have thought, ‘Here I am, suspended in a bubbling fluid, being stared at by my own eyes’?”
The second of these thoughts proves even harder to maintain than the first. And the thought that follows from this is that it’s impossible ever to be certain where “I” am – or even what the word “here” means – purely on the basis of personal experience.
“How did I know where I meant by ‘here’ when I thought ‘here’?” he continues. “Could I think I meant one place when in fact I meant another?” No matter what he may believe about his own location or mental state, such beliefs offer no special guarantee of their own accuracy. The external view of events, not the internal, is the one that matters: the facts on the ground, not how this ground appears to the person standing upon it (or floating in a vat, as the case may be).
Contrary to centuries of philosophical tradition, he proposed, we have no special knowledge about the working of our own minds – while the sense that our “self” is a unified, coherent entity is merely a marvellous, evolved illusion.
As he put it in I’ve Been Thinking, “there is little I can know for sure from single-handedly introspecting my own mind.” But there is much to be learned by “studying the minds of others scientifically” – so long as this entails a rigorous scepticism about even the most plausible of intuitions. The truth won’t free you from cognitive constraint, because no such thing is possible. But it may, if you’re careful, teach you about the kinds of freedom worth wanting.
This brings us back to a technology uncannily capable of inverting the scenario at the heart of “Where Am I?”: generative AI. It has the capacity to conjure convincing human simulacra from trillions of bytes of data; and, by doing so, to upend centuries of assumptions around truth, identity and our shared experiences of reality.
Given just 30 seconds of moderate quality video, for example, freely available AI services can now create an artificial version of any speaker – or a wholly fictional person – and have them say anything whatsoever. Leaders like the Indian Prime Minister Narendra Modi have already used AI tools to create versions of themselves speaking fluently in regional languages, the better to win votes, with similar approaches being deployed in Indonesia and Pakistan. In July 2023, crude deepfake videos of female opposition leaders in Bangladesh, purporting to show them in bikinis and swimming pools, were rapidly debunked but still shared widely. And much more is coming our way. With 2024 set to be the biggest year for elections in history (no less than half the world’s population will be visiting various polls), it has never been easier for the information influencing human decision-making to be manipulated – or for our everyday intuitions and inclinations to be subverted.
Indeed, there’s every reason to think that, with enough data, it might soon be possible to create a convincing facsimile of a person: an entity who could conceivably pass for a politician – or you or me – not only in a pre-recorded performance but also in everyday conversation.
Presciently, Dennett imagined this scenario decades ago. In the science fiction story in Hoenderdos’s documentary, scientists create an extra Dennett: alongside the original brain in a vat, his mind is duplicated as a “digital twin”. They compete to gain control of his body. In this scenario, the question of whether someone actually is somewhere – or has said or done something, or even exists – becomes even more fraught.
To see how close reality has already come to fiction, consider the case of the Luciano Floridi Bot, an AI-driven imitation of another leading philosopher of technology, “designed to answer questions and write texts emulating Floridi’s ways of thinking and his style of writing”. It’s both a fascinating pedagogical tool and a case study of how, in an age of AI, our ideas and our identities can literally start to take on lives of their own.
For Dennett, there was something troubling about the very fact of our obsession with human-seeming AI. While complete facsimiles of the human mind may not be imminent, the way we’re using AI to impersonate human beings has, he told me, already put us on a dangerous trajectory. He called such AIs “counterfeit people”, and told me that rolling out such entities en masse constituted “mischief of the worst sort”: a form of “social vandalism” that should be addressed by law. Why? Because, if convincing digital representations of humans can be created at whim, the entire business of collectively assessing other people’s claims, experiences and actions is put at risk – not to mention essential social infrastructure such as contracts, obligations and consequences. Hence the need for legal prohibitions, a case he made at length in a May 2023 article for The Atlantic. “It won’t be perfect,” he told me, “but it will help if we can make it against the law to make counterfeit people. We can have stiff penalties for counterfeiting people, same as we do for counterfeit money… we should make it a mark of shame, not pride, when you make your AI more human.”
There’s an irony, here, in the fact that Dennett spent decades arguing against those trying to carve out some elusive category of “humanness” that only our minds can possess. A thoroughgoing materialist, he repeatedly made the case that, as he put it in his 1995 exploration of evolutionary theory, Darwin’s Dangerous Idea, “all the achievements of human culture – language, art, religion, ethics, science itself – are themselves artifacts… of the same fundamental process that developed the bacteria, the mammals, and Homo sapiens. There is no Special Creation of language, and neither art nor religion has a literally divine inspiration.”
Humanity’s emergence from unthinking matter is marvellous, he argued, but not miraculous. Even minds as remarkable as ours are ultimately the products of an assortment of uncomprehending modules, themselves composed of cruder components, connected in unbroken sequence to the first forms of life.
It follows from this that, in principle, there is nothing preventing the algorithms of artificial intelligence from approaching or exceeding our own capacities; or from humans augmenting and re-engineering their minds through artificial means. Indeed, some of Dennett’s most important early work entailed defending computation’s power and potentials against those who, like the philosopher John Searle, claimed that mere calculation could never give rise to phenomena like consciousness. For Dennett, there was nothing “mere” about calculation or algorithmic processes: it was only ever a question of scale and complexity.
In this sense, the achievements of modern AIs – from their linguistic prowess and mastery of games like chess and Go to their ability to pass legal and medical examinations – are an ongoing vindication of Dennett’s insistence that human-level competence can arise from wholly uncomprehending processes (not to mention that, in our case, it did).
During our conversation, however, he was also at pains to highlight the gulf between current computational architectures and humans’ analogue complexities. It’s dangerous to obsess over whether AI will achieve “general intelligence”, with all the cognitive flexibility of a human being, let alone something greater. Long before anything like this happens, he noted, we will need to deal with the emergence of “extremely manipulative” autonomous agents – and these will pose a far greater threat than hypothetical superintelligences (“forget about that!”). Why? Because, much as social media has proved an evolutionary hothouse for content able to exploit human vulnerabilities, the same dynamics favour both AI-generated content and AIs able to deploy an enticing combination of persuasion, seduction, shock and flattery.
From flawlessly glamorous artificial influencers to deepfake pornography, from endlessly empathetic companions to romantic scams, human loves and longings are a fertile field for the refinement of manipulation. We may not (yet) be brains in vats. But what we see, believe, belong to and do is increasingly interwoven with countless information systems; and many of these are more adept at delivering persuasion and plausibility than truth.
None of this is to deny the power and potentials of technologies like AIs, or the countless ways in which they may enhance humanity’s scope and self-knowledge. But it is to make the case that, as Dennett put it, AIs are likely to “evolve to get themselves reproduced. And the ones that reproduce the best will be the ones that are the cleverest manipulators of us human interlocutors. The boring ones we will cast aside, and the ones that hold our attention we will spread. All this will happen without any intention at all. It will be natural selection of software.”
Neither a human nor a machine-made masterplan is required for harmful scenarios to unfold. As Dennett’s 2017 book From Bacteria to Bach argued, “once the infrastructure for culture has been designed and installed [i.e. evolved in human minds]… the possibility of parasitical memes exploiting that infrastructure is more or less guaranteed.” In evolutionary terms, our minds aren’t devices fine-tuned for differentiating truth from lies. We are partial, passionate, tribal creatures: social animals linked by bonds of love and loyalty that both define our humanity and make us painfully vulnerable.
What is to be done? Thankfully, another defining feature of human thought is our capacity for reflecting upon precisely these limitations: for redressing, collectively and incrementally, the blind spots of personal perception. “What you want,” Dennett told me, “is your thinking to be determined by the truth about what’s out there. You want to be compelled by the good evidence there is out there for how the world is. But you also want to have the elbow room to reconsider, and reconsider, and reconsider further: your prospects, your projects, your goals. You want to be a higher order, intentional system that reflects upon means and ends and goals.”
This is the scientific method in microcosm, with a flavour of humanist freethinking. The “freedom” to act on the basis of manipulatively inaccurate information is no freedom at all. By contrast, actions determined by “the good evidence that is out there” are emancipatory: open to the complexities of actuality rather than snared by untruths.
To extend the thought experiment of “Where Am I?”, imagine what would happen if your brain were placed in a vat and then – without your knowledge or permission – hooked up to a simulated version of reality. Within that virtual realm, you might still possess certain freedoms. In the context of the external world, however, you would be both trapped and deceived: cut off from every meaningful form of understanding and action. (Read more: The philosopher rethinking the definition of reality.)
Although it may seem purely a matter for speculative fiction, a version of this scenario plays out every time someone takes a false claim to be the literal truth – or an artificial entity to be a human. From conspiracy theories to totalitarian propaganda, from fabricated evidence to ersatz humans, reality-rejection is a booming business. And there’s nothing inevitable about the endurance of tolerance, scepticism or reasoned debate in a world suffused with such things. Civilisation, Dennett told me, “is more fragile than we realised” – and all the more precious for this. Despite its conflicts, injustices and hatreds, we inhabit an era where it is possible for a large proportion of humanity to “trust each other, have long-term projects, travel freely, raise families, live with very little fear. That’s just wonderful. And we should preserve that. That social structure, really, at all costs.” This is the great danger of AI large language models and counterfeit people alike: “that they will destroy the trust that we have engendered over thousands of years”.
Despite all this – and his reputation for unyielding reasonableness – Dennett made it clear to me that he had no interest in transcending the limitations of human nature. Love and loyalty weren’t, for him, biological baggage we would be better off moving beyond. Rather, they were motivating forces of the most profound kind: wellsprings of purpose and goodness, so long as they could be unshackled from egotism and hatred. “Looking out for number one is a perfectly good agent rule. But number one can be understood very broadly. Number one can include your children, an idea, guitar playing, the Chicago Bears. Number one can be whatever you want it to be. That’s what you care about the most. That’s what you’re going to protect. And this is obvious. If somebody wants to extort you, they don’t have to threaten you. They just have to threaten what you love.”
Biology is where it all begins and ends: the evolved, astonishing pattern of our emergence alongside every other form of life; the limitless complexities we are capable of conceiving via culture, language and computation; our common existence as creatures of flesh and blood. “My children are both adopted,” Dennett told me at the very end of our conversation. “But I love them with the intensity of any biological dad. I can remember a moment in the early life of our eldest, when she was a little girl, maybe two years old or less, when I detected some possible threat on a playground or something, and it suddenly struck me, ‘Oh, my goodness, I think I would kill to protect this child.’ And it scared me, almost. But it also thrilled me, because it was a recognition of the intensity and depth of emotional attachment. And that’s what life is all about.”
(*) Tom Chatfield is a British author and philosopher of technology. His most recent book, Wise Animals (Picador), explores the co-evolution of humanity and technology.
