Bridging Minds: Deep Connections Between Generative AI and Heidegger's Phenomenology

Abstract

Scroll for the English version of the article.

Nel seguente articolo ci proponiamo di esporre le connessioni profonde che intercorrono tra la fenomenologia di Heidegger e l'intelligenza artificiale, i in particolar modo l’Intelligenza Artificiale Generativa, esaminando come entrambe costruiscano, rappresentino e interpretino il mondo. Cominceremo introducendo i concetti base della macchina intelligente, per poi illustrare brevemente la costruzione del mondo secondo il pensiero fenomenologico heideggeriano. Attraverso il confronto tra la visione del "Dasein" di Heidegger e i processi di addestramento dell'IA, cercheremo di comprendere le differenze fondamentali rispetto il modo in cui la realtà viene rappresentata e vissuta sia dagli uomini che dalle macchine, ponendo certamente attenzione alle loro differenze, ma anche ai punti di incontro tra questi due processi gnoseologici cognitivi nel caso umano e di rappresentazione ed elaborazione matematica dei dati nel caso della macchina.

 

 

Intelligenza Artificiale Generativa: Fondamenti e funzionamento.

Cominceremo quindi, come usuale fare, dagli ambiti tecnico/scientifici che riguardano questo articolo. Daremo per scontato qui la nozione più generale di Intelligenza Artificiale per concentrarci al meglio sul ramo utile alla nostra argomentazione, ossia quello dell’Intelligenza Artificiale Generativa. Si intende per intelligenza artificiale generativa quella particolare diramazione dell’intelligenz artificiale che riguarda la creazione di nuovi contenuti, siano essi testi, immagini, suoni musicali, ecc.., dato un imput umano. Queste tecnologie cercano appunto di imitare l’intelligenza umana attraverso complessi processi matematici. L’IA Generativa non si limita però esclusivamente a questo, ma anche ad azioni più specifiche, quali elaborazione del linguaggio naturale (NPL), analisi e classificazione di contenuti o input, scrittura di codici nei linguaggi di programmazione conosciuti e molto altro ancora, tutto sulla base di un precedente addestramento che, si potrà intuire, è di impegno computazionale enorme e gioca un ruolo fondamentale nella qualità della risposta della macchina.

Questa risposta è partorita principalmente da una rete informatica neurale artificiale, e in particolar modo da una deep neural network, che come già si accennava tenta l’imitazione dell’intelligenza umana. Lo fa servendosi di neuroni, in questo caso insiemi di unità computazionali organizzate in strati molteplici, dove ognuno esegue una funzione matematica e trasmette immediatamente il risultato allo strato successivo, composto a sua volta da un’innumerevole serie di unità informatiche.

Gli strati più facilmente individuabili all’occhio umano meno esperto sono indubbiamente quelli che utilizzano il linguaggio umano stesso, ossia gli strati di input e di output, ciò che chiediamo e ciò che ci viene risposto. Ovviamente seguiranno degli strati più complessi che, attraverso funzioni di attivazione, introdurranno una non linearità all’interno della rete, la quale proprietà sarà essenziale per modellare relazioni complesse tra i dati via via interscambiati. Ogni neurone all’interno dello strato nascosto esegue una ponderazione dei suoi input che seguirà una funzione di attivazione, stabilendo quindi attraverso una prima media statistica se sia necessario che quel neurone preciso si attivi o meno. Funzioni di attivazione popolari all’interno delle reti sono ad esempio:

1. Funzione di attivazione Sigmoid: mappa un valore compreso tra lo 0 e l’1 secondo la sua data formula e grafico

Che ha a suo vantaggio la possibilità di interpretare il risultato in uscira, piccolo o grande che sia, come un valore probabilistico, per quanto i cambiamenti sull’asse x vicino a P(0,0) siano piccoli; una funzione priva di linearità appunto. Diviene però svantaggiosa in fase di addestramento della rete, perché, seguendo il ragionamento fatto fino ad ora, riportare qualsiasi valore tra 0 e 1 rallenta e satura prepotentemente l’aggiornamento dei cosidetti pesi. In una rete neurale, ogni connessione tra i neuroni di strati adiacenti è associata a un valore numerico chiamato peso. Questi pesi determinano l'importanza di ciascun input nel contribuire all'output del neurone. In termini matematici, se un neurone riceve un input x e ha un peso w associato, l'input viene moltiplicato per w prima di essere sommato con altri input e quindi passato attraverso la funzione di attivazione.

2. Funzione di attivazione Tanh:

soccorre funzioni di attivazione come la Sigmoid la funzione Tanh, che amplia il range di soluzione in valori compresi tra -1 e 1, includendo quindi anche dati di valore negativo. Il problema di saturazione dei grandi numeri (detto Vanishing Gradient) persiste, ma in misura minore.

3. Altre Funzioni di attivazione: vi sono molte altre funzioni di attivazione all’interno delle reti, qui si è dato solo un accenno alle due più note, per chiarire di cosa si stesse discutendo.

Il Modello GPT.

Nell’IA Generativa si sono sviluppati diversi modelli di sistemazione del funzionamento della rete. Il più noto, forse, quello basato sulla tecnologia dei Transformers e dei Generative Pretrained Transformers (da cui la sigla GPT). Questi modelli utilizzano degli attention mechanisms che consentono agli strati della rete citati di pesare probabilisticamente l’importanza delle diverse parti del contesto nella comprensione e successiva generazione dei nuovi contenuti. A differenza delle Reti Neurali Ricorrenti (RNN), i Transformer possono elaborare tutte le parole in parallelo e grazie alla self-attention predirre efficientemente le parole stabilita la rilevanza di zone testuali e concettuali specifiche dell’input. La variante GPT è progettata in particolare per la generazione di testo. Vi è una fase di Pre-Training in cui il modello di Transformer viene addestrato su enormi quanità di testo per predirre con maggiore precisione la parola successiva all’interno di una sequenza, imparando a catturare il contesto e le strutture del linguaggio. E’ quindi opportuno considerare che ChatBot quali ChatGPT basano la loro generazione di testo probabilisticamente, in un contesto virtuale però estremamente raffinato per quanto riguarda la previsione della probailità, (1) sull’identificazione del contesto in cui si situa l’input ricevuto e (2) sulla predizione nella sequenza di parole dell’input stesso.

I modelli generativi, a cui si è accennato specialmente quelli basati su reti neurali profonde, richiedono ingenti risorse computazionali. Le GPU (Graphics Processing Units) e le TPU (Tensor Processing Units) sono hardware indispensabili per eseguire calcoli massicci e paralleli necessari all’addestramento di queste reti raffinate.

Nel caso della GPU è bene notare che questi modelli hardware (che si differenziano dalle CPU classiche dei comuni computer per essere costruite con un architettura che prevede anche calcoli paralleli) non sono, come nel caso dell’utilizzo fatto nel contesto della grafica, adottate solo per migliorare le prestazioni della macchina in termini di velocità di calcolo, ma anche per rendere, come dapprima specificato, possibili i simultanei processi di non linearità che intercorrono tra gli strati interni della rete. Le TPU, invece, sono hardware sviluppati appositamente per eseguire operazioni su oggetti matematici detti Tensor, ossia matrici multidimensionali (semplicemente generalizzazioni delle matrici classiche a molteplici dimensioni che permettono di manipolare dati con dimensionalità ampie o molte variabili simultanee), al cuore del calcolo delle reti neurali.

Fenomenologia heideggeriana:Dasein

La fenomenologia, dapprima con Husserl (dunque considerata come l’analisi dei fenomeni percepiti alla nostra coscienza come fondamento trascendentale di ogni possibile esperienza) e poi con Heidegger, interseca profondamente il metodo di “comprensione” o meglio ancora di “rappresentazione” matematica della realtà che macchine come le Intelligenze Artificiali Generative si adoperano a costruire nel modo sopra descritto.

Per fare un quadro generale della disciplina fenomenologica heideggeriana, sarà necessario illustrare innanzitutto il modo in cui questa si adopera, secondo Heidegger, al superamento di un problema che dal 1600 restava insoluto per la filosofia Occidentale, ossia quello della dicotomia cartesiana. L’affermazione di Descartes, per cui la res cogitans ed extensa erano realtà inconciliabili, risultava logicamente nell’affermazione secondo la quale la sola necessità per la nostra esistenza ontologica era la sussistenza, inalienabile e indubitabile, della nostra stessa sostanza pensante. A questo proposito, però, Heidegger individua nella dicotomia un errore fondamentale che ha portato in sé una visione frammentaria e distorta della realtà che il soggetto esperisce. Se coinvolto nel gioco di separazione infatti, ilsoggetto pensante è alienato dal contatto ontologico con il mondo, dagli oggetti del mondo e dunque anche dagli altri soggetti pensanti. Il filosofo propone allora il concetto di equiprimordialità, secondo il quale mente e mondo, soggetto e oggetto, non possono essere trattati come due entità separate, ma dipendentemente correlate; interdipendenti, coesistenti. L’essere umano infatti è descritto come Dasein, come essere “gettato” nel mondo, ossia esistente in una condizione non isolata, ma sempre già coinvolto in un contesto di significato e relazioni con gli altri oggetti presenti nella sua stessa realtà. In questo senso non esiste nessuna possibilità di descrizione degli oggetti che sia completa ontologicamente discorrendo se non considerata questa suddetta fenomenologia e quindi presa in esame non solo l’esistenza, ma anche la funzionalità degli altri oggetti che completano il contesto in cui questo primo oggetto si trova.

Ma in che modo questa concezione risulta precisamente in un superamento della dicotomia tra la coscienza (res cogitans) e gli oggetti del mondo che questa coscienza subisce (res extensa)? Il metodo fenomenologico heideggeriano consiste nel lasciare che le cose, prima d’essere indagate, si mostrino da sé in quanto fenomeni, liberamente percepibili dalla coscienza, scevre dal giudizio (epochè). Questo processo di riduzione eidetica e dunque di riduzione del fenomeno alla sua originaria essenza percettiva ci induce necessariamente a considerare la coscienza umana non come un oggetto, una sostanza, distante dalle “cose del mondo”, ma come un’esperienza soggettiva e incarnata; non solo una funzione mentale, ma un’esperienza reale e radicata sia nel corpo che nel mondo. Questo avviene più nello specifico perché, Heidegger illustra, la coscienza è istantaneamente in relazione con il mondo già nel momento della venuta nel mondo dell’essere umano. La coscienza infatti non arriva da un tempo successivo o separato, quanto piuttosto sempre esiste assieme al mondo.

Interessante, sotto questo punto di vista, la critica all’Intelligenza Artificiale (si badi, non generativa) di Hubert Dreyfus, che traendo ispirazione dal ready-to-hand e il present-to-hand di Heidegger conia i concetti di “Knowing-that” e “Knowing-How”, in relazione al processo gnoseologico dell’uomo e della macchina.

"Knowing-that" si riferisce alle nostre abilità di risoluzione dei problemi; queste umane abilità vengono usate quando incontriamo un problema che richiede di riflettere sulle sue soluzioni consequenzialmente, quindi pensando in modo logico e necessario alle soluzioni. In questi momenti, le idee diventano simboli astratti semplici, che manipoliamo usando logica e linguaggio. Questo tipo di abilità è ciò che i programmi di intelligenza artificiale negli anni '70 e '80, riuscivano a imitare adeguatamente.

"Knowing-how" invece descrive il modo in cui affrontiamo normalmente le cose, senza ricorrere a ragionamenti simbolici consapevoli, ad esempio riconoscendo istanteneamente un volto. Sembriamo semplicemente reagire in modo istanteaneo e appropriato senza considerare alternative. Questa è l'essenza dell'esperienza, secondo Dreyfus: quando le nostre intuizioni sono state addestrate al punto che dimentichiamo le regole e agiamo di conseguenza grazie ad un background pre-indotto dalla nostra presenza nel mondo.

Secondo Dreyfus, il senso umano della situazione si basa su obiettivi, corpo e cultura—un insieme di intuizioni, atteggiamenti e conoscenze del mondo che non è immagazzinato nel cervello in modo simbolico direttamente consapevole, ma intuitivamente tratto da un background conoscitivo da cui attingiamo immediatamente e senza volerlo informazioni in modo continuo. Questo "contesto" o "sfondo" (relativo al Dasein di Heidegger) influenza ciò che notiamo e ciò che non notiamo, ciò che ci aspettiamo e ciò che non consideriamo possibile nell’esperienza ordinaira.

Dreyfus sostiene che i programmi di intelligenza artificiale, come erano implementati negli anni '70 e '80, non erano in grado di catturare questo "sfondo". Argomentava che la nostra conoscenza inconscia non poteva certo essere catturata simbolicamente, e se l'IA non fosse riuscita a risolvere questi problemi, sarebbe stata destinata al fallimento… Questo passo avanti, in campo tecnologico ma anche filosofico, è stato però fatto con le recenti Intelligenze Artificiali Generative.

 

Intelligenza Artificiale e Fenomenologia: un confronto epistemologico.

E’ corretto allora affermare che le Intelligenze Artificiali Generative ragionano “come noi”? Forse. Di certo vi sono delle somiglianze con il nostro pensiero. L’Output è, come Dreyfus ci fa notare, stabilito in base a un contesto in cui queste macchine sono immerse (grazie alla fase di pre-training e alla non linearità delle loro funzioni di attivazione), ma mancano ancora della capacità di considerare l’ambiente, virtuale, in cui sono situate come uno spazio di interrelazioni e connessioni reciproche. Infatti, seppur vero è che i Transformers e le tecnologie di self-attention portano la rete a ragionare predicendo il linguaggio umano in base a certi parametri di attenzione interni a un mondo fenomenologico che potremmo definire quasi heideggeriano, l’assenza di coscienza propria porta la macchina a non essere in grado di stabilire la sua presenza e relazione ontologica con gli oggetti di questo mondo che la circondano e che concorrono assieme a lei a dare vita al mondo stesso. Ecco che quindi è impossibilitata al passo successivo del pensiero heideggeriano, ossia alla capacità di pensare le cose come ready-to-hand, come strumenti, come enti inseparabili dal flusso orientato della causa finale aristotelica, poiché meri dati, soli e indipendenti, in attesa di venire interrogati e messi in relazione in un momento logicamente conseguente alla recezione dei primi input da parte degli strati neuronali precedenti.

Forse quindi le differenze sostanziali tra essere umano e macchine artificiali intelligenti non sono proprie del metodo ti percezione e organizzazione della realtà, che è come abbiamo visto oramai molto simile, ma vanno ricercate ad un livello più alto, astratto, immaginifico...

Quali sono i tuoi pensieri sul blog? Diventerà mai l'intelligenza artificiale generativa "intelligente" quanto noi? Faccelo sapere nei commenti. Segui la pagina su Twitter e resta informato! 

English Version

Abstract

In this article, we aim to explore the deep connections between Heidegger's phenomenology and artificial intelligence, particularly Generative Artificial Intelligence, examining how both construct, represent, and interpret the world. We will begin by introducing the basic concepts of the intelligent machine, then briefly outline the construction of the world according to Heidegger's phenomenological thought. Through the comparison between Heidegger's "Dasein" and the training processes of AI, we will seek to understand the fundamental differences in how reality is represented and experienced by both humans and machines, paying close attention to their differences but also to the points of convergence between these two cognitive processes—epistemological in humans and mathematical data processing in machines.

Generative Artificial Intelligence: Foundations and Functioning

We will start, as is customary, with the technical and scientific aspects relevant to this article. We assume a general understanding of Artificial Intelligence and focus specifically on Generative Artificial Intelligence, the branch most pertinent to our discussion. Generative AI refers to that particular branch of artificial intelligence concerned with creating new content—whether text, images, music, etc.—based on human input. These technologies aim to mimic human intelligence through complex mathematical processes. However, Generative AI does more than just this; it also performs more specific tasks, such as natural language processing (NLP), content or input analysis and classification, code writing in known programming languages, and much more, all based on prior training, which, as one might imagine, is computationally intensive and plays a crucial role in the quality of the machine's response.

This response is primarily generated by an artificial neural network, particularly a deep neural network, which, as previously mentioned, attempts to mimic human intelligence. It does this using neurons, which in this case are sets of computational units organized into multiple layers, each performing a mathematical function and immediately transmitting the result to the next layer, which in turn consists of a vast number of computational units.

The layers most easily recognizable to the untrained eye are undoubtedly those that use human language itself—namely, the input and output layers, representing what we ask and what we are answered. Naturally, more complex layers will follow, which, through activation functions, introduce non-linearity within the network—a property essential for modeling complex relationships between the data being exchanged. Each neuron within the hidden layer weighs its inputs using an activation function, thereby establishing, through an initial statistical average, whether that specific neuron should activate or not. Popular activation functions within networks include:

1. Sigmoid Activation Function: Maps a value between 0 and 1 according to its given formula an graphic 

The advantage of this function is that it allows for interpreting the output, whether small or large, as a probabilistic value, despite the small changes on the x-axis near P(0,0); a function without linearity, indeed. However, it becomes disadvantageous during the training phase of the network, because, following the reasoning so far, mapping any value between 0 and 1 slows down and significantly saturates the update of the so-called weights. In a neural network, each connection between neurons of adjacent layers is associated with a numerical value called a weight. These weights determine the importance of each input in contributing to the neuron's output. Mathematically, if a neuron receives an input x and has an associated weight w, the input is multiplied by w before being summed with other inputs and then passed through the activation function.

2. Tanh Activation Function:

   The Tanh function extends the solution range to values between -1 and 1, thus including negative values. The issue of large number saturation (known as the Vanishing Gradient) persists, but to a lesser extent.

3. Other Activation Functions: There are many other activation functions within networks; here, we’ve only touched on the two most well-known, to clarify the discussion.

The GPT Model

In Generative AI, several models for network operation have been developed, the most well-known perhaps being based on Transformer technology and Generative Pretrained Transformers (hence the acronym GPT). These models use attention mechanisms that allow the mentioned network layers to probabilistically weigh the importance of different parts of the context in understanding and subsequently generating new content. Unlike Recurrent Neural Networks (RNNs), Transformers can process all words in parallel and, thanks to self-attention, efficiently predict words by establishing the relevance of specific textual and conceptual areas of the input. The GPT variant is specifically designed for text generation. There is a Pre-Training phase in which the Transformer model is trained on enormous amounts of text to more accurately predict the next word in a sequence, learning to capture context and language structures. It is important to note that ChatBots like ChatGPT base their text generation probabilistically in a virtual context, yet highly refined in terms of prediction probability, (1) on identifying the context of the received input and (2) on predicting the sequence of words within the input itself.
Generative models, particularly those based on deep neural networks, demand significant computational resources. GPUs (Graphics Processing Units) and TPUs (Tensor Processing Units) are essential hardware for performing the massive parallel calculations required to train these sophisticated networks.
For GPUs, it is important to note that these hardware models (which differ from the classic CPUs of common computers by being designed with an architecture that supports parallel computations) are not only adopted, as in the context of graphics processing, to improve machine performance in terms of calculation speed. They also make the simultaneous non-linear processes that occur between the internal layers of the network possible, as mentioned earlier. TPUs, on the other hand, are hardware specifically developed to perform operations on mathematical objects called tensors, which are multidimensional matrices (essentially generalizations of classical matrices to multiple dimensions that allow for the manipulation of data with large dimensionalities or many simultaneous variables), at the core of neural network computation.
 

Heideggerian Phenomenology: Dasein

Phenomenology, first with Husserl (thus considered as the analysis of phenomena perceived by our consciousness as the transcendental foundation of every possible experience) and then with Heidegger, deeply intersects the method of "understanding" or, better yet, "mathematical representation" of reality that machines like Generative Artificial Intelligences strive to construct in the manner described above.

To provide an overview of Heideggerian phenomenology, it is necessary to illustrate how it attempts to overcome a problem that had remained unresolved in Western philosophy since the 1600s—the Cartesian dichotomy. Descartes' assertion that res cogitans and res extensa were irreconcilable realities logically resulted in the claim that the only necessity for our ontological existence was the inalienable and indubitable existence of our thinking substance. However, Heidegger identifies a fundamental error in this dichotomy, which led to a fragmented and distorted view of the reality that the subject experiences. If involved in this separation, the thinking subject becomes alienated from ontological contact with the world, from the objects of the world, and, therefore, from other thinking subjects. The philosopher then proposes the concept of equiprimordiality, according to which mind and world, subject and object, cannot be treated as two separate entities but are dependently correlated, interdependent, and coexistent.

The human being is described as Dasein, as a being "thrown" into the world, meaning existing in a condition that is not isolated but always already involved in a context of meaning and relationships with other objects present in the same reality. In this sense, there is no possibility of ontologically complete object descriptions unless this phenomenology is considered, and therefore not only the existence but also the functionality of other objects that complete the context in which the first object is located are taken into account.

But how precisely does this conception result in an overcoming of the dichotomy between consciousness (res cogitans) and the objects of the world that this consciousness encounters (res extensa)? Heidegger's phenomenological method consists of allowing things, before being investigated, to present themselves as phenomena, freely perceptible by consciousness, free from judgment (epoché). This process of eidetic reduction, and therefore of reducing the phenomenon to its original perceptual essence, necessarily leads us to consider human consciousness not as an object or substance, distant from the "things of the world," but as a subjective and embodied experience; not just a mental function, but a real experience rooted both in the body and in the world. This occurs more specifically because, as Heidegger illustrates, consciousness is instantly related to the world from the moment of the human being's arrival in the world. Consciousness does not emerge from a subsequent or separate time; rather, it always exists together with the world.

Interesting from this perspective is Hubert Dreyfus's critique of Artificial Intelligence (note, not Generative AI), which draws inspiration from Heidegger's concepts of "ready-to-hand" and "present-to-hand" and introduces the notions of "Knowing-that" and "Knowing-How" in relation to the epistemological processes of humans and machines.

"Knowing-that" refers to our problem-solving abilities, used when we encounter a problem requiring us to reflect on its solutions sequentially, logically considering necessary solutions. In these moments, ideas become simple abstract symbols that we manipulate using logic and language. This type of ability was what AI programs in the 1970s and 1980s were adequately able to imitate.

"Knowing-how," on the other hand, describes the way we typically handle things without resorting to conscious symbolic reasoning, such as instantly recognizing a face. We seem to simply react instantly and appropriately without considering alternatives. This, according to Dreyfus, is the essence of experience: when our intuitions have been trained to the point that we forget the rules and act accordingly, thanks to a pre-induced background from our presence in the world.

According to Dreyfus, the human sense of a situation is based on goals, body, and culture—a set of intuitions, attitudes, and world knowledge that is not stored in the brain in a directly conscious symbolic way, but is intuitively drawn from a background of knowledge from which we continuously and involuntarily draw information. This "context" or "background" (related to Heidegger's Dasein) influences what we notice and what we don't, what we expect, and what we don't consider possible in ordinary experience.

Dreyfus argued that AI programs, as implemented in the 1970s and 1980s, were unable to capture this "background." He contended that our unconscious knowledge could not be captured symbolically, and if AI failed to solve these problems, it would be destined to fail. However, this technological and philosophical leap has been made with the advent of recent Generative Artificial Intelligences.

Artificial Intelligence and Phenomenology: An Epistemological Comparison.

Is it correct to say that Generative Artificial Intelligences "think like us"? Perhaps. There are certainly similarities to our thought processes. As Dreyfus points out, the output is determined based on a context in which these machines are immersed (thanks to the pre-training phase and the non-linearity of their activation functions), but they still lack the ability to consider the virtual environment they are situated in as a space of interrelations and reciprocal connections.

Indeed, although it is true that Transformers and self-attention technologies lead the network to predict human language based on certain attention parameters within a phenomenological world that could be described as almost Heideggerian, the absence of their own consciousness prevents the machine from establishing its presence and ontological relationship with the objects of this world that surround it and contribute alongside it to creating the world itself. Thus, the machine is unable to take the next step in Heideggerian thought: the ability to perceive things as ready-to-hand. as tools, as entities inseparable from the teleological flow of Aristotelian final cause, because it views them merely as isolated, independent data, waiting to be queried and related in a moment logically subsequent to the reception of the initial inputs by the preceding neural layers.

Therefore, the fundamental differences between humans and intelligent artificial machines might not lie in the method of perceiving and organizing reality, which, as we have seen, is now very similar, but might need to be sought at a higher, more abstract, imaginative level...

What do you think about this blog? Will the Generative Artificial Intelligence ever become "smart" as we are? Let us know in the comments. Follow the page on Twitter. Stay tuned!