di Cosimo Accoto
Affrontare oggi la questione dei linguaggi sintetici, simulativi e inflattivi (ChatGpt et similia) significa fronteggiare un passaggio di civiltà epocale e non episodico. Un passaggio – direi – molto commentato al momento, ma forse poco esplorato e poco compreso nella sua portata. Tecnicamente, il dispositivo che istanzia un ‘modello linguistico su larga scala’ (Llm o large language model) è un assemblaggio socio-tecnico generativo fatto di abilità diverse connesse a molteplici architetture computazionali e risorse informative.
La capacità di simulare il linguaggio nella sua forma testuale, di aggiustarlo in modalità contestuale, di archiviare conoscenza e informazione, di eseguire istruzioni e compiti linguistici, di sintetizzare temi con affinamento scalare, di originare sequenze di argomentazioni e tentativi di ragionamento per step, di articolare risposte e costruire dialoghi sono il frutto di un’orchestrazione complessa fatta di programmi software, dati e archivi informativi, algoritmi di apprendimento profondo e anche a rinforzo umano, modelli matematico-stocastici della lingua.
Dunque, è un insieme di tecnicalità e operatività ingegneristico-computazionali intrecciate (training on code, transformers, pre-training modeling, instruction tuning, words tokenization, reinforcement learning con human feedback…) in grado di sequenziare statisticamente il linguaggio naturale umano. Il tutto -in molti dicono per bilanciare e contrastare l’hype del momento- senza relazione di senso col reale. Vale a dire, cioè, senza che quel linguaggio sintetico sappia in realtà nulla del mondo e senza che abbia una qualche comprensione dei suoi significati. L’espressione usata “pappagalli stocastici” evoca questa scrittura simulativa insensata.
Che cos’è un LLM, large language model?
Ma cos’è, in ultima istanza, un large language model? Possiamo dire che un Llm è un sequenziatore linguistico-probabilistico a bassa crossentropicità. Dunque, ridotto ai suoi minimi termini, è un modello matematico della distribuzione di probabilità delle parole di una lingua scritta che si sforza di minimizzare la crossentropia (cioè lo scarto tra due potenziali distribuzioni di frequenza) massimizzando, di conseguenza, la sua capacità performativa come text predictor.
Questo approccio è il frutto di un lungo percorso (Li, 2022) nella storia moderna del processamento del linguaggio naturale (Nlp) che partendo dalle catene di Markov a inizio Novecento applicate alla letteratura (sequenza di vocali e consonanti di un romanzo) e passando per i lavori di Shannon e Weaver a metà anni Cinquanta sulla misura dell’entropia e la distribuzione delle probabilità (n-grams e sequenza probabilistica di parole nella lingua), arriva a inizio anni Duemila con Bengio e colleghi all’applicazione delle reti neurali artificiali per il processamento del linguaggio naturale (neural Npl). Con importanti sviluppi recenti come l’impiego dei trasformatori (transformers) in grado di incorporare nell’analisi probabilistica del linguaggio la dimensione contestuale delle parole nelle frasi.
Continua la lettura su EconomyUp
La capacità di simulare il linguaggio nella sua forma testuale, di aggiustarlo in modalità contestuale, di archiviare conoscenza e informazione, di eseguire istruzioni e compiti linguistici, di sintetizzare temi con affinamento scalare, di originare sequenze di argomentazioni e tentativi di ragionamento per step, di articolare risposte e costruire dialoghi sono il frutto di un’orchestrazione complessa fatta di programmi software, dati e archivi informativi, algoritmi di apprendimento profondo e anche a rinforzo umano, modelli matematico-stocastici della lingua.
Dunque, è un insieme di tecnicalità e operatività ingegneristico-computazionali intrecciate (training on code, transformers, pre-training modeling, instruction tuning, words tokenization, reinforcement learning con human feedback…) in grado di sequenziare statisticamente il linguaggio naturale umano. Il tutto -in molti dicono per bilanciare e contrastare l’hype del momento- senza relazione di senso col reale. Vale a dire, cioè, senza che quel linguaggio sintetico sappia in realtà nulla del mondo e senza che abbia una qualche comprensione dei suoi significati. L’espressione usata “pappagalli stocastici” evoca questa scrittura simulativa insensata.
Che cos’è un LLM, large language model?
Ma cos’è, in ultima istanza, un large language model? Possiamo dire che un Llm è un sequenziatore linguistico-probabilistico a bassa crossentropicità. Dunque, ridotto ai suoi minimi termini, è un modello matematico della distribuzione di probabilità delle parole di una lingua scritta che si sforza di minimizzare la crossentropia (cioè lo scarto tra due potenziali distribuzioni di frequenza) massimizzando, di conseguenza, la sua capacità performativa come text predictor.
Questo approccio è il frutto di un lungo percorso (Li, 2022) nella storia moderna del processamento del linguaggio naturale (Nlp) che partendo dalle catene di Markov a inizio Novecento applicate alla letteratura (sequenza di vocali e consonanti di un romanzo) e passando per i lavori di Shannon e Weaver a metà anni Cinquanta sulla misura dell’entropia e la distribuzione delle probabilità (n-grams e sequenza probabilistica di parole nella lingua), arriva a inizio anni Duemila con Bengio e colleghi all’applicazione delle reti neurali artificiali per il processamento del linguaggio naturale (neural Npl). Con importanti sviluppi recenti come l’impiego dei trasformatori (transformers) in grado di incorporare nell’analisi probabilistica del linguaggio la dimensione contestuale delle parole nelle frasi.
Continua la lettura su EconomyUp
Nessun commento:
Posta un commento