Home / Tag Archives: big data

Tag Archives: big data

Big-data: tutto iniziò con i grafici a torta

Viviamo nell’era dell’interconnessione, l’era dell’ubicom (ubiquitous computing), in una costante produzione di dati e meta-dati che condividiamo – più o meno coscientemente – in più modi di quanto possiamo immaginare. La massiccia produzione di dati alla quale ognuno di noi quotidianamente contribuisce è sempre più spesso oggetto di discussioni; suscita dubbi e preoccupazioni per alcuni, risorse e ricchezze per altri. Termini come big-data, data-analytics, data-science sono al centro di un dibattito che ogni giorno cambia un poco il mondo in cui viviamo, ma molti di noi non ne conoscono bene i fondamenti, gli strumenti né le origini. Certo comprendere e mettere a sistema la grande mole di dati oggi disponibili a tutti non è un compito semplice, ma sarebbe bene che, visto che ne siamo tutti parte, capissimo un po’ meglio cosa intendiamo quando parliamo di data-science. Non essendo un data-scientist, sono andato a cercare alcuni articoli scientifici che introducessero all’argomento e ho scoperto un gran numero di personaggi entusiasmanti. Così oggi ho deciso di scrivere del papà di tutti i grafici: William Playfair.

Ma andiamo con ordine: cos’è la scienza dei dati e perché è importante per noi architetti? Per rendere le cose più semplici, non esiste una definizione stringata ed universalmente riconosciuta. La si potrebbe definire come una pratica interdisciplinare che utilizza tecniche, teorie, processi e strumenti di matematica, statistica, scienza dell’informazione e Information Technology per estrarre, raggruppare, analizzare e rappresentare dati con l’obiettivo di capire o prevedere determinati fenomeni sociali o naturali. Non la più elegante delle definizioni, questo è sicuro. Magari non è facile definire cosa sia ma, sapendo quale sia il suo obiettivo, possiamo sapere in maniera schematica come opera. Secondo Ben Fry possiamo articolare uno studio di data-science in sette fasi: la raccolta, l’analisi, il filtraggio, l’estrazione, la rappresentazione, la rifinitura e l’interazione. Come bere un bicchier d’acqua. D’accordo, l’operazione non sarà delle più semplici, ma i suoi campi d’applicazione non sono da meno: la data-science ci permette, ad esempio, di capire in che modo le nostre città si stanno evolvendo, come si comportano i loro abitanti e, soprattutto, come possiamo agire perché si evolvano in meglio. L’analisi dei big-data ci consente di acquisire informazioni sugli abitanti delle nostre città e di ottimizzare i processi urbani, di programmare attività e progettualità per venire incontro alle loro abitudini, alle loro aspirazioni. Diversamente dalla classica pianificazione top-down, in cui i pianificatori decidono in che direzione, con che modalità sviluppare la città, l’analisi dei dati degli utenti consente di progettare le città del futuro con una logica bottom-up, in cui sono i comportamenti degli abitanti ad influenzare lo sviluppo urbano in maniera controllata. Lo chiamano Data Urbanism, potremmo parlarne molto a lungo e mi riprometto di farlo.

Ma ora c’è una domanda più urgente a cui rispondere. Mentre leggevo scenari futuri entusiasmanti – o distopici, da questo punto di vista nel mondo dei big-data non ci si annoia – non riuscivo a smettere di chiedermi: ma come è iniziato tutto? Con i potenti mezzi a mia disposizione ho deciso di ricorrere alla più tagliente delle armi. Così ho cercato su Google “how did big data emerge” e ho trovato questo interessante articolo di Forbes. Interessante, certo, ma non era quello che credevo. Ero certo che una scienza così complessa non potesse avere uno sviluppo così lineare. Così, continuando a cercare sono incappato in William Playfair. Lui era l’anello mancante tra me e le infografiche color pastello su Facebook, la risposta alla domanda che nessuno prima di allora si era fatto: c’è un modo migliore di rappresentare i dati che infiniti tabulati? Non che a Playfair interessassero particolarmente i grafici: non era un matematico, né uno statistico o un censore. In compenso è stato, nell’ordine: costruttore di mulini, ingegnere, contabile, inventore, orafo, mercante, broker, economista, scrittore, pubblicista, traduttore, banchiere, giornalista e spia del governo britannico. Nato nel 1759 in una facoltosa famiglia scozzese, mentre i fratelli seguivano noiosamente solide carriere (James architetto, John matematico e professore all’Università di Edimburgo) William si dedicò alla più nobile delle attività umane: il fallimento. Con una costanza encomiabile, quasi tutte le attività intraprese da William si rivelarono un insuccesso clamoroso: prima la sua attività di orafo, poi la sua attività di banchiere, infine quella di ingegnere. Nonostante queste imprese così infruttuose, Playfair, con costanza stoica, continuò la sua attività di scrittura e di pubblicazione in una varietà di temi, focalizzandosi sull’economia e la politica. Tuttavia, neanche questa attività sembrava andare per il verso giusto. Secondo Beniger e Robin, quando alla metà degli anni ’70 del XVIII secolo scriveva il suo “Commercial and Political Atlas”, Playfair si ritrovò a dover affrontare un’inconsistenza nei dati. Per riportare le attività di commercio in importazione ed esportazione per diversi paesi, aveva ideato il grafico a linee – risultato, questo, incredibile di per sé – che però non poteva usare per descrivere l’andamento del mercato scozzese a causa di dati insufficienti. Per sopperire all’insufficienza decise di rappresentare i dati attraverso un sistema di barre, divise per i differenti partner commerciali. Così, dopo una notevole serie di insuccessi, in una sola mossa Playfair compì una doppia rivoluzione nella rappresentazione dei dati, inventando il grafico a linee e quello a barre. Se oggi qualcuno mi chiedesse di rappresentare l’evoluzione di un determinato parametro in un certo arco temporale, non credo che avrei una soluzione migliore di quelle inventate a Playfair. Ma la sua rivoluzione non si arresta negli anni successivi: nel 1801 pubblica “Statistical Breviary”, in cui compare per la prima volta il re di tutti i grafici: il grafico a torta. È l’inizio di un nuovo modo di intendere i dati, perché i grafici di Playfair non sono solo una nuova forma di rappresentazione, ma uno strumento di comprensione che contiene un approccio operativo. Il dato non è più solo dato, ma informazione in relazione diretta con altri dati, strumento di controllo, di previsione. E se i dati, visti così, sono tanti, diventano “big”.

Se Playfair non avesse avuto quella meravigliosa tenacia, quella costanza nel fallimento di opere in fondo così piccole, quella capacità di risolvere i problemi attraverso nuovi sguardi diagonali, oggi di tutti i dati che estraiamo dai nostri Smartphone probabilmente non sapremo che farne. Ecco perché, per me l’avventura della data-science inizia qui, con il grafico a torta.

A cosa servono i Big Data

Questa è la storia delle informazioni del XXI secolo, è la storia delle tracce che ogni giorno lasciamo come le briciole di Pollicino per le strade che percorriamo, con unica differenza, che qualcuno le raccoglie. Questa è la storia dei ” Big Data “. Tecnicamente, con ” Big Data ” s’intende descrivere una raccolta di dataset così amplia e complessa da richiedere strumenti differenti da quelli tradizionali, in tutte le fasi del processo: dall’acquisizione, alla curation, passando per condivisione, analisi e visualizzazione. La casa di questi dati è il web, ma non solo. Ogni giorno dalla corsa calcola dall’app dell’I-Pod, al codice Rfid sulla maglia appena acquistata dalla vostra ragazza da Zara, passando per la Oyster Card tutto finisce nel vortice dell’analisi dei Big Data. Ad oggi Hadoop è il framework che si sente nominare più spesso parlando di Big Data perchè il suo lavoro è quello di prendere centinaia di milioni di informazioni e spezzettarle su tanti server, fino a che questi non riescono a “riunirle” in qualcosa che assume magicamente un senso. Ovviamente non avviene tutto per magia, bisogna programmare esattamente cosa ricercare in centinaia di migliaia di dati. La scienza della raccolta, curation e sviluppo dell’analisi dei dati ha l’obiettivo di estrarre informazioni aggiuntive rispetto a quelle che si potrebbero ottenere analizzando piccole serie, con la stessa quantità totale di dati. Ad esempio, l’analisi per sondare gli “umori” dei mercati e del commercio, e quindi del trend complessivo della società e del fiume di informazioni che viaggiano e transitano attraverso Internet. Attualmente, prima di massicci acquisti di stock azionari sui mercati finanziari, le grandi banche d’investimento compiono una pre analisi dei Big Data allo scopo di sondare gli umori degli investitori e sulla base di modelli standard matematici scegliere il momento più propizio per attuare la propria strategia.

Big Data - Polince.org

Se c’è qualcosa di estremamente valoroso che mi hanno insegnato uomini che con la Filosofia e le tendenze artistiche nulla hanno a che fare, è che dietro a ciò che viene ” offerto gratuitamente ” si nasconde un doppio sacrificio. È questo il lato oscuro dei social network, dove in cambio di un’agorá virtuale ti si chiede la cessione della conoscenza dei tuoi gusti, movimenti e caratteristiche personali. A tal proposito consiglio a tutti di digitare dashboard.google.com e dopo aver digitato le proprie credenziali scoprire come Google conosca più cose della vostra persona, anche rispetto a voi stessi. Certo Google non è un social network, ma è grazie a Mountain View che coordinate in modo pratico ed intelligente tutte le vostre attività.

Il processo evolutivo di raccolta dataset è alla base delle prossime strategie aziendali nel prossimo decennio, con alcuni gruppi capaci di implementare e sviluppare a proprio uso e del cliente l’analisi di questi. Non è un caso per cui quando passate la vostra Fidelity Card o effettuate da qualsiasi dispositivo un login che magicamente vi appaiono prodotti o articoli da voi ritenuti interessanti. Eppure, il ritardo nell’utilizzo di questo fondamentale strumento d’analisi è impressionante.
Infatti, analizzando i dati raccolti da un’indagine condotta lo scorso anno dalla IDC, società di ricerche di mercato e consulenza in ambito IT, su 1.651 imprese dell’Unione Europea (Italia, Germania, Francia, Spagna e Regno Unito), più della metà delle aziende (il 53%) non ha adottato soluzioni per elaborare grandi quantità di Stando ai dati di un’indagine condotta nel 2013 da IDC, società di ricerche di mercato e consulenza in ambito IT, su 1.651 imprese dell’Unione europea (Italia, Germania, Francia, Spagna e Regno Unito), più della metà delle aziende (il 53%) non ha adottato soluzioni per elaborare grandi quantità di informazioni non strutturate.In base alla ricerca, presentata durante il convegno IDC Big Data & Analytics Conference 2014 a Milano, il 15% delle compagnie si dichiara addirittura non familiare con l’argomento.
Come la banda larga, lo sviluppo del nucleare di III generazione, il ritardo nell’utilizzo dei Big Data fin da quest’ultimo biennio sta creando molteplici problemi di crescita all’economia europea. Rendendola quasi totalmente incapace di essere competitiva con l’Asia e gli Stati Uniti.
Se si pone il riferimento alla sola Italia e a un campione più ristretto , dalla ricerca di IDC emerge che il 30% delle aziende ha puntato sui big data. Se il numero di compagnie prese in esame fosse stato simile a quello relativo allo studio sulle imprese continentali, il valore italiano sarebbe stato più alto rispetto agli altri Paesi Ue.
Se vi state domandando se i Big data sono legali, la risposta è affermativa. Meno per la libertà che si presume di avere nella sfera privata. Nel frattempo per comprendere la loro importanza sappiate che il Bayern München li utilizza da un anno. Ma, quello non è solo calcio, é Guardiola.

Un ago nel pagliaio

Da circa un mese a questa parte l’opinione pubblica si focalizza su varie declinazioni di un medesimo tema. L’attività spionistica che gli Stati Uniti d’America pongono in essere per tramite di enti governativi, National Security Agency in primo luogo.

Insomma, oggi parliamo del famigerato datagate.
Che c’entra con la filosofia? La domanda è legittima, ma ingenua. Vedremo tra poco perché.
In un articolo davvero ben fatto (qui il link), il settimanale tedesco Spiegel riporta una frase di Jeremy Bash, all’epoca a capo dello staff del direttore della CIA Leon PanettaIf you’re looking for a needle in the haystack, you need a haystack». Già. Se cerchi un ago nel pagliaio hai prima bisogno di un dannato pagliaio. Banale.
Il tutto diventa meno banale se capiamo come sono strutturati i ruoli: l’ago altro non è che un comportamento individuale o collettivo di matrice terroristica. Il pagliaio è l’enorme mole di documenti, opinioni, frasi, stronzate che l’utente medio mette in rete quotidianamente.
Ecco allora il senso dell’affermazione di Bash: ogni istituzione dedita alla prevenzione di atti potenzialmente dannosi per la comunità non può non interessarsi di quel che circola in rete, di quel che circola nel pagliaio.
Chiaramente, qui si aprono una serie di domande relative alla legittimità dei comportamenti dei cercatori di aghi. Un cercatore americano può frugare – di nascosto – in un pagliaio svedese?  Mi sa di no… Bho. I miei amici di AltriPoli ne sanno molto più di me, io lascio stare.
Quel che mi interessa è invece l’idea generale che sta alla base del data gate. E qui entra in gioco la filosofia.
Il nostro modo di pensare, vivere, scrivere, mangiare, bla bla bla è detto “moderno”. La modernità è una visione del mondο che si sviluppa a partire da un filosofo inglese – Francis Bacon – che, nel corso del XVI secolo, ebbe l’intuizione geniale di riformare il metodo delle scienze.
Bacon abbandona il modello aristotelico-deduttivo in favore del metodo induttivo. L’idea è semplice: se voglio sapere come funziona la natura, devo anzitutto osservarla. Osservare quello che accade, i suoi fenomeni, una, dieci, cento, mille volte. Quindi devo annotare sul mio bel quadernino quel che osservo. Da ultimo leggere quel che ho scritto nel quadernino e trarne delle conclusioni [1].
Esempio: voglio sapere quali animali hanno la facoltà di volare? Guardo il cielo. Lunedì vedo un corvo, martedì tre pappagalli, venerdì quattordici rondini. Segno tutto. Sabato mi rendo conto che tutti e diciotto gli animali hanno un tratto in comune: le ali. Risultato, induco che condizione necessaria per l’esercizio del volo è il possesso di ali.
La modernità funziona così. Non del tutto (vi ricordate Popper? [2]), ma l’elemento caratteristico rispetto al mondo classico è proprio questo: l’induzione, il metodo, la scientificità del procedere.

Internet ci mette a disposizione un “quadernino” di dati immenso. Di recente si usa un termine per definire il contenuto del quadernino: «big data». Dall’analisi dei big data, il Manchester City ha ottenuto un modello per impostare le traiettorie dei calci d’angolo, aumentando l’offensività della squadra e il conseguente numero di goal realizzati [3].

I cari omini in nero della CIA e gli spioni della NSA non fanno molto di più. Studiano la rete, cercano pattern, strutture, ripetizioni nel quadernino (il pagliaio di cui sopra…), alla ricerca di un simpatico amichetto che dica «bombabombabomba!» (un po’ come Ben Stiller in Ti presento i miei).
È chiaro che l’esercizio di questi metodi vada regolato dalle autorità competenti, ed è chiaro che le libertà individuali vadano tutelate. Quel che non è chiaro, o comunque poco tollerabile, è il pressapochismo con cui alcuni commentatori affrontano la questione.
Ecco il punto: dobbiamo distinguere il gesto dello spione americano dalla legalità del gesto medesimo.
È compito del legislatore chiarire quali siano i limiti di legalità all’interno dei quali operare. Di questi si può e si deve discutere. C’è chi li preferisce più stretti e chi si sente più protetto da limiti più generosi.
Quel che non può essere oggetto di discussione è però il gesto. Ribadisco: cercare aghi nel pagliaio è l’essenza della modernità. C’è un filo che unisce Bacon, Galilei, l’NSA e il Manchester City. Occhio ad ignorarne il valore.

PoliNietzsche – Giulio Valerio Sansone

Note:
[1] Il povero Bacon merita qualche parola in più rispetto alla semplicistica caricatura che vi ho proposto sopra. Rimando quindi ad un mio post sul tema.
[2] Qui due post sul tema: “Popper 1” e “Popper 2

[3] Qui l’articolo per esteso, riportato da Gianni Riotta sul suo account twitter.