Home / Tag Archives: big data

Tag Archives: big data

Data Urbanism: Big Data per nuove Urban Policies

Mappa dei permessi per costruire a Sofia – Open Data Access

 

Qualche settimana fa, nel raccontare la storia del papà di tutti i grafici William Playfair, ho promesso che avrei parlato in maniera più estesa di Data Urbanism. Si tratta di un tema particolarmente articolato, esteso e complesso, le cui applicazioni sono vaste e differenziate e che pone sfide ancora non del tutto evidenti né risolte.

Cerchiamo di riannodare le fila, partendo da una definizione:

Data Urbanism è una disciplina che, attraverso la lettura dei Big Data, mira alla comprensione e alla modellazione di sistemi urbani per l’elaborazione di strategie per un uso dinamico delle risorse, la lettura di pattern, la stimolazione del civic engagement e l’implementazione di nuovi programmi di sviluppo. Gli approcci di ricerca al Data Urbanism utilizzano sia modelli guidati dalla teoria (theory-driven) che modelli basati sull’utilizzo di dati (data-driven).[1]

Una definizione che, in prima istanza, appare piuttosto generica potrebbe descrivere qualunque approccio all’urbanistico dalla terza generazione in poi. La differenza tra un approccio classico ed un approccio data-driven, sta tutta nella lettura dei Big Data. Si potrebbe tuttavia obiettare: qualunque tipo di approccio urbanistico si basa sui dati, persino l’urbanistica moderna era basata su concetti quantitativi, come quelli di standard. Occorre allora precisare che la differenza tra Big Data e Data, non risiede solo nella dimensione, o meglio, quantità di dati a disposizione. Esistono tre dimensioni che differenziano i Big Data da set di dati tradizionali, note come le 3 V: Volume, Varietà, Velocità. Queste tre caratteristiche, che rendono i nuovi set di dati incredibilmente più voluminosi di quelli tradizionali, spesso non strutturati e di natura eterogenea e che si accumulano in maniera sempre crescente, rendono le tradizionali tecniche di analisi e di elaborazione di dati obsolete. E, se non possiamo utilizzare metodi di analisi tradizionali, perché mai dovremmo utilizzare gli stessi strumenti progettuali?

Una grande parte dei dati che hanno sostenuto gli approcci classici all’urbanistica derivavano da censimenti governativi o da indagini statistiche svolte a livello comunitario, che fornivano un quadro generale dei trend di sviluppo delle città. Il loro limite? Avere una base temporale decennale e una metodologia di raccolta dati su base volontaristica. Se la natura di questi dati li rendeva “pronti all’uso”, l’intervallo di aggiornamento e la quantità di informazioni che forniscono non sono sufficienti per basarvi un modello di sviluppo urbanistico affidabile. Da qui la necessità di utilizzare nuovi set di dati, magari meno strutturati, ma forieri di nuove possibilità.

Certo, anche i Big Data presentano alcune difficoltà: non è semplice infatti capire che tipi di dati usare, dove recuperarli e come implementarli. Molti articoli[2] evidenziano come i tipi di dato utilizzabili si possano dividere in quattro categorie:

  1. Sensor Data

Si tratta principalmente di dati relativi ai sensori legati alle reti infrastrutturali: rete idrica, elettrica, fognaria, la rete viaria su gomma e su ferro. Questo genere di dati può essere pubblico (quando le utenze primarie siano gestite dai comuni o dallo stato) o privato (quando queste utenze siano invece appaltate ad enti esterni). Nel primo caso questi dati sono spesso accessibili, specialmente se l’ente di riferimento, come spesso accade negli ultimi anni, ha implementato politiche di Open Data, che consentono ai cittadini l’accesso gratuito a queste risorse.

  1. User-Generated Data

Questo è certamente il campo che, negli ultimi dieci anni, ha generato la maggiore quantità di dati, certamente la più eterogenea ed interessante. Rientrano in questo campo tutti i dati GPS dei dispositivi che trasportiamo costantemente, il contenuti che postiamo sui social media e, in minor quantità, i dati che gli utenti producono in alcuni progetti sperimentali di progettazione partecipata. Inutile dire che l’acquisizione e l’elaborazione di questi dati presenza anche molte criticità: sempre più frequentemente saltano alle cronache casi legali in cui imprese e società sono accusate di avere acquisito illegalmente dati dai social media, o di averne fatto un uso improprio.

  1. Dai Amministrativi

Rientrano in questa categoria tutti i dati legati alle amministrazioni locali e nazionali: censimenti, dati sull’impiego, la salute e l’educazione, dati sulle tasse e sui guadagni della popolazione.

  1. Dai dal settore privato

Proprio come le amministrazioni molte compagnie registrano le transazioni e le abitudini dei propri clienti. Dati, questi, che possono fornire una serie di informazioni sul comportamento e sull’evoluzione della popolazione. Tra i dati più utilizzati in questo settore troviamo certamente quelli delle compagnie telefoniche, quelli delle banche e delle grandi catene.

Le modalità di elaborazione dati che generalmente vengono adottate nel Data Urbanism sono riconducibili a due grandi filoni: il primo è quello dell’elaborazione di modelli e simulazioni complesse a partire da questi dati (quindi con un approccio progettuale ancora top-down, sebbene con istanze emerse dal basso) ed il secondo, incentrato invece su un modello sensio-centrico, che a partire dai dati prodotti dall’utente si concentra sulla ricerca di pattern e la formulazione di teorie empiriche per azioni specifiche.

Al primo filone sono ascrivibili due operazioni piuttosto comuni: la riconsiderazione di problemi classici dell’urbanistica con il nuovo approccio e l’analisi di sistemi complessi. Nel primo caso abbiamo la ricomputazione secondo canoni contemporanei di situazioni generiche e ricorrenti: analisi matematiche della distribuzione della popolazione, degli spostamenti, modelli di sviluppo urbano, sistemi di trasporti, collocazione dei servizi e di unità residenziali. Il vantaggio che ci offrono i Big Data, rispetto a tradizionali tecniche di progettazione, è quello di poter sviluppare strategie che non sono dipendenti da analisi tipo post-evaluation, ma che possono adattarsi progressivamente grazie ad un monitoraggio costante. Nel secondo caso si tratta invece di analisi basate su sistemi ABM (Agent-Based Modelling) e sono spesso orientate alla risoluzione di conflitti sociali o legate ai sistemi infrastrutturali dei trasporti. Abbiamo affrontato il problema della complessità in passato, ma su questo ritorneremo certamente nei prossimi articoli.

Al secondo filone appartengono invece due approcci legati al mondo delle cosiddette Smart Cities: la progettazione di sistemi infrastrutturali normati da sensori e adattabili e la progettazione dinamica della città con strategie di mappatura individuale e di gamification. Mentre il primo caso è fortemente basato su attività di monitoraggio con sensori statici, il secondo è un approccio fortemente dinamico ed ancora in fase di definizione. Le strategie progettuali legate alla mappatura individuale sono molte e vanno dallo sviluppo di applicazioni che raccolgono opinioni e proposte dei cittadini a operazioni per aumentare la coscienza dei problemi legate alla città.

Come è naturale ognuna di queste strategie porta con sé, al pari degli approcci tradizionali, limiti e problematiche che non possono essere eluse. Dota, tuttavia, pianificatori e cittadini di strumenti che aprono a nuovi e diversi scenari per la città del futuro. Scenari che, con una così rapida panoramica, non sono del tutto esplorabili né comprensibili, ma che certamente approfondiremo prossimamente, analizzando casi studio e rilevando problematiche e criticità del Data Urbanism.

[1] Trad. da: Thakuriah, P., N. Tilahun and M. Zellner (2015). Big Data and Urban Informatics: Innovations and Challenges to Urban Planning and Knowledge Discovery. In Proc. of NSF Workshop on Big Data and Urban Informatics, pp. 4-32.

[2] Pan Y,., Tian, Y., Liu, X., Gu, D. and Huam G. (2016) Urban Big Data and the Development of City Intelligence, in Engineering, Science Direct, Volume 2, Issue 2, pp. 171-178

Big-data: tutto iniziò con i grafici a torta

Viviamo nell’era dell’interconnessione, l’era dell’ubicom (ubiquitous computing), in una costante produzione di dati e meta-dati che condividiamo – più o meno coscientemente – in più modi di quanto possiamo immaginare. La massiccia produzione di dati alla quale ognuno di noi quotidianamente contribuisce è sempre più spesso oggetto di discussioni; suscita dubbi e preoccupazioni per alcuni, risorse e ricchezze per altri. Termini come big-data, data-analytics, data-science sono al centro di un dibattito che ogni giorno cambia un poco il mondo in cui viviamo, ma molti di noi non ne conoscono bene i fondamenti, gli strumenti né le origini. Certo comprendere e mettere a sistema la grande mole di dati oggi disponibili a tutti non è un compito semplice, ma sarebbe bene che, visto che ne siamo tutti parte, capissimo un po’ meglio cosa intendiamo quando parliamo di data-science. Non essendo un data-scientist, sono andato a cercare alcuni articoli scientifici che introducessero all’argomento e ho scoperto un gran numero di personaggi entusiasmanti. Così oggi ho deciso di scrivere del papà di tutti i grafici: William Playfair.

Ma andiamo con ordine: cos’è la scienza dei dati e perché è importante per noi architetti? Per rendere le cose più semplici, non esiste una definizione stringata ed universalmente riconosciuta. La si potrebbe definire come una pratica interdisciplinare che utilizza tecniche, teorie, processi e strumenti di matematica, statistica, scienza dell’informazione e Information Technology per estrarre, raggruppare, analizzare e rappresentare dati con l’obiettivo di capire o prevedere determinati fenomeni sociali o naturali. Non la più elegante delle definizioni, questo è sicuro. Magari non è facile definire cosa sia ma, sapendo quale sia il suo obiettivo, possiamo sapere in maniera schematica come opera. Secondo Ben Fry possiamo articolare uno studio di data-science in sette fasi: la raccolta, l’analisi, il filtraggio, l’estrazione, la rappresentazione, la rifinitura e l’interazione. Come bere un bicchier d’acqua. D’accordo, l’operazione non sarà delle più semplici, ma i suoi campi d’applicazione non sono da meno: la data-science ci permette, ad esempio, di capire in che modo le nostre città si stanno evolvendo, come si comportano i loro abitanti e, soprattutto, come possiamo agire perché si evolvano in meglio. L’analisi dei big-data ci consente di acquisire informazioni sugli abitanti delle nostre città e di ottimizzare i processi urbani, di programmare attività e progettualità per venire incontro alle loro abitudini, alle loro aspirazioni. Diversamente dalla classica pianificazione top-down, in cui i pianificatori decidono in che direzione, con che modalità sviluppare la città, l’analisi dei dati degli utenti consente di progettare le città del futuro con una logica bottom-up, in cui sono i comportamenti degli abitanti ad influenzare lo sviluppo urbano in maniera controllata. Lo chiamano Data Urbanism, potremmo parlarne molto a lungo e mi riprometto di farlo.

Ma ora c’è una domanda più urgente a cui rispondere. Mentre leggevo scenari futuri entusiasmanti – o distopici, da questo punto di vista nel mondo dei big-data non ci si annoia – non riuscivo a smettere di chiedermi: ma come è iniziato tutto? Con i potenti mezzi a mia disposizione ho deciso di ricorrere alla più tagliente delle armi. Così ho cercato su Google “how did big data emerge” e ho trovato questo interessante articolo di Forbes. Interessante, certo, ma non era quello che credevo. Ero certo che una scienza così complessa non potesse avere uno sviluppo così lineare. Così, continuando a cercare sono incappato in William Playfair. Lui era l’anello mancante tra me e le infografiche color pastello su Facebook, la risposta alla domanda che nessuno prima di allora si era fatto: c’è un modo migliore di rappresentare i dati che infiniti tabulati? Non che a Playfair interessassero particolarmente i grafici: non era un matematico, né uno statistico o un censore. In compenso è stato, nell’ordine: costruttore di mulini, ingegnere, contabile, inventore, orafo, mercante, broker, economista, scrittore, pubblicista, traduttore, banchiere, giornalista e spia del governo britannico. Nato nel 1759 in una facoltosa famiglia scozzese, mentre i fratelli seguivano noiosamente solide carriere (James architetto, John matematico e professore all’Università di Edimburgo) William si dedicò alla più nobile delle attività umane: il fallimento. Con una costanza encomiabile, quasi tutte le attività intraprese da William si rivelarono un insuccesso clamoroso: prima la sua attività di orafo, poi la sua attività di banchiere, infine quella di ingegnere. Nonostante queste imprese così infruttuose, Playfair, con costanza stoica, continuò la sua attività di scrittura e di pubblicazione in una varietà di temi, focalizzandosi sull’economia e la politica. Tuttavia, neanche questa attività sembrava andare per il verso giusto. Secondo Beniger e Robin, quando alla metà degli anni ’70 del XVIII secolo scriveva il suo “Commercial and Political Atlas”, Playfair si ritrovò a dover affrontare un’inconsistenza nei dati. Per riportare le attività di commercio in importazione ed esportazione per diversi paesi, aveva ideato il grafico a linee – risultato, questo, incredibile di per sé – che però non poteva usare per descrivere l’andamento del mercato scozzese a causa di dati insufficienti. Per sopperire all’insufficienza decise di rappresentare i dati attraverso un sistema di barre, divise per i differenti partner commerciali. Così, dopo una notevole serie di insuccessi, in una sola mossa Playfair compì una doppia rivoluzione nella rappresentazione dei dati, inventando il grafico a linee e quello a barre. Se oggi qualcuno mi chiedesse di rappresentare l’evoluzione di un determinato parametro in un certo arco temporale, non credo che avrei una soluzione migliore di quelle inventate a Playfair. Ma la sua rivoluzione non si arresta negli anni successivi: nel 1801 pubblica “Statistical Breviary”, in cui compare per la prima volta il re di tutti i grafici: il grafico a torta. È l’inizio di un nuovo modo di intendere i dati, perché i grafici di Playfair non sono solo una nuova forma di rappresentazione, ma uno strumento di comprensione che contiene un approccio operativo. Il dato non è più solo dato, ma informazione in relazione diretta con altri dati, strumento di controllo, di previsione. E se i dati, visti così, sono tanti, diventano “big”.

Se Playfair non avesse avuto quella meravigliosa tenacia, quella costanza nel fallimento di opere in fondo così piccole, quella capacità di risolvere i problemi attraverso nuovi sguardi diagonali, oggi di tutti i dati che estraiamo dai nostri Smartphone probabilmente non sapremo che farne. Ecco perché, per me l’avventura della data-science inizia qui, con il grafico a torta.

A cosa servono i Big Data

Questa è la storia delle informazioni del XXI secolo, è la storia delle tracce che ogni giorno lasciamo come le briciole di Pollicino per le strade che percorriamo, con unica differenza, che qualcuno le raccoglie. Questa è la storia dei ” Big Data “. Tecnicamente, con ” Big Data ” s’intende descrivere una raccolta di dataset così amplia e complessa da richiedere strumenti differenti da quelli tradizionali, in tutte le fasi del processo: dall’acquisizione, alla curation, passando per condivisione, analisi e visualizzazione. La casa di questi dati è il web, ma non solo. Ogni giorno dalla corsa calcola dall’app dell’I-Pod, al codice Rfid sulla maglia appena acquistata dalla vostra ragazza da Zara, passando per la Oyster Card tutto finisce nel vortice dell’analisi dei Big Data. Ad oggi Hadoop è il framework che si sente nominare più spesso parlando di Big Data perchè il suo lavoro è quello di prendere centinaia di milioni di informazioni e spezzettarle su tanti server, fino a che questi non riescono a “riunirle” in qualcosa che assume magicamente un senso. Ovviamente non avviene tutto per magia, bisogna programmare esattamente cosa ricercare in centinaia di migliaia di dati. La scienza della raccolta, curation e sviluppo dell’analisi dei dati ha l’obiettivo di estrarre informazioni aggiuntive rispetto a quelle che si potrebbero ottenere analizzando piccole serie, con la stessa quantità totale di dati. Ad esempio, l’analisi per sondare gli “umori” dei mercati e del commercio, e quindi del trend complessivo della società e del fiume di informazioni che viaggiano e transitano attraverso Internet. Attualmente, prima di massicci acquisti di stock azionari sui mercati finanziari, le grandi banche d’investimento compiono una pre analisi dei Big Data allo scopo di sondare gli umori degli investitori e sulla base di modelli standard matematici scegliere il momento più propizio per attuare la propria strategia.

Big Data - Polince.org

Se c’è qualcosa di estremamente valoroso che mi hanno insegnato uomini che con la Filosofia e le tendenze artistiche nulla hanno a che fare, è che dietro a ciò che viene ” offerto gratuitamente ” si nasconde un doppio sacrificio. È questo il lato oscuro dei social network, dove in cambio di un’agorá virtuale ti si chiede la cessione della conoscenza dei tuoi gusti, movimenti e caratteristiche personali. A tal proposito consiglio a tutti di digitare dashboard.google.com e dopo aver digitato le proprie credenziali scoprire come Google conosca più cose della vostra persona, anche rispetto a voi stessi. Certo Google non è un social network, ma è grazie a Mountain View che coordinate in modo pratico ed intelligente tutte le vostre attività.

Il processo evolutivo di raccolta dataset è alla base delle prossime strategie aziendali nel prossimo decennio, con alcuni gruppi capaci di implementare e sviluppare a proprio uso e del cliente l’analisi di questi. Non è un caso per cui quando passate la vostra Fidelity Card o effettuate da qualsiasi dispositivo un login che magicamente vi appaiono prodotti o articoli da voi ritenuti interessanti. Eppure, il ritardo nell’utilizzo di questo fondamentale strumento d’analisi è impressionante.
Infatti, analizzando i dati raccolti da un’indagine condotta lo scorso anno dalla IDC, società di ricerche di mercato e consulenza in ambito IT, su 1.651 imprese dell’Unione Europea (Italia, Germania, Francia, Spagna e Regno Unito), più della metà delle aziende (il 53%) non ha adottato soluzioni per elaborare grandi quantità di Stando ai dati di un’indagine condotta nel 2013 da IDC, società di ricerche di mercato e consulenza in ambito IT, su 1.651 imprese dell’Unione europea (Italia, Germania, Francia, Spagna e Regno Unito), più della metà delle aziende (il 53%) non ha adottato soluzioni per elaborare grandi quantità di informazioni non strutturate.In base alla ricerca, presentata durante il convegno IDC Big Data & Analytics Conference 2014 a Milano, il 15% delle compagnie si dichiara addirittura non familiare con l’argomento.
Come la banda larga, lo sviluppo del nucleare di III generazione, il ritardo nell’utilizzo dei Big Data fin da quest’ultimo biennio sta creando molteplici problemi di crescita all’economia europea. Rendendola quasi totalmente incapace di essere competitiva con l’Asia e gli Stati Uniti.
Se si pone il riferimento alla sola Italia e a un campione più ristretto , dalla ricerca di IDC emerge che il 30% delle aziende ha puntato sui big data. Se il numero di compagnie prese in esame fosse stato simile a quello relativo allo studio sulle imprese continentali, il valore italiano sarebbe stato più alto rispetto agli altri Paesi Ue.
Se vi state domandando se i Big data sono legali, la risposta è affermativa. Meno per la libertà che si presume di avere nella sfera privata. Nel frattempo per comprendere la loro importanza sappiate che il Bayern München li utilizza da un anno. Ma, quello non è solo calcio, é Guardiola.

Un ago nel pagliaio

Da circa un mese a questa parte l’opinione pubblica si focalizza su varie declinazioni di un medesimo tema. L’attività spionistica che gli Stati Uniti d’America pongono in essere per tramite di enti governativi, National Security Agency in primo luogo.

Insomma, oggi parliamo del famigerato datagate.
Che c’entra con la filosofia? La domanda è legittima, ma ingenua. Vedremo tra poco perché.
In un articolo davvero ben fatto (qui il link), il settimanale tedesco Spiegel riporta una frase di Jeremy Bash, all’epoca a capo dello staff del direttore della CIA Leon PanettaIf you’re looking for a needle in the haystack, you need a haystack». Già. Se cerchi un ago nel pagliaio hai prima bisogno di un dannato pagliaio. Banale.
Il tutto diventa meno banale se capiamo come sono strutturati i ruoli: l’ago altro non è che un comportamento individuale o collettivo di matrice terroristica. Il pagliaio è l’enorme mole di documenti, opinioni, frasi, stronzate che l’utente medio mette in rete quotidianamente.
Ecco allora il senso dell’affermazione di Bash: ogni istituzione dedita alla prevenzione di atti potenzialmente dannosi per la comunità non può non interessarsi di quel che circola in rete, di quel che circola nel pagliaio.
Chiaramente, qui si aprono una serie di domande relative alla legittimità dei comportamenti dei cercatori di aghi. Un cercatore americano può frugare – di nascosto – in un pagliaio svedese?  Mi sa di no… Bho. I miei amici di AltriPoli ne sanno molto più di me, io lascio stare.
Quel che mi interessa è invece l’idea generale che sta alla base del data gate. E qui entra in gioco la filosofia.
Il nostro modo di pensare, vivere, scrivere, mangiare, bla bla bla è detto “moderno”. La modernità è una visione del mondο che si sviluppa a partire da un filosofo inglese – Francis Bacon – che, nel corso del XVI secolo, ebbe l’intuizione geniale di riformare il metodo delle scienze.
Bacon abbandona il modello aristotelico-deduttivo in favore del metodo induttivo. L’idea è semplice: se voglio sapere come funziona la natura, devo anzitutto osservarla. Osservare quello che accade, i suoi fenomeni, una, dieci, cento, mille volte. Quindi devo annotare sul mio bel quadernino quel che osservo. Da ultimo leggere quel che ho scritto nel quadernino e trarne delle conclusioni [1].
Esempio: voglio sapere quali animali hanno la facoltà di volare? Guardo il cielo. Lunedì vedo un corvo, martedì tre pappagalli, venerdì quattordici rondini. Segno tutto. Sabato mi rendo conto che tutti e diciotto gli animali hanno un tratto in comune: le ali. Risultato, induco che condizione necessaria per l’esercizio del volo è il possesso di ali.
La modernità funziona così. Non del tutto (vi ricordate Popper? [2]), ma l’elemento caratteristico rispetto al mondo classico è proprio questo: l’induzione, il metodo, la scientificità del procedere.

Internet ci mette a disposizione un “quadernino” di dati immenso. Di recente si usa un termine per definire il contenuto del quadernino: «big data». Dall’analisi dei big data, il Manchester City ha ottenuto un modello per impostare le traiettorie dei calci d’angolo, aumentando l’offensività della squadra e il conseguente numero di goal realizzati [3].

I cari omini in nero della CIA e gli spioni della NSA non fanno molto di più. Studiano la rete, cercano pattern, strutture, ripetizioni nel quadernino (il pagliaio di cui sopra…), alla ricerca di un simpatico amichetto che dica «bombabombabomba!» (un po’ come Ben Stiller in Ti presento i miei).
È chiaro che l’esercizio di questi metodi vada regolato dalle autorità competenti, ed è chiaro che le libertà individuali vadano tutelate. Quel che non è chiaro, o comunque poco tollerabile, è il pressapochismo con cui alcuni commentatori affrontano la questione.
Ecco il punto: dobbiamo distinguere il gesto dello spione americano dalla legalità del gesto medesimo.
È compito del legislatore chiarire quali siano i limiti di legalità all’interno dei quali operare. Di questi si può e si deve discutere. C’è chi li preferisce più stretti e chi si sente più protetto da limiti più generosi.
Quel che non può essere oggetto di discussione è però il gesto. Ribadisco: cercare aghi nel pagliaio è l’essenza della modernità. C’è un filo che unisce Bacon, Galilei, l’NSA e il Manchester City. Occhio ad ignorarne il valore.

PoliNietzsche – Giulio Valerio Sansone

Note:
[1] Il povero Bacon merita qualche parola in più rispetto alla semplicistica caricatura che vi ho proposto sopra. Rimando quindi ad un mio post sul tema.
[2] Qui due post sul tema: “Popper 1” e “Popper 2

[3] Qui l’articolo per esteso, riportato da Gianni Riotta sul suo account twitter.