Big Data

Big Data si riferisce principalmente a set di dati che sono troppo grandi o complessi per essere gestiti da software di elaborazione dati tradizionali. I dati con molte voci (righe) offrono una maggiore potenza statistica, mentre i dati con una maggiore complessità (più attributi o colonne) possono portare a un tasso di falsa scoperta più elevato.

Le sfide dell'analisi dei Big Data includono la cattura dei dati, lo storage dei dati, l'analisi dei dati, la ricerca, la condivisione, il trasferimento, la visualizzazione, l'interrogazione, l'aggiornamento, la privacy delle informazioni e la fonte dei dati. L'analisi dei Big Data presenta sfide nel campionamento e quindi precedentemente consentiva solo osservazioni e campionamenti.

L'uso attuale del termine Big Data tende a riferirsi all'uso di analisi predittive, analisi del comportamento degli utenti o ad altri metodi avanzati di analisi dei dati che estraggono valore dai Big Data. L'analisi dei set di dati può trovare nuove correlazioni per "individuare tendenze aziendali, prevenire malattie, combattere il crimine e così via".

Ad oggi, i settori dell'economia, dell'energia e della dinamica della popolazione sono stati i principali sfruttatori della previsione dei Big Data. I modelli di fattori, i modelli bayesiani e le reti neurali sono gli strumenti più comuni adottati per la previsione con i Big Data.

La disponibilità di volumi maggiori e fonti di dati sta per la prima volta abilitando capacità in AI e machine learning che sono rimaste dormienti per decenni a causa della mancanza di disponibilità di dati, dimensioni del campione limitate e incapacità di analizzare enormi quantità di dati in millisecondi.