Jochen Blom
Der technologische Fortschritt hat zu einem Datenüberfluss geführt, der komplexere Datenspeichersysteme erfordert. Technologische Entwicklungen von der Erfindung der Druckmaschine bis hin zur automatisierten Datenerfassung aus der Weltraumforschung haben die Datenexplosion vorangetrieben. Immer mehr Datenlager, sowohl fest vervielfältigbare Daten als auch Magnetbänder, haben die Notwendigkeit bewiesen, die Datenmenge auf die eine oder andere Weise zu verdichten, während der Inhalt erhalten bleibt. Die Notwendigkeit, das Datenwachstum über die Datenexplosion hinaus einzudämmen, wurde wichtig, und der Begriff „Big Data“ wurde erstmals in den Klagen der Konferenz zur Visualisierung verwendet, um dieses Datenwachstum zu beschreiben. In diesem System wird eine Lösung der Out-of-Middle-Visualisierung vorgeschlagen, wenn ein einzelner Datensatz, den wir visualisieren möchten, größer ist als die Kapazität des Hauptspeichers und der Remote-Out-of-Middle-Visualisierung, während ein einzelner Datensatz größer ist als die Kapazität des lokalen Speichers und der Festplatte. Mehrere Faktoren tragen zur Zunahme der Datenmenge bei. Daten werden zu einer greifbaren Ressource und werden nicht weggeworfen. Infolgedessen tragen transaktionsbasierte Daten, die im Laufe der Zeit gespeichert werden, unstrukturierte Datenströme aus sozialen Medien, Sensoren und angesammelte Gerätedaten zu der wachsenden Menge an Daten bei, die durch den Kauf von mehr Online-Speichern verarbeitet werden. Es werden verschiedene Strategien verfolgt, wie die Durchsetzung abgestufter Speichersysteme, das Outsourcing der Datenverwaltung und die Profilerstellung von Datenquellen. In der Vergangenheit war die Datenspeicherung das Hauptproblem, aber mit der Reduzierung der Speicherkosten ergeben sich andere Probleme, wie z. B. die Bestimmung der Relevanz in großen Datenmengen und die Verwendung von Analysen zur Berechnung von Kosten aus relevanten Daten.