Forschungsinstitutionen und Unternehmen sammeln immer mehr Daten. Saarbrücker Informatiker haben jetzt einen Ansatz entwickelt, mit dem man sehr schnell solche riesige Datenbestände nach komplexen Informationen durchsuchen kann.
Unter „Big Data“ versteht man riesige Mengen an digitalen Informationen, die so groß und so komplex sind, dass sie sich nicht mehr mit einfacher Datenbanktechnologie verarbeiten lassen. Nicht nur wissenschaftliche Einrichtungen wie das Kernforschungszentrum CERN häufen solche Datenberge an. Auch Unternehmen wie Google und Facebook tun dies und werten diese aus, um strategische Entscheidungen besser treffen zu können. Wie erfolgreich solche Analysen sein können, bewies vergangenes Jahr ein Artikel der Tageszeitung New York Times. Er berichtete vom US-amerikanischen Unternehmen „Target“, das aufgrund des Kaufverhaltens einer jungen Frau bereits vor deren Vater von ihrer Schwangerschaft wusste.
Die dazu analysierte Datenmasse ist auf mehrere Dienstrechner (Server) im Internet verteilt. Die Suchfragen müssen also gleich an mehrere Rechner parallel gestellt werden. Herkömmliche Datenbanksysteme helfen nur bedingt weiter. Sie kommen mit der Datenmasse nicht klar oder überfordern ihre Anwender. Datenanalysten verwenden meist Werkzeuge, die auf dem frei verfügbaren Software-Framework Apache Hadoop basieren und dessen leistungsfähiges Dateisystem HDFS nutzen. Denn diese Systeme setzen keine hohe Expertise voraus.
„Wenn man sich ein wenig in der Programmiersprache Java auskennt, kommt man damit schon relativ weit“, erklärt Jens Dittrich, Professor für Informationssysteme an der Universität des Saarlandes. Allerdings, so Dittrich, könne Hadoop nicht so effizient Datenmengen durchsuchen und verwalten, wie es die auf Parallelisierung ausgelegten Datenbanksysteme bisher ermöglichten. Hier setzen er und seine Mitarbeiter an. Mit der von ihnen entwickelten „Hadoop Aggressive Indexing Library“, kurz HAIL, ermöglichen sie es, in HDFS gewaltige Datenmengen so zu speichern, dass Suchanfragen bis zu 100 mal schneller beantwortet werden. Sie nutzen dazu eine Methode, die sich in ihrer einfachen Form in jedem Telefonbuch findet: Um nicht der Reihe nach alle Namen durchgehen zu müssen, sind die Einträge im Telefonbuch nach Namen geordnet. Die Sortierung der Namen bildet einen sogenannten Index.
Einen solchen Index erzeugen die Saarbrücker Informatiker für sehr große Datenmengen, die sie auf diversen Servern verteilen. Im Gegensatz zum Telefonbuch sortieren sie die Daten aber nach mehreren Kriterien gleichzeitig und speichern die Daten mehrfach ab. Der Clou ist: Seine Mitarbeiter und er haben die Erstellung dieser vielfältig einsetzbaren Indexe so organisiert, dass kein zusätzlicher Aufwand entsteht. Und auch der hierfür zusätzliche Speicherbedarf ist je nach Datensatz gering.
Weitere Informationen: Über die neue Methode Über den Nutzen von Big Data in der Medizintechnik-Branche
Teilen:
