Fabric und Purview
Das Dream-Team für deine Datenplattform
Von: Emil Vinčazović
Die Herausforderung der modernen Datenlandschaft
In der heutigen datengetriebenen Welt ist eine moderne Datenplattform unerlässlich. Immer mehr Unternehmen wollen „data-driven“ werden. Unternehmen, die ihre Daten verstehen und nutzen, sind erfolgreicher. Doch der Weg zu einer datengetriebenen Kultur ist oft steinig. Daten befinden sind in verschiedenen Systemen und Formaten verstreut, was die Analyse und Zusammenarbeit erschwert. Die Evolution der Datenplattformen hat uns von traditionellen, starren Data Warehouses zu flexibleren Data-Lake-Architekturen geführt. Doch auch diese bringen ihre eigenen Komplexitäten mit sich und können zu Data Swamps ausarten. Mit Fabric hat Microsoft eine beeindruckende All-in-One-Lösung für Daten und Analysen geschaffen, die genau diese Herausforderungen adressiert und das Beste aus beiden Welten vereint. In meinen Videokursen bei der heise academy stelle ich alle Anwendungen von Microsoft Fabric ausführlich vor.
Hier laufen alle Datenströme zusammen
Fabric vereint alles, was du für die Arbeit mit Daten benötigst, in einer einzigen, einheitlichen Umgebung. Damit haben Datenexpertinnen und -experten ein einziges Werkzeug für alles, von der Datenerfassung bis zur Analyse. Die Datenintegration mit bspw. der Data Factory erlaubt es, Daten aus den unterschiedlichsten Quellen zu extrahieren, zu transformieren und zu laden (ETL).
Ein klassisches Beispiel wäre das Sammeln von Verkaufsdaten aus verschiedenen Filialsystemen und das Aufbereiten für die zentrale Analyse. Mit Synapse Data Warehouse können diese Daten dann in einem hochperformanten Data Warehouse gespeichert und für Business Intelligence-Anwendungen bereitgestellt werden. Parallel dazu ermöglicht Synapse Data Engineering mit Apache Spark die Verarbeitung riesiger Datenmengen für komplexe Datenanalysen und die Vorbereitung von Daten für Machine-Learning-Modelle. Data Scientists können mit Synapse Data Science End-to-End Workflows für maschinelles Lernen erstellen, von der Datenexploration bis zum Deployment von Modellen. Ein Anwendungsfall wäre hier die Entwicklung eines Modells zur Vorhersage von Kundenabwanderung oder der Klassiker: Umsatzprognosen. Für Echtzeitanalysen, zum Beispiel das Monitoring von Sensordaten in der Produktion, bietet Synapse Real-Time Intelligence (ehemals Real Time Analytics) die passenden Werkzeuge. Und schließlich werden all diese Daten und Erkenntnisse mit Power BI in interaktiven Dashboards und Berichten visualisiert, um sie für Entscheidungsträger im gesamten Unternehmen zugänglich zu machen.
Doch eine leistungsstarke Datenplattform ist nur die halbe Miete. Ohne eine solide Data Governance können selbst die besten Daten schnell unübersichtlich, unzuverlässig und sogar zu einem Risiko für das Unternehmen werden. Zusätzlich gibt es jetzt noch den European Union AI Act, der unter anderem besagt, dass man nachweisen muss, mit welchen Daten eine KI trainiert wurde. Dies darzulegen kann zu einer komplex Aufgabe werden.
Eine Bibliothek für deine Daten
Hier kommt Microsoft Purview ins Spiel. Purview lässt sich beschreiben als der ultimative Datenkatalog und die Governance-Lösung für deinen gesamten Datenbestand. Es ist wie eine Bibliothek für deine Daten, die nicht nur auflistet, welche Bücher vorhanden sind, sondern auch, wo sie stehen, worum es in ihnen geht und wer sie ausleihen darf. Purview hilft dir dabei, den Überblick zu behalten, Daten zu klassifizieren und die Einhaltung von Richtlinien sicherzustellen. Eine der Kernkomponenten von Purview ist die Data Map. Sie scannt deine Datenquellen, egal ob sie in der Cloud in Azure, bei anderen Anbietern wie AWS oder Google Cloud, oder On-Premises in deinem eigenen Rechenzentrum liegen, und erstellt eine einheitliche, grafische Datenlandkarte. Selbst SaaS-Anwendungen wie Salesforce können angebunden werden. So kannst du die Herkunft deiner Daten, die sogenannte Data Lineage, nachvollziehen, also woher die Daten stammen, welche Transformationen sie durchlaufen haben und wo sie verwendet werden. Das ist die Grundlage für echtes Vertrauen in deine Daten.
Ein weiteres mächtiges Werkzeug ist der Purview Data Catalog. Er ermöglicht es Fachanwendern, Datenanalysten und Data Scientists, nach Daten zu suchen und diese zu verstehen. Mit einem Geschäftsglossar können unternehmensweit einheitliche Definitionen für Kennzahlen und Begriffe festgelegt werden, was die Zusammenarbeit ungemein erleichtert. Ein Glossareintrag für Kundenzufriedenheit könnte beispielsweise die genaue Berechnungsmethode, den verantwortlichen Ansprechpartner und den genehmigten Wertebereich enthalten. Purview unterstützt auch das Konzept der Data Ownership, indem es ermöglicht, für jede Datenquelle und jedes Datenelement einen verantwortlichen Data Owner zuzuordnen. Und mit den Data Estate Insights bekommst du einen umfassenden Überblick über deinen gesamten Datenbestand und kannst proaktiv Risiken wie die unkontrollierte Verbreitung sensibler Daten erkennen und minimieren.
Die Magie der Integration: Fabric und Purview Hand in Hand
Die wahre Magie entfaltet sich jedoch, wenn du Microsoft Fabric und Microsoft Purview miteinander verbindest. Durch die nahtlose Integration der beiden Dienste kannst du eine durchgängige Datenplattform mit erstklassiger Data Governance aufbauen. Das ist keine ferne Zukunftsmusik, sondern bereits heute Realität. Die Einrichtung der Verbindung ist unkompliziert und erfolgt über das Fabric Admin-Portal (genauer gesagt über Security Groups in Entra und Assigned Identities in Azure). Einmal verbunden, ist die Integration so tief, dass du direkt aus der Fabric-Oberfläche heraus auf den Purview-Datenkatalog zugreifen kannst. Was die Vorteile sind? Lass uns ein Beispiel anschauen.
Stell dir vor, ein Business Analyst arbeitet mit Power BI an einem neuen Bericht. Er kann direkt im Workspace sehen, welche Datenquellen als zertifiziert und damit vertrauenswürdig eingestuft sind. Er kann die Data Lineage einsehen und nachvollziehen, dass die Daten aus dem zentralen Data Warehouse stammen und nicht aus einer veralteten Excel-Datei. Er sieht auch sofort, ob bestimmte Spalten als sensibel, zum Beispiel als personenbezogene Daten, klassifiziert sind und kann entsprechende Maßnahmen ergreifen. Ein weiteres Beispiel: Ein Data Engineer, der eine neue Datenpipeline in Data Factory baut, kann die Auswirkungen seiner Änderungen auf nachgelagerte Systeme analysieren, bevor er die Pipeline in Produktion nimmt. Das verhindert unangenehme Überraschungen und stellt die Datenqualität sicher. Ein weiterer entscheidender Vorteil ist die Integration mit Microsoft Information Protection (MIP). Sensitivitätskennzeichnungen, die in Purview definiert werden, können automatisch auf Daten in Fabric angewendet werden. So kann beispielsweise sichergestellt werden, dass Daten, die als streng vertraulich klassifiziert sind, automatisch verschlüsselt und der Zugriff darauf streng kontrolliert wird. Somit hast du einen weiteren Security Layer in Fabric implementiert!
Diese Transparenz und Kontrolle direkt am Ort des Geschehens – also in Fabric – ist ein unschätzbarer Vorteil. Du profitierst von der Einfachheit und Leistungsfähigkeit von Fabric für die Datenverarbeitung und -analyse und gleichzeitig von der umfassenden Kontrolle und Übersicht von Purview für die Data Governance. So schaffst du eine zukunftssichere Datenlandschaft, die nicht nur leistungsstark, sondern auch sicher, konform und vertrauenswürdig ist. Das ist die Grundlage für ein erfolgreiches datengetriebenes Unternehmen. Zusätzlich hast du die Auflagen des EU AI Act direkt mit abgefrühstückt und kannst entspannt sogar eigene KIs entwickeln.
Erste Schritte in die Welt von Fabric und Purview
Der Einstieg in die Welt von Fabric und Purview mag auf den ersten Blick überwältigend erscheinen. Ein bewährter Ansatz ist es, klein anzufangen. Starte mit einem Pilotprojekt, das einen konkreten, überschaubaren Anwendungsfall adressiert. Das könnte zum Beispiel die Analyse von Verkaufsdaten aus einem bestimmten Bereich sein. So kannst du erste Erfahrungen sammeln und den Mehrwert schnell unter Beweis stellen. Microsoft bietet dir umfangreiche Dokumentationen und Lernpfade. Für einen leichten Einstieg in Fabric empfehle ich dir meine Kurse bei der heise academy.
Fazit
Die Kombination von Microsoft Fabric und Microsoft Purview ist mehr als nur die Summe ihrer Teile. Sie ist ein entscheidender Schritt in Richtung einer ganzheitlichen, intelligenten und gut verwalteten Datenplattform. Unternehmen, die diesen Weg einschlagen, sind nicht nur in der Lage, ihre Daten effizienter zu nutzen, sondern auch, Innovationen voranzutreiben und sich einen entscheidenden Wettbewerbsvorteil zu sichern. Damit bist du bestens gerüstet, um die Herausforderungen der Zukunft zu meistern und den vollen Wert aus deinen Daten zu schöpfen.
Der Videokurs zum Blogbeitrag
Dieser Fachbeitrag erweitert eine Videokurs-Serie über Microsoft Fabric, in der Emil Vinčazović das Tool und dessen Einsatzmöglichkeiten praxisorientiert vorstellt.
Nach einem Einblick in die All-in-One-Lösung zur Datenanalyse von Microsoft führt Data-Science-Experte Emil Vinčazović dich durch Data Factory, Synapse Data Enginieering, Synapase Data Warehouse, Synapse Data Science, Synapse Real-Time Intelligence und Power BI.
Diese Beiträge könnten dich auch interessieren:
Der Beitrag Etwas weniger magisch, aber leichter zu lernen erschien zuerst auf heise academy Blog.
]]>Der Beitrag Frameworks – braucht’s die eigentlich noch? erschien zuerst auf heise academy Blog.
]]>Frameworks – braucht’s die eigentlich noch?
Von Brennpunkten in der IT-Landschaft und neuen Interpretationen alter Probleme
Von: Katja Potensky
Ich bin zwar nicht bekannt dafür, aus der Bibel zu zitieren, aber hin und wieder passt eine Passage einfach:
Es gibt nichts neues unter der Sonne. – Prediger 1,9
Daran fühlte ich mich letzte Woche erinnert bei einer Diskussion zur Frage, ob es Frameworks noch brauche. Du kannst dir sicher vorstellen, wie lebhaft solch ein Diskurs geführt wird. In den folgenden Absätzen möchte ich die verschiedenen Blickwinkel sowie meine Two Cents zum Thema Frameworks mit euch teilen.
Was ist überhaupt ein Framework?
Ein Framework ist eine Sammlung von Software mit einer zugehörigen Sammlung an Kompromissen. – Peter Kröner
Diese Definition kam zu Beginn der angesprochenen Diskussion auf und ich halte sie für die erste sinnvolle überhaupt. Denn sie deutet bereits darauf hin, dass wir es hier nicht mit einer rein technischen Fragestellung zu tun haben. Dennoch möchte ich den technischen Blickwinkel als Ausgangspunkt wählen.
Worin liegt der technische Bedarf?
Gibt es einen technischen Bedarf für C oder Java? Warum programmieren wir nicht alle einfach Assembler? Der Bedarf richtet sich nicht nur nach den Zielen, sondern auch nach den Aufwänden. Man wollte irgendwann nicht mehr in Assembler programmieren, also haben schlaue Menschen begonnen, die typischen Aufgaben zu abstrahieren und irgendwann kam unter anderem C dabei raus. Später hat sich herausgestellt, dass man auch in C viele wiederkehrende Aufgaben lösen musste, also hat sich über ein paar Umwege Java ergeben. Du siehst also, das Ganze ist ein iterativer Prozess.
Auf solchem Wege wurde auch die Aufgabe, ein buntes Kästchen im Browser zu bauen, in das man etwas reintippen kann, immer mehr abstrahiert. Diese Abstraktionen wurden zu den Frameworks, die wir heute kennen. Mittlerweile sind wiederum viele bis alle typischen Aufgaben zum Erstellen einer BLOBA (Boring Line-of-Business Application), bei denen ein Framework in den letzten zehn Jahren geholfen hat, durch Erweiterungen der Webstandards ohne größere oder sogar mit weniger Problemen umsetzbar.
Ich rate hier dringend dazu, auf MDN die Liste der HTML-Elemente alle paar Jahre durchzugehen, genauso wie die Liste der Web-APIs. Dialoge, Dropdowns oder auch die meisten Validierungen sollte man im Jahr 2024 wirklich nicht mehr mit einer teuren Component Library umsetzen.
Auch wenn es um das Thema Bundling und CI/CD geht, lohnt sich ein Blick über den Tellerrand. Gerade hier führt der Einsatz schwergewichtiger Lösungen gerne zu unvorhergesehenen Problemen.
Tipp: „Code is a liability, not an asset“ gilt auch für jenen Code, den wir nicht selbst schreiben. Wenn sich Abhängigkeiten ungünstig verhalten, ist meistens das einzige, was wir heutzutage tun können, einen Bug Report zu erstellen und die Ohren steif zu halten. Oder hast du schon mal probiert, eine geforkte Version von Angular auszurollen? ;)
Aber gut, dieses Argument schaut auf die bisherigen Umstände. Was ist, wenn wir in die Zukunft blicken?
Der Blick nach vorne
Gehen wir rein theoretisch davon aus, dass Angular, React, Vue etc. ihre Repositories und Packages löschen und wir alle unsere BLOBAs mit HTML und gezielt eingesetztem Javascript bauen.
Einer der Trends unserer Zeit ist ganz klar KI, man kann heutzutage im Browser mittels WebGPU Zugriff auf die GPU erlangen. Jetzt wäre es nicht allzu weit hergeholt, dass für diverse Use-Cases auf vielen Websites Chatbots implementiert werden sollen. Und zwar auf so vielen, dass es sich zur Vereinfachung des Anwendungsfalls auszahlt, Libraries darum herum zu schreiben. Vielleicht kommen auch Bezahlmöglichkeiten mittels Payment Request API dazu und ein paar andere Dinge, die so typisch werden, dass wir wiederum eine Reihe von Libraries unter der Annahme von gewissen Kompromissen auf eine spezifische Art und Weise verbinden, die wir gut finden… und prompt haben wir unser nächstes Framework geschaffen.
Wir können also davon ausgehen, dass es immer (neue) Frameworks geben wird. Denn so wunderbar die Webstandards sind, sie können und sollen eben nicht meinungsgetrieben sein. Selbst die Gamepad API existiert, weil es ausreichend Bedarf dafür gab und nicht umgekehrt. Neue Bedürfnisse sollten nicht durch Webstandards verprobt werden, sondern durch Libraries und Frameworks. Aber wer würde solche neuen Frameworks wohl verwenden?
„Apes together strong“
Wie viele Frameworks, die uns geholfen haben Formulare und Seitennavigationen zu bauen, gibt es wohl?
2011 habe ich einige JS-Files geschrieben, die mittels beliebiger Attribute an HTML-Elementen diese Elemente um eine beliebige Funktionalität erweitern können. Das weiß kaum jemand, da ich diese Idee zum einen nicht verbreitet habe. Zum anderen wurde ich ein paar Wochen später mit AngularJS konfrontiert und dachte mir: „Hey, die Idee hatte schon jemand.“ Also habe ich meinen eigenen Code verworfen und stattdessen AngularJS eingesetzt, weil es zum damaligen Zeitpunkt genau das tat, was ich zum damaligen Zeitpunkt brauchte. Es gibt Ideen, um die Menschen sich versammeln, und das hat gleich mehrere Auswirkungen.
Brennpunkte
Egal ob man diesen Ansatz gut findet oder nicht, egal ob man React oder Angular mag – durch die Existenz von Frameworks bilden sich gewissermaßen Brennpunkte in der IT-Landschaft. Orte, an denen Menschen zusammen kommen, ihre Ideen einbringen und Richtlinien rund um die vermeintlich korrekte (idiomatische) Verwendung der jeweiligen Lösung erarbeiten.
Diese Richtlinien mögen uns gefallen oder nicht, sie ermöglichen einen effizienteren Austausch in Projekten und ein schnelleres Onboarding von neuen Personen. Durch die kontinuierliche Anwendung dieser Richtlinien werden sie innerhalb gewisser Grenzen laufend verbessert. Aber was, wenn man an diese Grenzen stößt und sich nicht damit abfinden will?
Dissonanz
Zu Deutsch: Unstimmigkeit, Missklang. Stell dir vor, du kannst nicht damit leben, dass AngularJS die Änderungen an Objekten periodisch und recht teuer auf den Bildschirm bringt. Ganz egal, wie viel optimiert wird, hier ist das grundlegende Konzept das Problem und irgendwann stößt man an die Grenzen des technisch Möglichen.
Wenn das ein Knockout-Kriterium ist, muss man besagten Brennpunkt verlassen, zurück ans Zeichenbrett und von Null auf neue Wege gehen. Das mag erst mal unglaublich schwer klingen, aber man hat einige gewaltige Vorteile dabei: Man weiß, was das Problem ist, wie man es nicht löst und was die Erwartungshaltungen sind.
Und nach ein paar Monaten Hin und Her, Recherche und Trial-and-Error hat man dann wahrscheinlich einen Weg, um den Anwendungsfall, an dem die vorige Idee gebrochen ist, besser umzusetzen. Um es mit den Worten von Soichiro Honda zu sagen:
„Racing improves the breed.“
Die Frage ist dann eher, ob das, was wir jetzt besser machen können, die Verbesserung überhaupt verdient hat.
Ein alter Hut?
Sind Frameworks also bloß immer neue Interpretationen von ewig alten Problemen? Nun, irgendwie schon, aber irgendwie auch nicht. Mir fällt hierzu eine Anekdote ein. Ich fand Liebeslieder immer kitschig und sinnlos, bis ich mal einen Musiker bei einer Show sagen hörte: „Natürlich wurden die Worte ‚I love you‘ schon tausende Male vertextet, natürlich ist jedes Liebeslied irgendwie gleich. Aber vielleicht, nur vielleicht, wurde es ja noch nicht mit den selben Gefühlen gesungen, die du dabei spürst. Und selbst wenn, warum sollte dich das davon abhalten, ‚I love you‘ zu sagen?“
Vielleicht können wir darüber hinweg sehen, welches Framework technisch besonders ausgefeilt ist, und einfach das verwenden, das am besten zur aktuellen Situation passt. Und wenn die aktuelle Situation bloß erfordert, eine Reihe von Formularen zu erstellen, könnte man ‚I love you‘ mal ganz ohne jegliche Schnörkel sagen. Denn der größte Brennpunkt in der IT-Landschaft sind immer noch die Webstandards.
Über die Autorin: Katja Potensky
Katja ist Software Engineer bei adesso und seit 2012 in einem professionellen Setting tätig. Sie lässt sich nicht auf einzelne Aspekte eines Systems limitieren, und hat von daher schon eine Vielzahl an Projekten in unterschiedlichsten Rollen und Teamgrößen umgesetzt. Aus der Arbeit mit unterschiedlichsten Webtechnologien hat sich ein fundierter Anspruch an Codequalität und korrektes Programmverhalten entwickelt den sie auch weitergeben möchte. Sie brennt für Code der leicht zu lesen ist und nicht bedingt die halbe Codebase im Kopf zu behalten um zu verstehen was “da gerade passiert”.
