SSIS Data Quality @ PASS

June 14, 2010 13:16 by till

datenfabrik_End In den letzten Wochen habe ich meinen Vortrag “Datenqualität mit den SQL Server Integration Services” in verschiedenen PASS Regionalgruppen gehalten. An dieser Stelle auch mal ein kleiner Dank an die Regionalgruppen für die Einladungen. In dem Vortrag wurde kurz erklärt was Datenqualität bedeutet, welche Auswirkungen diese hat und natürlich wie man für eine gute Datenqualität mittels SSIS sorgen kann.

Hier ist der Abstract zu meinem Vortrag:

“Bei immer mehr Data Warehouse Projekten nimmt die Datenqualität einen großen Anteil am zeitlichen wie auch finanziellen Projektbudget ein. Speziell bei der Übernahme der Daten aus den Quellsystemen lassen sich jedoch Vorkehrungen treffen nur „saubere“ Daten zu Übernehmen oder die Daten direkt zu bereinigen. Was liegt da näher als das Thema einmal mit den Integration Services zu betrachten.

Der Vortrag liefert einen kurzen allgemeinen Überblick über das Thema Datenqualität: Was ist Datenqualität, wie „entstehen“ schlechte Daten und welche Auswirkungen haben diese.
Primär werden wir uns einigen Komponenten der Integration Services widmen, um zu zeigen welche Möglichkeiten die SSIS von Haus aus liefern und welche Möglichkeiten mit Community Komponenten und Third-Party Komponenten bestehen.”

Da meine kleine “Tour” nun beendet ist, stell ich den Vortrag und die Demos hier jetzt komplett zur Verfügung.

Und hier noch ein paar Links zu den Komponenten die ich in meinem Vortrag kurz vorstelle:

 

 

dq_comp


Veranstaltungstipps

May 27, 2010 02:41 by till

PASS Regionalgruppe Köln/Bonn/Düsseldorf

Am 17.06.2010 unser nächstes Treffen der Regionalgruppe bei Microsoft in Köln statt.

Deployment von Microsoft BI Projekten”, Thomas Strehlow

Die Entwicklung von BI Lösungen mit Microsoft ist komplex. Das BI Developmen Studio integriert unterschiedlichste Entwicklungs-umgebungen und unterstützt umfassend. Das Deployment im Rahmen der Entwicklung ist sehr schön integriert. Im Umfeld einer Team-entwicklung mit Abnahme und Integrationssystem sind die Anforderungen allerdings höher. Hier liegen die Mindestanforderungen bei einer dokumentierten und archivierbaren Version. Ferner wird eine Installation durch den IT Betrieb gefordert, fern ab vom BIDS. Im Rahmen des Vortrages werden die allgemeinen Anforderungen aufgeführt und mit praxiserprobten Beispielen umgesetzt. Tools wie SVN, MSBuild oder MSI kommen zum Einsatz. Alle Lösungen sind frei nutzbar und erfordern lediglich den organisatorischen Einsatz.

Kaum bekannte Stored Procedures, computed columns”, Christoph Muthmann

Im ersten Teil des Vortrags werden kaum bekannte Stored Procedures vorgestellt, die eigentlich jeder DBA kennen sollte. Danach folgt ein Einstieg in die Verwendung von berechneten Spalten. Es wird eine Möglichkeit zur Performance-Steigerung bei ungünstigen Abfragen demonstriert. Dieser Vortrag wird durch ein kleines SQL-Quiz abgerundet, bei dem es verschiedene Mitbringsel von der European PASS Conference und dem SQL Server 2008 R2 Launch zu gewinnen gibt.

Nähere Informationen zu dem Treffen sind auf der Seite unserer Regionalgruppe zu finden:

http://www.sqlpass.de/Regionalgruppen/KölnBonnDüsseldorf/tabid/81/Default.aspx

 

Meet the experts - "SQL Server Reise" mit Brent Ozar

Am 22.06.2010 kommt Brent Ozar zu Quest nach Köln. Brent Ozar ist SQL Server MVP, MCM und bekannter Sprecher und Blogger, der sich auch mal anderen Themen widmet.

Unter dem Motto "SQL Server Reise" mit Brent Ozar hält er Fachvorträge zu den Themen Performance, Development und Virtualization und bietet die Möglichkeit, von seinem Know-How zu profieren und sich mit ihm auszutauschen.

Weitere Informationen zu der Veranstaltung von Quest sind hier zu finden:

http://www.quest.com/events/ListDetails.aspx?ContentID=11498

 

PASS Regionalgruppe Karlsruhe

Zu guter letzt möchte ich noch auf einen weiteren Termin meines Vortrag “Datenqualität mit den SQL Server Integration Services” hinweisen. Nachdem ich den Vortrag bereits in unsere Regionalgruppe sowie in den Regionalgruppen Nürnberg und Rhein/Main halten durfte, reise ich diesmal nach Karlsruhe.

Datenqualität mit den SQL Server Integration Services”, Tillmann Eitelberg

Bei immer mehr Data Warehouse Projekten nimmt die Datenqualität einen großen Anteil am zeitlichen wie auch finanziellen Projektbudget ein. Speziell bei der Übernahme der Daten aus den Quellsystemen lassen sich jedoch Vorkehrungen treffen nur „saubere“ Daten zu Übernehmen oder die Daten direkt zu bereinigen. Was liegt da näher als das Thema einmal mit den Integration Services zu betrachten.

Der Vortrag liefert einen kurzen allgemeinen Überblick über das Thema Datenqualität: Was ist Datenqualität, wie „entstehen“ schlechte Daten und welche Auswirkungen haben diese.

Primär werden wir uns einigen Komponenten der Integration Services widmen, um zu zeigen welche Möglichkeiten die SSIS von Haus aus liefern und welche Möglichkeiten mit Community Komponenten und Third-Party Komponenten bestehen.

Nähere Informationen zu dem Thema sind auf der Seite der Regionalgruppe Karlsruhe zu finden:

http://www.sqlpass.de/Regionalgruppen/Karlsruhe/tabid/80/Default.aspx


PASS Treffen – Franken – Köln/Bonn/Düsseldorf

April 12, 2010 05:27 by till

image[1] Diesmal möchte ich gleich auf 2 PASS Treffen hinweisen. Zum einen auf das der Regionalgruppe Franken, die mich als Sprecher eingeladen hat und zum anderen natürlich auf das der Regionalgruppe Köln/Bonn/Düsseldorf.


Regionalgruppe Franken

Die Regionalgruppe Franken trifft sich am Dienstag den 13.04.2010 um 18:00 Uhr in Nürnberg bei der Firma New Elements. Nach dem Vortrag veranstaltet die Regionalgrupp immer einen sogenannten “Apres-PASS” beim Italiener.

Das Thema meines Vortrages ist “Datenqualität mit den SQL Server Integration Services”. Der Vortrag liefert einen kurzen allgemeinen Überblick über das Thema Datenqualität: Was ist Datenqualität, wie „entstehen“ schlechte Daten und welche Auswirkungen haben diese.
Primär werden wir uns einigen Komponenten der Integration Services widmen, um zu zeigen welche Möglichkeiten die SSIS von Haus aus liefern und welche Möglichkeiten mit Community Komponenten und Third-Party Komponenten bestehen.

Auch die Regionalgruppe Franken bitte um kurze vorherige Anmeldung. Entweder in XING https://www.xing.com/events/481984  oder direkt an Klaus Oberdalhoff kobd@gmx.de. Weiterführende Informationen sind auf der Seite der Regionalgruppe Franken zu finden.

 

Regionalgruppe Köln/Bonn/Düsseldorf

Die Regionalgruppe Köln/Bonn/Düsseldorf bietet am Donnerstag den 15.04.2010 von 18:00 bis ca. 22:00 Uhr bei Microsoft wieder ein PASS Basic Treffen. Die PASS Basics Treffern werden 3-4 mal im Jahr von uns Veranstaltet und sollen primär Vorträge und Informationen für Ein- und Umsteiger liefern.

Folgende Themen sind geplant:


Common Table Expressions (CTE) anhand verschiedener Beispiele,  Datumsformat nach ISO 8601 und seine Fallstricke, Christoph Muthmann

Nach einem kurzen Blick auf die seit SQL Server 2005 verfügbaren Common Table Expressions (CTE) wollen wir anhand verschiedener Beispiele sehen, welche Möglichkeiten sie bieten. Zuerst versuchen wir uns an der Routenfindung in einem Graphen und stossen dabei an gewisse Schranken. Aber es gibt immer auch Alternativen zu CTEs. Hierbei werden wir Bekanntschaft mit Views, Cross Join und UNION machen und ein bisschen T-SQL Schleifen programmieren.Danach werfen wir einen kurzen Blick auf das Datumsformat nach ISO 8601 und seine Fallstricke .Abschliessend versuchen wir eine Kalenderspielerei über verschiedene Ansätze zu lösen. Hierbei werden Left Joins, CTE, eine OLAP-Funktion und eine "user defined function" betrachtet.

 

"Kessel Buntes", Olaf Pietsch

Bei diesem Titel darf man ruhig mit einer Mischung unterschiedlicher kleiner Themen rechnen, wie:
- Gemachte Erfahrungen beim Umstieg auf SQL Server 2008
- Wie können kleine CLR -Funktionen bei T-SQL Code dem Entwickler das "Leben" vereinfachen?
- Ein paar Erfahrungen aus SQL Server Anwendungen zu der Mailingfunktion bei SQL Server 2008.
- weiteres

Weitere Informationen zu dem Treffen findet ihr auf der Seite der Regionalgruppe Köln/Bonn/Düsseldorf.