Wir haben über 20 Daten integrations pipelines für unseren Kunden in der AWS-Cloud entwickelt, unter Verwendung der folgenden Technologien:

‍
- AWS CDK für Infrastructure as Code (Infrastruktur als Code)

- AWS Lambda-Funktionen für die Datenübernahme (Ingestion)

- AWS Glue und Scala für Spark-Jobs und Datenverarbeitung

- AWS CloudWatch für Metriken und Alarme

- AWS S3 für die Datenspeicherung

- AWS Athena für Datenabfragen

- Gitlab für CI CD Automation

‍

Das Data Lake hat über 60 TB an Daten.

‍