ETL Developer

Job Description

The Data Co. is seeking a skilled ETL Developer to join our team. The ideal candidate will have extensive experience in ETL pipeline development, data integration, and cloud-based data processing.

This role involves designing, building, and optimizing data workflows that extract, transform, and load data from multiple sources into our Google Cloud-based data warehouse. You will work closely with The Data Co.'s development team and founders to ensure accurate, secure, and efficient data processing for business intelligence and analytics.

Key Responsibilities

• Design and Build ETL Pipelines: Develop scalable, cloud-native ETL pipelines to extract data from multiple EMR, CRM, financial, and operational sources. Build reliable processes to extract, transform, and load data into The Data Co.'s centralized data warehouse while minimizing delays, errors, and resource consumption.
• Develop Data Integrations: Build integrations to authenticate, extract, and process data from EMR systems, financial platforms, APIs, databases, and third-party services. Work with structured and semi-structured data formats (JSON, XML, CSV, etc.).
• Optimize Data Workflows: Continuously monitor, tune, and optimize data flows to improve performance, minimize latency, and reduce resource consumption. Implement incremental data loading techniques to handle large datasets efficiently.
• Data Quality and Governance: Ensure data accuracy, completeness, consistency, and integrity across all stages of the pipeline. Implement and maintain data validation, logging, and error-handling mechanisms. Support compliance with HIPAA and other data privacy regulations.
• Troubleshooting and Debugging: Diagnose and resolve data pipeline issues in production environments in a timely manner. Implement monitoring and alerting for ETL workflows to proactively detect failures.
• Documentation: Maintain comprehensive documentation for ETL processes, data models, pipeline architecture, and troubleshooting.
• Automation & Efficiency: Automate data workflows and scheduling using tools such as Apache Airflow, Cloud Composer, or equivalent. Reduce manual intervention by implementing self-healing ETL processes.
• Collaboration: Work closely with the development team to align ETL processes with software and infrastructure requirements. Coordinate with business stakeholders to understand and implement data needs for analytics and reporting.

Preferred Skills & Experience

• ETL Development: Strong experience designing and optimizing ETL pipelines.
• Backend Development: Proficiency in TypeScript and Node.js.
• Data Integration: Experience integrating with external systems via APIs, S3, or SFTP; bonus if you've worked with EMRs or financial data platforms.
• Database & Performance: Strong knowledge of data modeling, schema design, and optimizing data warehouses.
• Security & Compliance: Familiarity with data governance, security best practices, and regulatory compliance (HIPAA preferred).
• Cloud & Frontend Exposure (Nice to Have): Experience with cloud-based infrastructure, serverless computing, or modern frontend frameworks.

Location

While we are open to remote work, we prefer candidates based in Canada, with a strong preference for those in Montreal.

Salary

Competitive salary based on experience and qualifications, plus benefits and performance incentives.

Benefits

• Group insurance
• Paid time off and holidays

Description de l'emploi

The Data Co. est à la recherche d'un développeur ETL qualifié pour se joindre à notre équipe. Le candidat idéal aura une vaste expérience dans le développement de pipelines ETL, l'intégration de données et le traitement de données basé sur le cloud.

Ce rôle implique la conception, la création et l'optimisation de flux de travail de données qui extraient, transforment et chargent des données provenant de plusieurs sources dans notre entrepôt de données basé sur Google Cloud. Vous travaillerez en étroite collaboration avec l'équipe de développement et les fondateurs de The Data Co. pour assurer un traitement des données précis, sécurisé et efficace pour la veille économique et l'analyse.

Responsabilités principales

• Concevoir et construire des pipelines ETL: Développez des pipelines ETL évolutifs et natifs du nuage pour extraire des données de plusieurs sources EMR, CRM, financières et opérationnelles. Créez des processus fiables pour extraire, transformer et charger des données dans l'entrepôt de données centralisé de The Data Co. tout en minimisant les retards, les erreurs et la consommation de ressources.
• Développer des intégrations de données: Créez des intégrations pour authentifier, extraire et traiter les données des systèmes EMR, des plateformes financières, des API, des bases de données et des services tiers. Travaillez avec des formats de données structurés et semi-structurés (JSON, XML, CSV, etc.).
• Optimiser les flux de données: Surveillez, ajustez et optimisez continuellement les flux de données pour améliorer les performances, minimiser la latence et réduire la consommation de ressources. Mettre en œuvre des techniques de chargement de données incrémentielles pour gérer efficacement de grands ensembles de données.
• Qualité et gouvernance des données: Assurez l'exactitude, l'exhaustivité, la cohérence et l'intégrité des données à toutes les étapes du pipeline. Mettre en œuvre et maintenir des mécanismes de validation des données, de journalisation et de gestion des erreurs. Soutenir la conformité à la loi HIPAA et à d'autres règlements sur la confidentialité des données.
• Dépannage et débogage: Diagnostiquer et résoudre les problèmes de pipeline de données dans les environnements de production en temps opportun. Mettre en œuvre la surveillance et les alertes pour les flux de travail ETL afin de détecter proactivement les pannes.
• Documentation: Maintenir une documentation complète pour les processus ETL, les modèles de données, l'architecture du pipeline et le dépannage.
• Automatisation et efficacité: Automatisez les flux de données et la planification à l'aide d'outils tels qu'Apache Airflow, Cloud Composer ou équivalent. Réduisez les interventions manuelles en mettant en œuvre des processus ETL auto-réparateurs.
• Collaboration: Travaillez en étroite collaboration avec l'équipe de développement pour aligner les processus ETL sur les exigences logicielles et d'infrastructure. Coordonner avec les intervenants de l'entreprise pour comprendre et mettre en œuvre les besoins en données pour l'analyse et le reporting.

Compétences et expérience préférées

• Développement ETL: Forte expérience dans la conception et l'optimisation de pipelines ETL.
• Maîtrise du développement backend en TypeScript et Node.js.
• Expérience d'intégration de données avec des systèmes externes via des API, S3 ou SFTP; bonus si vous avez travaillé avec des DME ou des plateformes de données financières.
• Base de données et performances: Solides connaissances en modélisation de données, conception de schémas et optimisation des entrepôts de données.
• Sécurité et conformité: Familiarité avec la gouvernance des données, les meilleures pratiques de sécurité et la conformité réglementaire (HIPAA de préférence).
• Expérience dans le nuage et le frontend (un atout): Expérience avec une infrastructure infonuagique, l'informatique sans serveur ou des cadres frontend modernes.

Emplacement

Bien que nous soyons ouverts au travail à distance, nous privilégions les candidats basés au Canada, avec une forte préférence pour ceux de Montréal.

Salaire

Salaire concurrentiel basé sur l'expérience et les qualifications, plus avantages sociaux et primes de performance.

Avantages

• Assurance collective
• Congés payés et jours fériés