Data Engineer

Develop, test, deploy, and support batch or near-real-time ETL/ELT pipelines using approved Azure services and engineering standards. 承認された Azure サービスとエンジニアリング標準を用いて、バッチまたは準リアルタイムの ETL/ELT パイプラインを開発、テスト、デプロイ、運用支援する。 Write clear, maintainable SQL and Python or Py. Spark code for data ingestion, transformation, validation, and delivery.

データの取り込み、変換、検証、提供のために、読みやすく保守可能な SQL および Python または Py. Spark コードを作成する。 Assist with source-to-target mapping, data modeling, metadata, cataloging, lineage, and technical documentation. Source-to-Target Mapping 、データモデリング、メタデータ、カタログ、リネージ、技術文書の作成を支援する。 Implement automated unit, integration, reconciliation, and data-quality checks, including handling schema changes, duplicates, late data, and failed records.

スキーマ変更、重複、遅延データ、異常レコードへの対応を含む、単体・結合・照合・データ品質テストの自動化を実装する。 Use Git and CI/CD practices to manage code, peer reviews, releases, and environment promotion in an auditable manner. Git と CI/CD のプラクティスを用い、コード、ピアレビュー、リリース、環境間昇格を監査可能な形で管理する。 Monitor pipeline health, data freshness, job duration, and failures; follow runbooks, investigate issues, and escalate promptly when needed.

パイプラインの稼働状況、データ鮮度、処理時間、失敗を監視し、 Runbook に従って調査し、必要に応じて速やかにエスカレーションする。 Participate in incident, problem, change, and release-management activities, including evidence collection and post-incident improvement actions. 証跡収集や障害後の改善を含む、インシデント、問題、変更、リリース管理の活動に参加する。 Apply least-privilege access, secure coding, secrets-management, privacy, retention, and regulatory controls for sensitive insurance data.

機微な保険データに対し、最小権限、セキュアコーディング、シークレット管理、プライバシー、保存、規制対応の統制を適用する。 Collaborate with business analysts, source-system owners, data consumers, and global or offshore team members to clarify requirements and deliver incremental value. ビジネスアナリスト、データソースの担当者、データ利用者、グローバル／オフショアのメンバーと協働し、要件を明確化して段階的に価値を提供する。