Descripción del trabajo
Como Data Engineer Senior, serás responsable de diseñar, implementar y mantener soluciones de datos inteligentes de extremo a extremo. Colaborarás estrechamente con equipos multifuncionales para mejorar la calidad, fiabilidad y escalabilidad de nuestras plataformas de datos en la nube.
Responsabilidades clave
* Diseñar e implementar soluciones de datos de extremo a extremo, asegurando la calidad, fiabilidad y escalabilidad de los datos.
* Optimizar plataformas de datos basadas en la nube (AWS), aprovechando las últimas características y servicios para mejorar el rendimiento y la eficiencia.
* Colaborar con equipos y partes interesadas para definir los requisitos de datos y desarrollar soluciones innovadoras basadas en datos.
* Gestionar el backlog del equipo y definir los siguientes pasos de desarrollo para optimizar los flujos de trabajo.
* Utilizar Docker y Jenkins para el despliegue de infraestructura y la automatización de procesos.
* Mejorar la escalabilidad, fiabilidad y rendimiento del código utilizando las mejores prácticas del sector.
* Liderar el diseño y la implementación de soluciones de integración de datos, como el replicador de sistemas heredados y la creación de APIs internas para mejorar la operativa.
Proyectos principales que desarrollamos
* Biblioteca Python centralizada con herramientas y funciones mejoradas utilizadas en todos los equipos.
* APIs en Python Flask para mejorar el rendimiento de los planes de mantenimiento de aviones.
* API de Web Scraping en Python para realizar búsquedas eficientes en mercados según listas de productos.
* Replicador de datos de sistemas heredados para optimizar la carga de datos y acelerar la ingesta en nuestro Data Lake.
Requisitos
* Experiencia de al menos 5 años como Data Engineer, con un enfoque en el diseño, implementación y optimización de soluciones de datos.
* Dominio de AWS y sus servicios (EMR, ECS, S3, RDS, Redshift, Glue, etc.).
* Experiencia con Big Data y Apache Spark (PySpark) para procesamiento masivo de datos.
* Experiencia en desarrollo con Python (Pandas, Flask, Boto3, SQLAlchemy) y SQL.
* Conocimientos avanzados de ETL/ELT, data modeling, data integration, y data warehousing.
* Familiaridad con Apache Airflow, Jenkins, Docker y Kubernetes para la gestión de pipelines y flujos de trabajo.
* Metodologías ágiles (Scrum) y trabajo colaborativo en equipos multidisciplinarios.
* Inglés avanzado tanto hablado como escrito.
Valoramos positivamente
* Conocimientos de Azure DevOps y Git.
* Experiencia trabajando en entornos de data lakes y con grandes volúmenes de datos.
* Capacidad de liderazgo y orientación a la mejora continua en soluciones de datos.
¿Qué te ofrecemos?
* Proyectos interesantes. Tecnologías de vanguardia. Metodologías ágiles.
* Felicidad y baja tasa de rotación.
* Presupuesto de formación de 1200€ anuales.
* Horarios de trabajo flexibles.
* Más de 900 profesionales cualificados, de más de 27 nacionalidades.
* Rutas profesionales a medida.
* Seguimientos mensuales. Evaluación continua 360º.
* Seguro médico privado.
* Programa de compensación flexible.
* Wellhub (Gympass).
* Comunidades tecnológicas.
* Muchos eventos increíbles.
El empleado se adherirá a las políticas de seguridad de la información:
* Tendrá acceso a información confidencial relacionada con Capitole y el proyecto en el que está trabajando.
* Deberá cumplir con las políticas de seguridad y las pautas internas de la empresa y del cliente.
* Se le requerirá firmar un NDA.