Como Data Engineer Senior, serás responsable de diseñar, implementar y mantener soluciones de datos inteligentes de extremo a extremo. Colaborarás estrechamente con equipos multifuncionales para mejorar la calidad, fiabilidad y escalabilidad de nuestras plataformas de datos en la nube. Entre tus principales responsabilidades, se incluyen:Diseñar e implementar soluciones de datos de extremo a extremo, asegurando la calidad, fiabilidad y escalabilidad de los datos.Optimizar plataformas de datos basadas en la nube (AWS), aprovechando las últimas características y servicios para mejorar el rendimiento y la eficiencia.Colaborar con equipos y partes interesadas para definir los requisitos de datos y desarrollar soluciones innovadoras basadas en datos.Gestionar el backlog del equipo y definir los siguientes pasos de desarrollo para optimizar los flujos de trabajo.Utilizar Docker y Jenkins para el despliegue de infraestructura y la automatización de procesos.Mejorar la escalabilidad, fiabilidad y rendimiento del código utilizando las mejores prácticas del sector.Liderar el diseño y la implementación de soluciones de integración de datos, como el replicador de sistemas heredados y la creación de APIs internas para mejorar la operativa.Proyectos principales que desarrollamos:Biblioteca Python centralizada con herramientas y funciones mejoradas utilizadas en todos los equipos.APIs en Python Flask para mejorar el rendimiento de los planes de mantenimiento de aviones.API de Web Scraping en Python para realizar búsquedas eficientes en mercados según listas de productos.Replicador de datos de sistemas heredados para optimizar la carga de datos y acelerar la ingesta en nuestro Data Lake.Requisitos:Experiencia de al menos 5 años como Data Engineer, con un enfoque en el diseño, implementación y optimización de soluciones de datos.Dominio de AWS y sus servicios (EMR, ECS, S3, RDS, Redshift, Glue, etc.).Experiencia con Big Data y Apache Spark (PySpark) para procesamiento masivo de datos.Experiencia en desarrollo con Python (Pandas, Flask, Boto3, SQLAlchemy) y SQL.Conocimientos avanzados de ETL/ELT, data modeling, data integration, y data warehousing.Familiaridad con Apache Airflow, Jenkins, Docker y Kubernetes para la gestión de pipelines y flujos de trabajo.Metodologías ágiles (Scrum) y trabajo colaborativo en equipos multidisciplinarios.Inglés avanzado tanto hablado como escrito.Valoramos positivamente:Conocimientos de Azure DevOps y Git.Experiencia trabajando en entornos de data lakes y con grandes volúmenes de datos.Capacidad de liderazgo y orientación a la mejora continua en soluciones de datos. Qué te ofrecemos?Si te apasiona la ingeniería de datos y estás listo para enfrentar desafíos en un entorno tecnológico avanzado, esperamos conocerte!Somos geniales, pero contigo seremos aún mejores.Para esto tendrás: Proyectos interesantes. Tecnologías de vanguardia. Metodologías ágiles. Felicidad y baja tasa de rotación. Presupuesto de formación de 1200€ anuales. Horarios de trabajo flexibles. Más de 900 profesionales cualificados, de más de 27 nacionalidades. Rutas profesionales a medida. Seguimientos mensuales. Evaluación continua 360º. Seguro médico privado. Programa de compensación flexible. Wellhub (Gympass). Comunidades tecnológicas. Muchos eventos increíbles. Aún no nos conoces? Descúbrenos! Mira lo que piensan de nosotros El empleado se adherirá a las políticas de seguridad de la información:Tendrá acceso a información confidencial relacionada con Capitole y el proyecto en el que está trabajando.Deberá cumplir con las políticas de seguridad y las pautas internas de la empresa y del cliente.Se le requerirá firmar un NDA.