Data Engineer, Madrid
Empresa
WayOps
Provincia
Madrid
Ciudad
Madrid
Tipo de Contrato
Tiempo Completo
Descripción
Data Engineer
En WayOps buscamos un perfil Data Engineer que quiera desarrollar su carrera profesional formando parte de un equipo Data AI de primer nivel y trabajando en proyectos cloud con las últimas tecnologías.
CONTEXTO RESPONSABILIDADES
La persona seleccionada se incorporará dentro de nuestro equipo Data AI core, participando en múltiples proyectos de Analítica Avanzada para clientes nacionales e internacionales. Junto al Technical Lead y otros perfiles como Data Architects, Data Scientists o Data Visualizers, el Data Engineer deberá desarrollar código PySpark que permita la transformación de los datos siguiendo el paradigma medallion. Además, será responsable de la ingesta de datos, orquestación de procesos y garantizará la calidad del dato.
EXPERIENCIA CONOCIMIENTOS
El perfil a incorporar deberá contar con 3-4 años de experiencia como Ingeniero de Datos desarrollando pipelines de transformación de datos con tecnología PySpark, 1-2 años de experiencia en entornos Cloud preferentemente Azure y 1-2 años de experiencia en modelado de datos con herramientas como Lucidchart, orquestación de datos con herramientas como Data Factory y colaboración en el desarrollo de cuadros de mandos con herramientas como Power BI.
Se valorará experiencia previa en proyectos orientados a calidad del dato, así como experiencia en resolución y gestión de incidencias en entornos productivos, conocimientos y experiencia con CI/CD en Azure DevOps y conocimientos en Machine Learning,
Será necesario tener experiencia previa con tecnologías:
- Databricks (PySpark, Dataframes, Delta Tables, Unity Catalog, Databricks Connect)
- Azure (Data Factory, Databricks, Storage, SQL Databases)
- ETL (ER, Relational-model, Star-model, MDM)
- Azure DevOps (Boards)
- Analytics (PowerBI)
- Ecosistema Hadoop (HDFS, Map/Reduce, Spark, Hive)
- Herramientas (Visual Studio Code, Git)
Además se valorará positivamente contar con experiencia o conocimientos en:
- Azure (Event Hubs, IoTHub, CosmosDB, Application Insights)
- Azure DevOps (Pipelines, Repos, Test Plans, Artifacts)
- Machine Learning (sklearn, mllib, h2o, tensorflow, keras)
- Spark (GraphX GraphFrames, Structured Streaming, Scala, Optimización)
- Property Graphs (Neo4j+Cypher, Tinkerpop+Gremlin)
CONTRATACIÓN UBICACIÓN
La contratación será mediante contrato anual prorrogable como autónomo en jornada completa. El trabajo se desarrollará en remoto preferentemente dentro del horario de oficina del cliente para facilitar la coordinación con el resto del equipo. Banda salarial negociable en función de la experiencia aportada. Incorporación inmediata.
PySpark, azure, ETL,
En WayOps buscamos un perfil Data Engineer que quiera desarrollar su carrera profesional formando parte de un equipo Data AI de primer nivel y trabajando en proyectos cloud con las últimas tecnologías.
CONTEXTO RESPONSABILIDADES
La persona seleccionada se incorporará dentro de nuestro equipo Data AI core, participando en múltiples proyectos de Analítica Avanzada para clientes nacionales e internacionales. Junto al Technical Lead y otros perfiles como Data Architects, Data Scientists o Data Visualizers, el Data Engineer deberá desarrollar código PySpark que permita la transformación de los datos siguiendo el paradigma medallion. Además, será responsable de la ingesta de datos, orquestación de procesos y garantizará la calidad del dato.
EXPERIENCIA CONOCIMIENTOS
El perfil a incorporar deberá contar con 3-4 años de experiencia como Ingeniero de Datos desarrollando pipelines de transformación de datos con tecnología PySpark, 1-2 años de experiencia en entornos Cloud preferentemente Azure y 1-2 años de experiencia en modelado de datos con herramientas como Lucidchart, orquestación de datos con herramientas como Data Factory y colaboración en el desarrollo de cuadros de mandos con herramientas como Power BI.
Se valorará experiencia previa en proyectos orientados a calidad del dato, así como experiencia en resolución y gestión de incidencias en entornos productivos, conocimientos y experiencia con CI/CD en Azure DevOps y conocimientos en Machine Learning,
Será necesario tener experiencia previa con tecnologías:
- Databricks (PySpark, Dataframes, Delta Tables, Unity Catalog, Databricks Connect)
- Azure (Data Factory, Databricks, Storage, SQL Databases)
- ETL (ER, Relational-model, Star-model, MDM)
- Azure DevOps (Boards)
- Analytics (PowerBI)
- Ecosistema Hadoop (HDFS, Map/Reduce, Spark, Hive)
- Herramientas (Visual Studio Code, Git)
Además se valorará positivamente contar con experiencia o conocimientos en:
- Azure (Event Hubs, IoTHub, CosmosDB, Application Insights)
- Azure DevOps (Pipelines, Repos, Test Plans, Artifacts)
- Machine Learning (sklearn, mllib, h2o, tensorflow, keras)
- Spark (GraphX GraphFrames, Structured Streaming, Scala, Optimización)
- Property Graphs (Neo4j+Cypher, Tinkerpop+Gremlin)
CONTRATACIÓN UBICACIÓN
La contratación será mediante contrato anual prorrogable como autónomo en jornada completa. El trabajo se desarrollará en remoto preferentemente dentro del horario de oficina del cliente para facilitar la coordinación con el resto del equipo. Banda salarial negociable en función de la experiencia aportada. Incorporación inmediata.
PySpark, azure, ETL,