Ingénieur senior stockage et données
ETH ZürichIngénieur senior stockage et données
Le Centre national suisse de calcul scientifique (CSCS)
développe et exploite une infrastructure de calcul et de recherche de données haute performance qui soutient une science de classe mondiale en Suisse. Son laboratoire utilisateur est à la disposition des chercheurs nationaux et internationaux du monde universitaire, de l'industrie et du monde des affaires. Le centre est exploité par l'ETH Zurich et dispose de bureaux dans son centre de données de Lugano et de Zurich. Pour ce poste, le lieu de travail est soit Lugano, soit Zürich. Le contrat est d'une durée de deux ans. Contexte du projet
Stocker des pétaoctets est la partie la plus facile. Le plus difficile, c'est tout ce qui se passe entre le moment où les données arrivent sur le disque et le moment où un chercheur – ou un professionnel de la formation – peut réellement leur faire confiance, les trouver et les utiliser. Nos systèmes de fichiers parallèles et nos magasins d'objets déplacent déjà les données rapidement. Ce qu'ils ne font pas par eux-mêmes, c'est dire à un scientifique d'où vient un ensemble de données, quelles transformations l'ont produit, s'il s'agit de la version qui a soutenu le résultat publié du trimestre dernier, ou comment le transmettre à un DataLoader sans saturer le sous-système d'E/S. C’est dans cet écart – entre les octets bruts et les données utilisables, traçables et reproductibles – que réside ce rôle. Vous travaillerez aux deux extrémités : la couche de stockage (débit, intégrité, hiérarchisation à l'échelle de plusieurs pétaoctets) et la couche de données située au-dessus (lignée, provenance, découvrabilité, modèles d'accès). Si tu as déjà été ennuyé par ça
"les données sont sur le cluster"
est traité comme la fin du travail plutôt que comme son début, continuez à lire. Description du poste
•
Ingestion et utilisation du pont. Concevez les pipelines et les métadonnées qui transforment les données ingérées en éléments trouvables et consommables : des catalogues, des schémas et des couches d'accès qui correspondent à la façon dont les tâches de formation et les simulations sont réellement lues, et pas seulement à l'emplacement des octets. •
Rendre les données traçables. Créez une lignée et une provenance afin que tout ensemble de données, point de contrôle ou résultat puisse être retracé jusqu'à ses entrées et transformations. La reproductibilité est ici une exigence primordiale, pas une mise à niveau. •
Adaptez-vous à la charge de travail. Optimisez les systèmes de fichiers parallèles (Lustre, GPFS) et le stockage d'objets pour les modèles de concurrence, de petits fichiers et de points de contrôle volumineux de la formation GPU distribuée et de la simulation HPC. •
Opérez à grande échelle, en toute sécurité. Concevez et exécutez un stockage de plusieurs pétaoctets avec l'intégrité et la disponibilité dont dépendent les travaux scientifiques : codage d'effacement, redondance, hiérarchisation à chaud vers l'archivage. •
Automatisez tout. Déployez et faites évoluer les services de stockage et de données sous forme de code. L’infrastructure Snowflake ne survit pas à cette échelle. •
Rendez-le observable. L’état du stockage des instruments, les tendances en matière de capacité et les performances du pipeline afin que les problèmes apparaissent avant que les utilisateurs ne les ressentent. •
Traduire. Transformez les modèles d'accès réels des scientifiques du domaine et des ingénieurs ML en exigences techniques et repoussez-les lorsqu'une demande risquerait de perturber discrètement quelque chose en aval. Pour un projet dans le domaine météorologique et climatique, visant à comprendre et atténuer l'impact du changement climatique, une ouverture pour
deux ans
est disponible. Le contrat initial de deux ans pourrait potentiellement être prolongé, voire devenir permanent. Profil
•
Un diplôme technique (CS, ingénierie)
ou
expérience équivalente qui démontre la même profondeur. •
Base de stockage solide : systèmes de fichiers (bloc et objet), réglage des performances, redondance (RAID, codage d'effacement). •
Python et infrastructure d'automatisation confortable (Ansible, Terraform ou similaire). •
Une compréhension pratique de la manière dont le ML et les charges de travail scientifiques consomment des données (milliards de petits fichiers, points de contrôle volumineux, partitionnement) et des raisons pour lesquelles les mises en page naïves échouent. •
Un point de vue sur la traçabilité, la provenance ou la reproductibilité des données – et idéalement les outils que vous avez utilisés pour les appliquer. Qu'est-ce qui vous aide à vous démarquer
•
Systèmes de fichiers parallèles pratiques (Lustre, Spectrum Scale/GPFS) ou stockage distribué (Ceph, VAST). •
Formats de données scientifiques – HDF5, Zarr, Parquet – et avis sur le moment où chacun mérite sa place. •
Stockage objet (S3) interfacé avec les frameworks ML (PyTorch, TensorFlow). •
Outils d'orchestration (Kubernetes, Argo) et de déplacement de données. •
Versionnement / catalogage des données (par exemple DVC, LakeFS, un catalogue de métadonnées) et familiarité avec les principes de données FAIR. •
CI/CD et approvisionnement : GitLab CI, HashiCorp Vault, MAAS. Nous ne nous attendons pas à ce que toutes les cases soient cochées. Profondeur de stockage
ou
l'ingénierie des données, ainsi que la curiosité d'évoluer vers l'autre, comptent plus qu'une liste de contrôle complète. Ce que vous obtenez
•
Du matériel et de l'évolutivité que vous ne trouverez pas dans l'informatique d'entreprise, ainsi que des problèmes sans guide du fournisseur. •
Travaux qui permettent directement la publication de données scientifiques et la formation de modèles à l’échelle frontière. •
Espace pour façonner la façon dont les données sont
géré
, pas seulement entretenu, dans un environnement qui le prend au sérieux. Nos valeurs fondamentales comme principes directeurs :
•
Curiosité : Vous aimez apprendre et comprendre les systèmes en profondeur
•
Ouverture : Vous collaborez efficacement et valorisez différentes perspectives
•
Courage : Vous êtes prêt à résoudre des problèmes difficiles ou inconnus
•
Solidaire : Vous aidez vos collègues et utilisateurs à réussir
•
Intégrité : vous agissez de manière responsable, fiable et transparente
Nous offrons
Nous nous engageons à constituer une équipe d’ingénieurs diversifiée et inclusive et encourageons particulièrement les candidatures de groupes sous-représentés dans le secteur technologique. Si vous êtes techniquement compétent, curieux et désireux d’évoluer, nous souhaitons avoir de vos nouvelles. •
Votre travail à impact : faites partie de l'ETH Zurich, qui non seulement soutient votre développement professionnel, mais contribue également activement à un changement positif dans la société.
•
Vous pouvez vous attendre
de nombreux avantages
, comme les abonnements aux transports publics et le covoiturage, une large gamme de sports proposés par la
ASVZ
,
garde d'enfants
et attrayant
prestations de retraite
•
Vous pouvez vous attendre à un environnement de travail passionnant, à une diversité culturelle ainsi qu’à des offres et avantages attrayants. •
Nous apprécions la diversité de notre équipe et, pour renforcer davantage la diversité de nos effectifs, nous encourageons particulièrement les femmes à postuler. Travailler, enseigner et rechercher à l'ETH Zurich
Nous valorisons la diversité et la durabilité
Conformément à
nos valeurs
, l'ETH Zurich encourage une culture inclusive. Nous promouvons l’égalité des chances, valorisons la diversité et entretenons un environnement de travail et d’apprentissage dans lequel les droits et la dignité de tout notre personnel et de nos étudiants sont respectés. Visitez notre
Site Egalité des Chances et Diversité
pour découvrir comment nous garantissons un environnement juste et ouvert qui permet à chacun de grandir et de s'épanouir. La durabilité est une valeur fondamentale pour nous – nous travaillons constamment vers une
un avenir climatiquement neutre
. Curieux? Nous aussi. Veuillez inclure les documents suivants avec votre candidature :
•
Lettre de motivation en pdf
•
CV en pdf
•
Certificats et diplômes pertinents au format pdf
Nous attendons avec impatience de recevoir votre candidature en ligne, comprenant une lettre de motivation, un CV, des diplômes et des attestations de travail. Veuillez adresser votre candidature à Mme Stephanie Frequente, Ressources Humaines CSCS, Via Trevano 131, 6900 Lugano. Veuillez noter que nous acceptons exclusivement les candidatures soumises via notre portail de candidature en ligne. Les candidatures par courrier électronique ou par courrier postal ne seront pas prises en compte. De plus amples informations sur le CSCS peuvent être trouvées sur notre
site internet
. Les questions concernant le poste doivent être adressées à Pim Witlox, witlox@cscs.ch (pas de candidature). Pour les services de recrutement, le
CGV de l'ETH Zurich
appliquer. À propos de l’ETH Zurich
L'ETH Zurich est l'une des principales universités mondiales spécialisées dans
sciences et technologies. Nous sommes réputés pour notre excellente éducation,
recherche fondamentale de pointe et transfert direct de nouvelles connaissances
dans la société. Plus de 30 000 personnes provenant de plus de 120 pays trouvent notre
l'université soit un lieu qui favorise la pensée indépendante et une
un environnement qui inspire l’excellence. Situé au cœur de l'Europe,
tout en établissant des liens partout dans le monde, nous travaillons ensemble pour
développer des solutions aux défis mondiaux d’aujourd’hui et de demain.
