Étude MIT Technology Review Insights : Snowflake
souligne le rôle clé des data engineers dans la performance des entreprises à
l’ère de l’IA.
Le Data Cloud AI Snowflake annonce la publication d’une nouvelle étude réalisée en partenariat avec le MIT Technology Review Insights. Celle-ci met en lumière l’importance croissante des data engineers dans la réussite des entreprises à l’ère de l’intelligence artificielle.
D’après l’étude, la montée en puissance de l’IA a
conduit 72% des responsables technologiques à estimer que les data engineers
sont essentiels à la réussite de leur entreprise. Un chiffre qui atteint 86%
dans les organisations réalisant plus de 10 milliards de dollars de chiffre
d’affaires.
Selon l’étude, la
fonction initiale des data engineers a évolué vers un rôle beaucoup plus large,
démontrant que leur mission s’est considérablement agrandie : les outils d’IA
les placent aujourd’hui au cœur des décisions stratégiques. Les outils d’IA incitent
ces derniers à adopter un rôle plus stratégique et influent au sein de leur
entreprise : 81% des répondants constatent que la description du poste de data
engineer a évolué avec l’essor de l’IA. Depuis 2023, la part moyenne du temps
consacré par les data engineers aux projets d’IA est passée de 19 à 37% et
devrait atteindre 61% d’ici 2027, selon les dirigeants interrogés.
« Les dirigeants
prennent rapidement conscience que s’ils n’utilisent pas les données dans leurs
décisions, ils risquent de se retrouver à la traîne de leurs concurrents, déclare Chris Child,
Vice President of Product Data Engineering chez Snowflake. Cela a placé les
data engineers au cœur de la stratégie, ces derniers devenant de plus en plus
des partenaires essentiels pour définir la stratégie et optimiser les résultats
business. »
À mesure que leur
influence sur la prise de décision grandit, le rôle des data engineers
s’oriente davantage vers l’architecture et la conception, une tendance appelée
à se poursuivre avec l’accélération de l’adoption de l’IA. 74% des répondants
déclarent qu’au cours des deux dernières années, le nombre de projets et de
nouveaux codes générés a augmenté. Parallèlement, 77% des répondants
reconnaissent que l’IA accroît la charge de travail des data engineers,
notamment en matière de gestion des données non structurées et des flux en
temps réel.
Dans le cadre de cette
étude identifie trois axes de développement pour les data engineers :
• Devenir expert en IA : les data engineers
doivent comprendre le fonctionnement des modèles d’IA existants et émergents,
en particulier les LLM, ainsi que la manière dont ils ingèrent, traitent et
vérifient les données. Les organisations devraient favoriser la formation de
leurs data engineers sur des sujets tels que les frameworks de machine
learning, le deep learning, le feature engineering et l’évaluation des modèles.
• Comprendre le métier : les data engineers
doivent bien saisir les objectifs business clés pour créer de la valeur. Ils
doivent dialoguer avec les différentes équipes métiers afin de mieux comprendre
leurs besoins et les données nécessaires. Les responsables technologiques peuvent
favoriser cela en créant des équipes transverses, où les data engineers sont
temporairement intégrés auprès des responsables produits et autres parties
prenantes des cas d’usage IA.
• Développer de solides compétences en
communication et en présentation : à mesure que leur influence s’élargit, les
data engineers doivent être capables de vulgariser les concepts techniques pour
les équipes métiers. Les profils capables d' allier expertise technique, y
compris en IA, et capacité à collaborer, écouter et convaincre seront les plus
précieux.
« L’IA pousse les
dirigeants à repenser les processus de données dans le cadre de leur
transformation numérique, poursuit Chris Child. À mesure que les agents
d’IA prendront davantage de tâches en charge, les data engineers passeront
moins de temps sur l’extraction, la transformation et le chargement, et
davantage sur la stratégie data et IA qui contribuera à faire progresser
l’entreprise. »