Intégration zéro ETL Amazon Aurora avec Amazon Redshift

Infosys a utilisé les fonctionnalités de l’intégration zéro ETL pour ingérer des données en temps réel. La société peut désormais suivre les expéditions de fret et en connaître la position, le statut et l’heure d’arrivée estimée. Cela permet d’optimiser les opérations de fret et de réduire considérablement les coûts. Grâce aux rapports et à l’analytique complets liés à l’intégration zéro ETL ainsi qu’aux plans sectoriels d’Infosys Cobalt et Topaz, une prise de décision orientée données est désormais possible.

L’important volume de données et la nécessité d’une migration fluide ont représenté un défi de taille pour nous. De plus, nous avions besoin d’une solution qui nous permettrait d’analyser rapidement le processus de migration, afin de prendre des décisions rapides et fondées sur des données. Pour relever ces défis, nous nous sommes tournés vers l’intégration zéro ETL d’Amazon Aurora avec Amazon Redshift pour simplifier notre processus d’ingestion de données et éliminer les travaux d’ingénierie complexes. Grâce à la technologie zéro ETL, nous avons pu transférer d’énormes quantités de données vers Amazon Redshift sans devoir effectuer de capture de données ni de tâches d’ingestion distinctes. Cela a permis d’obtenir des informations rapides pour prendre des décisions techniques et commerciales essentielles, économisant ainsi des mois d’efforts qui auraient autrement été nécessaires. Chez Intuit, l’intégration zéro ETL d’Aurora avec Amazon Redshift nous a permis d’explorer de nouveaux modèles pour les migrations de données à grande échelle et l’analytique en temps quasi réel.

Avant l’intégration zéro ETL, nous utilisions une solution personnalisée qui diffusait en continu les modifications de nos bases de données principales vers les applications en aval. Nous étions alors constamment confrontés à des problèmes de performances qui avaient un impact sur notre charge de travail de production. Pour faire face à la baisse des performances de la charge de travail de production, nous avons dû ajuster manuellement les pipelines afin d’envoyer des mises à jour moins fréquemment et de nous contenter des anciennes données dans Amazon Redshift. Grâce à l’intégration zéro ETL d’Aurora MySQL à Amazon Redshift, nous disposons en permanence de données en temps quasi réel dans Amazon Redshift. Les développeurs n’ont donc plus besoin de consacrer des heures à gérer manuellement des pipelines de données pour les opérations ETL ou à résoudre des problèmes de performance liés à nos charges de travail, ce qui contribue à réduire notre charge opérationnelle.

Avant le lancement de l’intégration zéro ETL d’Amazon Aurora à Amazon Redshift, il était difficile d’effectuer l’implémentation et la maintenance de nos opérations ETL pour analyser les données de produits d’Amazon Aurora MySQL dans Amazon Redshift. L’intégration zéro ETL d’Aurora MySQL à Amazon Redshift permet une synchronisation des données en temps quasi réel entre nos bases de données Aurora MySQL et Amazon Redshift, ce qui réduit d’un mois à seulement trois heures le temps nécessaire à la création d’un environnement d’analyse. Outre la réduction de la charge initiale au moment du développement, l’intégration zéro ETL permet de moins impacter les environnements de production et de créer l’environnement d’analyse à moindre coût et plus rapidement.

Il est essentiel d’obtenir des informations analytiques en temps utile à partir de nos données. Ainsi, nous sommes en mesure de prendre des décisions orientées données et de réagir efficacement aux événements critiques et urgents. Le traitement de la capture des données modifiées et de la coagulation des enregistrements prenait du temps et était plus coûteux que prévu. Forts de l’intégration zéro ETL d’Amazon Aurora MySQL à Amazon Redshift, nous avons pu obtenir les mêmes résultats en une journée. Or, cela aurait autrement pris deux mois en raison des efforts d’ingénierie requis pour les opérations ETL. La latence de nos données a été considérablement réduite grâce à l’intégration, car les données étaient prêtes à être interrogées. Cela nous a permis de prendre des décisions plus rapidement au fur et à mesure que les événements se produisaient. Grâce à l’intégration zéro ETL d’Aurora à Amazon Redshift, nous avons pu réduire nos efforts en matière d’ingénierie, le nombre de défaillances dans la gestion du pipeline ainsi que nos coûts.