Grâce à l’inférence sans serveur Amazon SageMaker, Bazaarvoice réduit ses coûts d’inférence du machine learning de 82 %

Basée à Austin, au Texas, et disposant de bureaux dans le monde entier, Bazaarvoice utilise le ML afin d’automatiser la modération du contenu pour les enseignes et les marques. L’entreprise recueille, syndique et modère les avis, le contenu social, les photos et les vidéos, que les clients peuvent utiliser pour améliorer les pages de leurs produits et stimuler les ventes. Bazaarvoice utilise également le ML pour compléter ce contenu avec des informations sémantiques, afin d’aider les clients à classer le contenu et à en tirer des informations.

Bazaarvoice souhaitait améliorer sa capacité de mise à l’échelle, sa rapidité et son efficacité, mais elle était confrontée à des difficultés avec sa solution de ML plus ancienne et plus lente. Par exemple, à chaque fois que l’entreprise devait intégrer un nouveau client ou entraîner de nouveaux modèles, elle devait modifier manuellement plusieurs fichiers de modèles, les télécharger et attendre que le système enregistre le changement. Le processus durait environ 20 minutes et était sujet à des erreurs. De plus, l’architecture n’avait pas été conçue pour soutenir efficacement la croissance de l’entreprise : chaque machine prenant en charge presque 1 600 modèles nécessitait 1 To de RAM. « Le coût était assez élevé et, puisque l’architecture était conçue comme un monolithe, elle ne pouvait pas être automatiquement mise à l’échelle, ce qui était l’un de nos principaux objectifs », explique Lou Kratz, ingénieur de recherche principal chez Bazaarvoice. La flexibilité était également essentielle pour soutenir le nombre croissant de clients de Bazaarvoice et pour expérimenter des modèles de ML. « Nous voulions être en mesure de multiplier par 10 le nombre de modèles en production sans rencontrer de limites de mémoire », explique Lou Kratz.

Bazaarvoice a envisagé de créer sa propre solution d’hébergement sans serveur, mais un tel projet aurait été coûteux et laborieux. Au lieu de cela, elle a adopté l’inférence sans serveur Amazon SageMaker, une option d’inférence spécialement conçue qui permet aux entreprises de déployer et de mettre à l’échelle des modèles de ML en toute simplicité, afin de réduire la charge opérationnelle de ses équipes. « Ce projet a marqué le début de l’unification de notre déploiement de modèles », explique Edgar Trujillo, ingénieur ML senior chez Bazaarvoice. L’entreprise a commencé à envoyer du trafic vers son nouveau système en décembre 2021 et, en février 2022, il gérait tout le trafic de production.

L’utilisation de l’inférence sans serveur a permis à Bazaarvoice de déployer facilement un modèle et de le déplacer vers un point de terminaison dédié en cas de trafic élevé. L’entreprise a ainsi amélioré son débit tout en réduisant ses coûts. Elle a économisé 82 % sur ses coûts d’inférence de ML en migrant tous les modèles de 12 000 clients vers la solution d’inférence sans serveur. Bazaarvoice analyse et enrichit des millions de contenus par mois, ce qui se traduit par des dizaines de millions d’appels mensuels vers SageMaker, soit environ 30 appels d’inférence par seconde. Mais la plupart de ses modèles de ML ne sont appelés par les clients qu’une fois toutes les quelques minutes. Il n’est donc pas logique pour Bazaarvoice d’allouer des ressources dédiées. « Nous avions besoin de la flexibilité nécessaire pour passer d’un hôte dédié aux modèles volumineux et coûteux à des options économiques pour les modèles utilisés moins fréquemment », explique Lou Kratz. Grâce à la solution d’inférence sans serveur, l’entreprise peut évoluer à la hausse ou à la baisse de manière fluide pour répondre à la demande, accroître son efficacité et réduire ses coûts. « La grande victoire pour nous, c’est que nous n’avons pas à gérer des serveurs ni à payer le temps de calcul que nous n’utilisons pas », déclare Lou Kratz. « Et nous pouvons suivre le rythme du contenu entrant afin que le client puisse le voir modéré et augmenté en temps opportun. »

Bazaarvoice diffusant du contenu plus rapidement, ses clients peuvent afficher ce contenu bien plus rapidement pour les nouveaux utilisateurs finaux. Avec SageMaker, cela ne prend que 5 minutes. « L’envoi de nouvelles données clients à un modèle existant prenait auparavant 15 à 20 minutes », explique Lou Kratz. « Maintenant, cela se produit tout de suite. » Et le déploiement d’un tout nouveau modèle ne prend que 5 minutes au lieu de 20 à 30 minutes. Sur AWS, Bazaarvoice a constaté une augmentation du débit de diffusion des modèles. L’entreprise peut créer un modèle, le livrer et l’exécuter sur la solution d’inférence sans serveur pour évaluer ses performances avant de lui envoyer du contenu, réduisant ainsi les risques liés à l’utilisation de contenu en direct. De plus, il n’est pas nécessaire de procéder à un redéploiement au moment d’envoyer du contenu au modèle, car celui-ci est déjà exécuté sur SageMaker. De nouveaux modèles peuvent au contraire être déployés dès que la validation est terminée. « L’utilisation d’Amazon SageMaker a considérablement amélioré notre capacité à expérimenter et à produire de nouveaux modèles rapidement et à moindre coût », explique Dave Anderson, responsable technique chez Bazaarvoice. « Nous avons la flexibilité nécessaire pour faire avancer notre proposition de valeur, c’est formidable. » L’entreprise a aidé ses data scientists à agir plus rapidement et a apporté une valeur ajoutée à ses clients.

Quand Bazaarvoice introduit du contenu dans l’un de ses modèles de ML, le modèle génère une valeur de confiance et l’utilise pour décider du contenu. Sur l’architecture précédente de l’entreprise, Bazaarvoice devait proposer un nouveau modèle chaque fois qu’elle souhaitait modifier la logique de décision. Pour traiter la logique de décision en dehors du modèle de ML, Bazaarvoice a commencé à utiliser Amazon Elastic Container Service (Amazon ECS), un service d’orchestration de conteneurs entièrement géré qui permet aux entreprises de déployer, de gérer et de mettre facilement à l’échelle des applications conteneurisées. « La séparation de la logique de décision s’est révélée extrêmement bénéfique, car l’équipe chargée des opérations de contenu peut désormais obtenir les résultats et prendre des décisions pratiquement instantanément », explique Lou Kratz. « Ils n’ont pas à expédier un nouveau modèle et à attendre qu’il soit déployé et mis à jour. »

Bazaarvoice a réalisé d’importantes économies tout en améliorant l’expérience de développement du ML pour son équipe et en améliorant son offre pour ses clients. L’entreprise prévoit d’apporter encore plus d’avantages à ses clients en utilisant l’API de l’inférence sans serveur SageMaker pour permettre un accès rapide. « Le ML est en train de devenir la norme dans ce secteur. Impossible de rester compétitif sans lui », déclare Lou Kratz. « En utilisant l’inférence sans serveur SageMaker, nous pouvons faire du ML efficacement à l’échelle, en produisant rapidement un grand nombre de modèles à un coût raisonnable et avec une faible surcharge opérationnelle. »