FAQ Amazon Bedrock

Les agents Amazon Bedrock sont des capacités entièrement gérées qui permettent aux développeurs de créer plus facilement des applications basées sur l’IA générative pouvant accomplir des tâches complexes pour un large éventail de cas d’utilisation et fournir des réponses actualisées basées sur des sources de connaissances propriétaires. En quelques étapes, les agents Amazon Bedrock décomposent automatiquement les tâches et créent un plan d’orchestration, sans aucun codage manuel. L'agent se connecte de manière sécurisée aux données de l'entreprise via une API, convertit automatiquement les données dans un format lisible par machine et complète la demande avec des informations pertinentes pour générer la réponse la plus précise possible. Les agents peuvent ensuite appeler automatiquement des API pour répondre à la demande d'un utilisateur. Par exemple, une entreprise de fabrication pourrait vouloir développer une application d’IA générative qui automatise le suivi des niveaux d’inventaire, des données de vente, des informations sur la chaîne d’approvisionnement et qui peut recommander des points de commande et des quantités optimales pour maximiser l’efficacité. En tant que capacités entièrement gérées, les agents Amazon Bedrock suppriment la gestion indifférenciée de l’intégration des systèmes et du provisionnement de l’infrastructure, permettant ainsi aux développeurs d’utiliser l’IA générative dans l’ensemble de leur organisation.

Vous pouvez connecter en toute sécurité les FM aux sources de données de votre entreprise à l’aide d’agents Amazon Bedrock. Avec une base de connaissances, vous pouvez utiliser des agents pour permettre aux FM dans Amazon Bedrock d'accéder à des données supplémentaires qui aident le modèle à générer des réponses plus pertinentes, spécifiques au contexte et précises sans pour autant reformer continuellement le FM. Sur la base des entrées de l'utilisateur, les agents identifient la base de connaissances appropriée, récupèrent les informations pertinentes et ajoutent les informations à l'invite d'entrée, fournissant ainsi au modèle davantage d'informations contextuelles pour générer un achèvement.

Les agents Amazon Bedrock peuvent vous aider à augmenter votre productivité, à améliorer l’expérience de votre service client et à automatiser les flux de travail (tels que le traitement des déclarations de sinistre).

Grâce aux agents, les développeurs bénéficient d’une prise en charge transparente de la surveillance, du chiffrement, des autorisations utilisateur, de la gestion des versions et de la gestion des invocations d’API sans avoir à écrire de code personnalisé. Les agents Amazon Bedrock automatisent l’ingénierie de requêtes et l’orchestration des tâches demandées par les utilisateurs. Les développeurs peuvent utiliser le modèle de requête créé par l’agent comme base de référence pour l’affiner davantage afin d’améliorer l’expérience utilisateur. Ils peuvent mettre à jour les entrées utilisateur, le plan d'orchestration et la réponse FM. Grâce à l'accès au modèle de requête, les développeurs ont un meilleur contrôle sur l'orchestration de l'agent.

Avec des agents entièrement gérés, vous n'avez pas à vous soucier du provisionnement ou de la gestion de l'infrastructure et vous pouvez mettre les applications en production plus rapidement.

Tout contenu client traité par Amazon Bedrock est chiffré et stocké au repos dans la Région AWS où vous utilisez le service.

Non. Les entrées des utilisateurs et les sorties des modèles ne sont pas partagées avec d'autres fournisseurs de modèles.

Amazon Bedrock propose plusieurs capacités pour répondre aux exigences de sécurité et de confidentialité. Amazon Bedrock respecte les normes de conformité courantes telles que Fedramp Moderate, le contrôle des services et des organisations (SOC), l’Organisation internationale de normalisation (ISO), l’éligibilité à la loi HIPAA (Health Insurance Portability and Accountability Act), et les clients peuvent utiliser Bedrock conformément au règlement général sur la protection des données (RGPD). Amazon Bedrock est inclus dans le champ d'application des rapports SOC 1, 2 et 3, ce qui donne aux clients plus d'informations sur nos contrôles de sécurité. Nous démontrons notre conformité par le biais d'audits tiers approfondis de nos contrôles AWS. Amazon Bedrock est l'un des services AWS conformes aux normes ISO 9001, ISO 27001, ISO 27017, ISO 27018, ISO 27701, ISO 22301 et ISO 20000. Amazon Bedrock est certifié CSA Security Trust Assurance and Risk (STAR) de niveau 2, ce qui valide l'utilisation des bonnes pratiques et le niveau de sécurité des offres cloud AWS. Avec Amazon Bedrock, votre contenu n'est pas utilisé pour améliorer les modèles de base et n'est pas partagé avec d'autres fournisseurs de modèles. Vous pouvez utiliser AWS PrivateLink pour établir une connectivité privée entre Amazon VPC et Amazon Bedrock, sans avoir à exposer vos données au trafic Internet.

Non, AWS et les fournisseurs de modèles tiers n'utiliseront aucune entrée ou sortie d’Amazon Bedrock pour former Amazon Titan ou tout autre modèle tiers.

Amazon Bedrock prend en charge les SDK pour les services d'exécution.Les SDK iOS et Android, ainsi que Java, JS, Python, CLI, .Net, Ruby, PHP, Go et C++, prennent en charge à la fois la saisie de texte et la saisie vocale.

Le streaming est pris en charge sur tous les SDK.

Veuillez consulter la page de tarification d’Amazon Bedrock pour obtenir des informations sur les tarifs actuellement en vigueur.

En fonction de votre contrat AWS Support, Amazon Bedrock est pris en charge dans le cadre des forfaits Developer Support, Business Support et Enterprise Support.

Vous pouvez utiliser les métriques CloudWatch pour suivre les jetons d'entrée et de sortie.

Nous avons lancé une pré-formation continue pour les modèles Amazon Titan Text Express et Amazon Titan sur Amazon Bedrock. La pré-formation continue vous permet de poursuivre la pré-formation sur un modèle de base Amazon Titan en utilisant de grandes quantités de données non étiquetées. Ce type de formation adaptera le modèle depuis un corpus de domaine général vers un corpus de domaine plus spécifique tel que la médecine, le droit, la finance, etc. tout en préservant la plupart des capacités du modèle de base Amazon Titan. 

En général, les entreprises peuvent souhaiter créer des modèles pour les tâches dans un domaine spécifique. Les modèles de base peuvent ne pas être entraînés sur le jargon technique utilisé dans ce domaine spécifique. Ainsi, l'ajustement direct du modèle de base nécessitera de grandes quantités d’enregistrements de formation étiquetés et une longue durée de formation pour obtenir des résultats précis. Pour alléger cette charge, le client peut fournir à la place de grandes quantités de données non étiquetées pour une tâche de pré-formation continue. Ce travail adaptera le modèle de base d'Amazon Titan au nouveau domaine. Le client peut ensuite ajuster le modèle personnalisé nouvellement pré-formé aux tâches en aval en utilisant beaucoup moins d'enregistrements de formation étiquetés et avec une durée de formation plus courte. 

La pré-formation continue et le réglage fin d'Amazon Bedrock ont des exigences très similaires. C'est pourquoi nous avons choisi de créer des API unifiées qui prennent en charge à la fois la pré-formation continue et le réglage fin. L'unification des API réduit la courbe d'apprentissage et aidera les clients à utiliser des fonctionnalités standard telles qu’Amazon EventBridge pour suivre les tâches de longue durée, l'intégration d’Amazon S3 pour récupérer les données de formation, les balises de ressources et le chiffrement des modèles. 

La pré-formation continue vous permet d'adapter facilement les modèles Amazon Titan aux données spécifiques à votre domaine tout en préservant les fonctionnalités de base des modèles Amazon Titan. Pour créer une tâche de pré-formation continue, accédez à la console Amazon Bedrock et cliquez sur « Modèles personnalisés ». Vous accéderez à la page du modèle personnalisé qui comporte deux onglets : Modèles et Tâches d'entraînement. Les deux onglets proposent un menu déroulant « Personnaliser le modèle » sur la droite. Sélectionnez « Pré-formation continue » dans le menu déroulant pour accéder à « Créer une tâche de pré-formation continue ». Vous fournirez le modèle source, le nom, le chiffrement du modèle, les données d'entrée, les hyperparamètres et les données de sortie. En outre, vous pouvez fournir des balises ainsi que des détails sur les rôles AWS Identity and Access Management (IAM) et les politiques de ressources pour la tâche.

Exclusive à Amazon Bedrock, la famille de modèles Amazon Titan intègre les 25 années d'expérience d'Amazon en matière d'innovation avec l’IA et le machine learning dans l'ensemble de l’entreprise. Les FM Amazon Titan offrent aux clients un large éventail de choix de modèles d'image, multimodaux et de texte haute performance via une API entièrement gérée. Les modèles Amazon Titan sont créés par AWS et préentraînés sur de grands jeux de données, ce qui en fait des modèles puissants et polyvalents conçus pour prendre en charge divers cas d'utilisation, tout en favorisant l'utilisation responsable de l'IA. Utilisez-les tels quels ou personnalisez-les avec vos propres données. En savoir plus sur Amazon Titan.

Pour en savoir plus sur les données traitées pour développer et former les Amazon Titan FM, veuillez consulter la page Entraînement au modèle Amazon Titan et confidentialité.

Les formats de données pris en charge incluent les fichiers .pdf, .txt, .md, .html, .doc et .docx, .csv, .xls et .xlsx. Les fichiers doivent être chargés sur Amazon S3. Indiquez simplement l’emplacement de vos données dans Amazon S3 et bases de connaissances Amazon Bedrock se chargeront de l’intégralité du flux de travail d’ingestion dans votre base de données vectorielles.

Les bases de connaissances Amazon Bedrock proposent trois options pour découper le texte avant de le convertir en intégrations. 

1.  Option par défaut : les bases de connaissances Amazon Bedrock divisent automatiquement votre document en morceaux contenant chacun 200 jetons, garantissant ainsi qu’une phrase ne sera pas interrompue au milieu. Si un document contient moins de 200 jetons, il n'est plus divisé. Un chevauchement de 20 % des jetons est maintenu entre deux morceaux consécutifs.

2.  Découpage à taille fixe : dans cette option, vous pouvez spécifier le nombre maximum de jetons par fragment et le pourcentage de chevauchement entre les fragments pour les bases de connaissances Amazon Bedrock, de sorte que votre document sera automatiquement divisé en fragments, garantissant ainsi qu’une phrase ne sera pas interrompue au milieu. 

3.  Option de création d'une intégration par document : Amazon Bedrock crée une intégration par document. Cette option convient si vous avez pré-traité vos documents en les divisant en fichiers distincts et si vous ne souhaitez pas qu’Amazon Bedrock découpe davantage vos documents.

À l’heure actuelle, les bases de connaissances Amazon Bedrock utilisent la dernière version du modèle Amazon Titan Text Embeddings disponible dans Amazon Bedrock. Le modèle Titan Text Embeddings V2 prend en charge 8 000 jetons et plus de 100 langues, et crée des intégrations d’une taille de 256, 512 et 1 024 dimensions. 

Les bases de connaissances Amazon Bedrock prennent en charge l’intégralité du flux de travail d’ingestion, à savoir la conversion de vos documents en intégrations (vecteur) et le stockage des intégrations dans une base de données vectorielles spécialisée.  Les bases de connaissances Amazon Bedrock prennent en charge les bases de données populaires pour le stockage vectoriel, notamment le moteur vectoriel pour Amazon OpenSearch sans serveur, Pinecone, Redis Enterprise Cloud, Amazon Aurora (bientôt disponible) et MongoDB (bientôt disponible). Si vous ne possédez pas de base de données vectorielles existante, Amazon Bedrock crée pour vous un magasin de vecteurs OpenSearch sans serveur.

En fonction de votre cas d’utilisation, vous pouvez utiliser Amazon EventBridge pour créer une synchronisation périodique ou basée sur des événements entre Amazon S3 et les bases de connaissances Amazon Bedrock.

L'évaluation de modèle sur Amazon Bedrock vous permet d'évaluer, de comparer et de sélectionner les FM les plus adaptés à votre cas d'utilisation en seulement quelques clics. Amazon Bedrock donne le choix entre évaluation automatique et évaluation humaine. Vous pouvez utiliser la première avec des paramètres prédéfinis tels que la précision, la robustesse et la toxicité. Vous pouvez utiliser les flux de travail d'évaluation humaine pour obtenir des métriques subjectives ou personnalisées telles que la convivialité, le style et l'alignement avec la voix de la marque. Pour l'évaluation humaine, vous pouvez faire appel à vos employés en interne ou à une équipe gérée par AWS en tant que réviseurs. L'évaluation de modèle sur Amazon Bedrock fournit des jeux de données intégrés mais vous pouvez également apporter vos propres jeux de données.

Vous pouvez évaluer diverses métriques prédéfinies telles que la précision, la robustesse et la toxicité à l'aide d'évaluations automatiques. Vous pouvez également utiliser les flux de travail d'évaluation humaine pour obtenir des métriques subjectives ou personnalisées telles que la convivialité, la pertinence, le style et l'alignement avec la voix de la marque.

Les évaluations automatiques vous permettent de réduire rapidement la liste des FM disponibles par rapport à des critères standard (tels que la précision, la toxicité et la robustesse). Les évaluations humaines sont souvent utilisées pour évaluer des critères plus nuancés ou subjectifs qui nécessitent un jugement humain et où les évaluations automatiques peuvent ne pas exister (tels que la voix de la marque, l'intention créative, la convivialité).

Vous pouvez évaluer rapidement les modèles Amazon Bedrock pour des indicateurs tels que la précision, la robustesse et la toxicité en tirant parti de jeux de données intégrés sélectionnés ou en apportant vos propres jeux de données de requêtes. Une fois que vos jeux de données de requêtes ont été envoyés aux modèles Amazon Bedrock à des fins d'inférence, les réponses des modèles sont notées à l'aide d'algorithmes d'évaluation pour chaque dimension. Le moteur de back-end regroupe les scores de réponse aux requêtes individuels en scores récapitulatifs et les présente sous forme de rapports visuels faciles à comprendre.

Amazon Bedrock vous permet de configurer des flux de travail de révision humaine en quelques clics et de demander à vos employés en interne ou à une équipe d'experts dirigée par AWS d'évaluer les modèles. Grâce à l'interface intuitive d'Amazon Bedrock, les utilisateurs peuvent examiner les réponses des modèles et donner leur avis en cliquant sur les pouces vers le haut ou vers le bas, en évaluant sur une échelle de 1 à 5, en choisissant la meilleure parmi plusieurs réponses ou en classant les requêtes. Par exemple, un membre de l'équipe peut voir comment deux modèles répondent à la même requête, puis être invité à sélectionner le modèle qui affiche les résultats les plus précis, pertinents ou stylistiques. Vous pouvez spécifier les critères d'évaluation qui vous intéressent en personnalisant les instructions et les boutons qui apparaîtront dans l'interface utilisateur d'évaluation de votre équipe. Vous pouvez également fournir des instructions détaillées avec des exemples et l'objectif général de l'évaluation du modèle, afin que les utilisateurs puissent aligner leur travail en conséquence. Cette méthode est utile pour évaluer des critères subjectifs qui nécessitent un jugement humain ou une expertise plus nuancée en la matière, et qui ne peuvent pas être facilement jugés par des évaluations automatiques.

Les barrières de protection Amazon Bedrock vous permettent de mettre en œuvre des mesures de protection pour vos applications d’IA générative en fonction de vos cas d’utilisation et de vos politiques d’IA responsable. Les barrières de protection aident à contrôler l'interaction entre les utilisateurs et les FM en filtrant les contenus indésirables et nuisibles, et supprimeront bientôt les données d'identification personnelle (PII), améliorant ainsi la sécurité et la confidentialité du contenu dans les applications d'IA générative. Vous pouvez créer plusieurs barrières de protection avec différentes configurations adaptées à des cas d'utilisation spécifiques. De plus, grâce aux barrières de protection, vous pouvez surveiller et analyser en permanence les entrées des utilisateurs et les réponses des FM susceptibles d'enfreindre les politiques définies par le client.

Les garde-fous vous aident à définir un ensemble de politiques visant à protéger vos applications d’IA générative. Vous pouvez configurer les politiques suivantes dans une barrière de protection.

• Sujets refusés : vous aident à définir un ensemble de sujets indésirables dans le contexte de votre application. Par exemple, un assistant bancaire en ligne peut être conçu pour s'abstenir de fournir des conseils d'investissement.
• Filtres sur le contenu : vous aident à configurer des seuils pour filtrer les contenus nuisibles dans les catégories de haine, d’insultes, de sexualité et de violence.
• Filtres de mots : vous aident à définir un ensemble de mots à bloquer dans les entrées utilisateur et dans les réponses générées par FM.
• Rédaction de PII : vous aide à sélectionner un ensemble de PII qui peuvent être rédigées dans les réponses générées par FM. Selon le cas d’utilisation, les garde-fous peuvent également vous aider à bloquer une saisie utilisateur si elle contient des informations personnelles.
• Vérifications contextuelles : contribuent à détecter et à filtrer les hallucinations si les réponses ne sont pas fondées (par exemple, des informations factuelles inexactes ou nouvelles) dans les informations sources et ne sont pas pertinentes par rapport à la requête ou aux instructions de l’utilisateur.

Les barrières de protection peuvent être utilisées avec tous les grands modèles de langage (LLM) disponibles sur Amazon Bedrock. Elles peuvent également être utilisées avec des FM affinés ainsi qu'avec des agents pour Amazon Bedrock.

AWS offre une indemnité de propriété intellectuelle (PI) non plafonnée pour les réclamations relatives aux droits d'auteur liées à la production des services d'IA générative Amazon généralement disponibles : modèles Amazon Titan, Amazon CodeWhisperer Professional et autres services répertoriés dans la section 50.10 des Conditions de service (les « Services d'IA générative indemnisés »). Cela signifie que les clients sont protégés contre les réclamations de tiers alléguant une violation du droit d'auteur par les résultats générés par les Services d'IA générative indemnisés en réponse à des entrées ou à d'autres données fournies par le client. Les clients doivent également utiliser les services de manière responsable, par exemple en ne saisissant pas de données illicites ou en désactivant les fonctionnalités de filtrage d'un Service.

De plus, notre indemnisation standard en matière de propriété intellectuelle pour l'utilisation des services protège les clients contre les réclamations de tiers alléguant une violation de la propriété intellectuelle (y compris les réclamations relatives aux droits d'auteur) par les services et les données utilisés pour les former.

Il existe cinq politiques de garde-fous, chacune assortie de différentes protections standard

• Filtres de contenu : 6 catégories standard sont incluses (haine, insultes, sexualité, violence, inconduite [y compris activité criminelle] et attaque par invite [débridage et infiltration d’invite]). Il est également possible d’appliquer d’autres seuils personnalisés à chaque catégorie afin de déterminer l’intensité du filtrage : faible/moyen/élevé.
• Sujet refusé : il s’agit de sujets personnalisés que le client peut définir à l’aide d’une simple description en langage naturel
• Filtre d’informations sensibles : il est fourni avec plus de 30 PII standard. Vous pouvez le personnaliser davantage en ajoutant les informations confidentielles du client qui sont sensibles.
• Filtres de mots : ils sont livrés avec un filtrage du langage grossier standard, mais il est possible de les personnaliser en y ajoutant d’autres mots.
• Les vérifications contextuelles peuvent être utilisées pour détecter les hallucinations pour les applications RAG, de synthèse et conversationnelles, où les informations sources peuvent être utilisées comme référence pour valider la réponse du modèle.

Les modèles de fondation présentent des protections natives qui sont associées par défaut à chaque modèle. Ces mesures de protection natives ne font PAS partie des barrières de protection Amazon Bedrock. Les barrières de protection Amazon Bedrock constituent une couche supplémentaire de mesures de protection personnalisées que le client peut éventuellement appliquer en fonction des exigences de ses applications et de ses politiques d’IA responsable.

Les barrières de protection Amazon Bedrock peuvent détecter plus de 30 PII standard, dont le SSN et le numéro de téléphone. La liste complète est disponible ici.

L’utilisation des barrières de protection Amazon Bedrock entraîne un coût distinct. Il peut être appliqué à la fois à l’entrée et à la sortie. Les tarifs sont indiqués en bas de page ici.

Oui, les API de garde-fou Amazon Bedrock aident les clients à exécuter des tests automatisés. Le « générateur de cas de test » est peut-être quelque chose que vous souhaitez utiliser avant de déployer des garde-fous en production. Il n’existe pas encore de générateur de cas de test natif. Pour une surveillance continue du trafic de production, les garde-fous aident à fournir des journaux détaillés de toutes les violations pour chaque entrée et sortie, afin que les clients puissent surveiller de manière granulaire chaque entrée et sortie de leur application d’IA générative. Ces journaux peuvent être stockés dans CloudWatch ou S3 et peuvent être utilisés pour créer des tableaux de bord personnalisés en fonction des besoins des clients.