Perguntas frequentes sobre o Amazon Bedrock

Os Amazon Bedrock Agents são recursos totalmente gerenciados que facilitam aos desenvolvedores a criação de aplicações baseadas em IA generativa que podem concluir tarefas complexas para uma ampla variedade de casos de uso e fornecer respostas atualizadas com base em fontes de conhecimento patenteadas. Em apenas algumas etapas curtas, os Amazon Bedrock Agents dividem automaticamente as tarefas e criam um plano de orquestração, sem qualquer codificação manual. O agente se conecta com segurança aos dados da empresa por meio de uma API, convertendo automaticamente os dados em um formato legível por máquina e aumentando a solicitação com informações relevantes para gerar a resposta mais precisa. Os agentes podem então chamar automaticamente as APIs para atender à solicitação do usuário. Por exemplo, uma empresa de manufatura pode querer desenvolver uma aplicação de IA generativa que automatize o rastreamento de níveis de estoque, dados de vendas e informações da cadeia de suprimentos e possa recomendar quantidades e pontos de reordenamento ideais para maximizar a eficiência. Como recursos totalmente gerenciados, os Amazon Bedrock Agents eliminam a necessidade indiferenciada de gerenciar a integração de sistemas e o provisionamento de infraestrutura, permitindo que os desenvolvedores usem a IA generativa em toda a organização.

Você pode conectar com segurança as FMs às fontes de dados da sua empresa usando o Amazon Bedrock Agents. Com uma base de conhecimento, você pode usar agentes para dar aos FMs do Amazon Bedrock acesso a dados adicionais que ajudam o modelo a gerar respostas mais relevantes, específicas ao contexto e precisas sem treinar continuamente esses FMs. Com base nas informações do usuário, os agentes identificam a base de conhecimento apropriada, recuperam as informações relevantes e adicionam as informações ao prompt de entrada, fornecendo ao modelo mais informações de contexto para gerar uma conclusão.

O Amazon Bedrock Agents pode ajudar você a aumentar a produtividade, melhorar sua experiência de atendimento ao cliente e automatizar fluxos de trabalho (como o processamento de sinistros de seguro).

Com os agentes, os desenvolvedores têm suporte contínuo para monitoramento, criptografia, concessão de permissões de usuário, versionamento e gerenciamento de invocação de API sem a necessidade de escrever um código personalizado. O Amazon Bedrock Agents automatiza a engenharia de prompts e a orquestração das tarefas solicitadas pelo usuário. Os desenvolvedores podem usar o modelo de prompt criado pelo agente como base para refiná-lo ainda mais e garantir uma experiência aprimorada para os usuários. Eles podem atualizar a entrada do usuário, o plano de orquestração e a resposta do FM. Com acesso ao modelo de prompt, os desenvolvedores têm melhor controle sobre a orquestração do agente.

Com agentes totalmente gerenciados, você não precisa se preocupar em provisionar ou gerenciar a infraestrutura e pode levar as aplicações à produção mais rapidamente.

Qualquer conteúdo de cliente processado pelo Amazon Bedrock é criptografado e armazenado em repouso na região da AWS na qual você está usando o Amazon Bedrock.

Não. As entradas de usuários e as saídas de modelos não são compartilhadas com outros provedores de modelos.

O Amazon Bedrock oferece vários recursos para dar suporte a requisitos de segurança e privacidade. O Amazon Bedrock está em conformidade com padrões conhecidos de conformidade, como o FedRAMP Moderado, o Controle de Organizações de Serviço (SOC) e as Normas da Organização Internacional de Normalização (ISO). Além disso, ele é elegível para a Lei de Portabilidade e Responsabilidade de Seguros de Saúde (HIPAA), e os clientes podem usar o Bedrock em conformidade com o Regulamento Geral de Proteção de Dados (RGPD). O Amazon Bedrock está incluído no escopo dos relatórios SOC 1, 2 e 3, permitindo que os clientes obtenham insights sobre nossos controles de segurança. Demonstramos a conformidade por meio de auditorias abrangentes de terceiros sobre os controles da AWS. O Amazon Bedrock é um dos serviços da AWS em conformidade com as seguintes normas ISO: ISO 9001, ISO 27001, ISO 27017, ISO 27018, ISO 27701, ISO 22301 e ISO 20000. O Amazon Bedrock tem a certificação CSA Security Trust Assurance and Risk (STAR) de nível 2, que valida o uso de práticas recomendadas e a postura de segurança das ofertas de nuvem AWS. Com o Amazon Bedrock, seu conteúdo não é usado para melhorar os modelos de base e não é compartilhado com outros provedores de modelos. Você pode usar o AWS PrivateLink para estabelecer conectividade privada da VPC com o Amazon Bedrock, sem precisar expor os dados ao tráfego da Internet.

Não, a AWS e fornecedores terceirizados de modelos não usarão nenhuma entrada ou saída do Amazon Bedrock para treinar o Amazon Titan ou qualquer modelo de terceiros.

O Amazon Bedrock é compatível com SDKs para serviços de runtime. Os SDKs do iOS e do Android, bem como Java, JS, Python, CLI, .Net, Ruby, PHP, Go e C++, oferecem suporte à entrada de texto e fala.

O streaming é compatível com todos os SDKs.

Consulte a página de preços do Amazon Bedrock para obter informações atualizadas sobre os preços.

Dependendo do contrato com o AWS Support, o Amazon Bedrock recebe suporte nos planos Developer Support, Business Support e Enterprise Support.

Você pode usar métricas do CloudWatch para rastrear tokens de entrada e saída.

Lançamos o pré-treinamento contínuo para os modelos Amazon Titan Text Express e Amazon Titan no Amazon Bedrock. O pré-treinamento contínuo permite que você continue o pré-treinamento em um modelo básico do Amazon Titan usando grandes quantidades de dados não rotulados. Esse tipo de treinamento adaptará o modelo de um corpus de domínio geral para um corpus de domínio mais específico, como médico, jurídico, financeiro, entre outros, mas preservando a maioria dos recursos do modelo de base do Amazon Titan. 

As empresas querem criar modelos para tarefas em um domínio específico. Os modelos de base talvez não sejam treinados no jargão técnico usado nesse domínio específico. Portanto, o ajuste direto do modelo de base exige grandes volumes de registros rotulados e um treinamento muito longo para obter resultados precisos. Para aliviar essa carga, o cliente pode, em vez disso, fornecer grandes volumes de dados não rotulados para um trabalho de pré-treinamento contínuo. Esse trabalho adaptará o modelo de base do Amazon Titan ao novo domínio. Assim, o cliente pode ajustar o modelo personalizado que acabou de ser pré-treinado para tarefas downstream usando registros de treinamento com um número significativamente menor de rótulos e um tempo de treinamento reduzido. 

O pré-treinamento contínuo e o ajuste fino do Amazon Bedrock têm requisitos muito semelhantes. Por esse motivo, estamos optando por criar APIs unificadas e compatíveis com o pré-treinamento contínuo e o ajuste fino. A unificação das APIs reduz a curva de aprendizado e ajudará os clientes a usar recursos padrão, como o Amazon EventBridge para rastrear trabalhos de longa duração, integração com o Amazon S3 para buscar dados de treinamento, tags de recursos e criptografia de modelos. 

O pré-treinamento contínuo ajuda você a adaptar os modelos do Amazon Titan aos dados específicos do domínio, preservando a funcionalidade básica dos modelos do Amazon Titan. Para criar um trabalho de pré-treinamento contínuo, navegue até o console do Amazon Bedrock e clique em “Modelos personalizados”. Navegue até a página do modelo personalizado que tem duas guias: Modelos e Trabalhos de treinamento. Ambas as guias fornecem um menu suspenso “Personalizar modelo” à direita. Selecione “Pré-treinamento contínuo” no menu suspenso para navegar até “Criar trabalho de pré-treinamento contínuo”. Você fornecerá o modelo de origem, o nome, a criptografia do modelo, os dados de entrada, os hiperparâmetros e os dados de saída. Além disso, você pode fornecer tags junto com detalhes sobre perfis do AWS Identity and Access Management (IAM) e políticas de recursos para o trabalho.

Exclusiva do Amazon Bedrock, a família de modelos do Amazon Titan incorpora os 25 anos de experiência da Amazon inovando com IA e machine learning em todos os setores da empresa. Os FMs do Amazon Titan oferecem aos clientes uma variedade de opções de modelos de imagem, multimodais e de texto de alta performance, por meio de uma API totalmente gerenciada. Os modelos do Amazon Titan são criados pela AWS e pré-treinados em grandes conjuntos de dados, o que os torna avançados e prontos para uso geral, criados para dar suporte a uma variedade de casos de uso, além de apoiar o uso responsável da IA. Use-os como estão ou personalize-os de forma privada com seus próprios dados. Saiba mais sobre o Amazon Titan.

Para saber mais sobre os dados processados ​​para desenvolver e treinar modelos de base do Amazon Titan, acesse a página Amazon Titan Model Training and Privacy.

Os formatos de dados compatíveis incluem arquivos .pdf, .txt, .md, .html, .doc e .docx, .csv, .xls e .xlsx. Os arquivos devem ser carregados para o Amazon S3. Aponte para a localização dos seus dados no Amazon S3, e o Amazon Bedrock Knowledge Bases cuidará de todo o fluxo de trabalho de ingestão no seu banco de dados de vetores.

O Amazon Bedrock Knowledge Bases oferece três opções para fragmentar o texto antes de convertê-lo em incorporações. 

1.  Opção padrão: o Amazon Bedrock Knowledge Bases divide automaticamente seu documento em partes, cada uma contendo 200 tokens, garantindo que uma frase não seja quebrada no meio. Se um documento contiver menos de 200 tokens, ele não será mais dividido. Uma sobreposição de 20% de tokens é mantida entre dois blocos consecutivos.

2.  Divisão de tamanho fixo: nessa opção, você pode especificar o número máximo de tokens por bloco e a porcentagem de sobreposição entre os blocos do Amazon Bedrock Knowledge Bases, para que seu documento seja automaticamente dividido em partes, garantindo que uma frase não seja dividida no meio. 

3.  Opção de criar uma incorporação por documento: o Amazon Bedrock cria uma incorporação por documento. Essa opção é adequada se você pré-processou os documentos dividindo-os em arquivos separados e não deseja que o Amazon Bedrock os fragmente ainda mais.

Atualmente, o Amazon Bedrock Knowledge Bases usa a versão mais recente do modelo Incorporador de texto do Amazon Titan disponível no Amazon Bedrock. O modelo Titan Text Embeddings V2 é compatível com 8 mil tokens e oferece suporte para mais de 100 linguagens, gerando incorporações com dimensões flexíveis de 256, 512 e 1.024. 

O Amazon Bedrock Knowledge Bases cuida de todo o fluxo de trabalho de ingestão, convertendo seus documentos em incorporações (vetores) e armazenando as incorporações em um banco de dados de vetores especializado.  O Amazon Bedrock Knowledge Bases oferece suporte a bancos de dados populares para armazenamento de vetores, incluindo o mecanismo de pesquisa vetorial para Amazon OpenSearch Serverless, Pinecone, Redis Enterprise Cloud, Amazon Aurora (em breve) e MongoDB (em breve). Se você não tiver um banco de dados de vetores existente, o Amazon Bedrock criará um armazenamento vetorial do OpenSearch Sem Servidor para você.

Dependendo do seu caso de uso, você pode usar o Amazon EventBridge para criar uma sincronização periódica ou orientada por eventos entre Amazon S3 e o Amazon Bedrock Knowledge Bases.

A avaliação de modelo no Amazon Bedrock permite avaliar, comparar e selecionar os melhores FMs para seu caso de uso em apenas algumas etapas curtas. O Amazon Bedrock oferece a opção entre avaliação automática e avaliação humana. Você pode usar a avaliação automática com métricas predefinidas, como precisão, robustez e toxicidade. Você pode usar fluxos de trabalho de avaliação humana para métricas subjetivas ou personalizadas, como simpatia, estilo e alinhamento com o tom de voz da marca. Para a avaliação humana, é possível aproveitar seus próprios funcionários ou uma equipe gerenciada pela AWS como revisores. A avaliação do modelo no Amazon Bedrock fornece conjuntos de dados selecionados integrados, ou você pode trazer seus próprios conjuntos de dados.

Você pode analisar uma variedade de métricas predefinidas, como precisão, robustez e toxicidade, usando avaliações automáticas. Também é possível usar fluxos de trabalho de avaliação humana para métricas subjetivas ou personalizadas, como simpatia, relevância, estilo e alinhamento com o tom de voz da marca.

As avaliações automáticas permitem que você reduza rapidamente a lista de FMs disponíveis em relação aos critérios padrão (como precisão, toxicidade e robustez). As avaliações humanas são frequentemente usadas para avaliar critérios mais sutis ou subjetivos que exigem julgamento humano e nos casos para os quais talvez não existam avaliações automáticas (como tom de voz da marca, intenção criativa, simpatia).

Você pode avaliar rapidamente os modelos do Amazon Bedrock para métricas como precisão, robustez e toxicidade, usando conjuntos de dados integrados selecionados ou trazendo conjuntos de dados de prompts próprios. Depois que os conjuntos de dados de prompts são enviados aos modelos do Amazon Bedrock para inferência, as respostas do modelo são pontuadas com algoritmos de avaliação para cada dimensão. O mecanismo de back-end agrega pontuações individuais de resposta rápida em pontuações resumidas e as apresenta por meio de relatórios visuais fáceis de entender.

O Amazon Bedrock permite que você configure fluxos de trabalho de revisão humana em algumas etapas curtas e aproveite os funcionários internos ou use uma equipe especializada gerenciada pela AWS para avaliar modelos. Por meio da interface intuitiva do Amazon Bedrock, as pessoas podem revisar e dar feedback sobre as respostas do modelo clicando nos polegares para cima ou para baixo, avaliando em uma escala de 1 a 5, escolhendo a melhor das várias respostas ou classificando os prompts. Por exemplo, um membro da equipe pode ver como dois modelos respondem ao mesmo prompt e, em seguida, ser solicitado a selecionar o modelo que mostra resultados mais precisos, relevantes ou estilísticos. É possível especificar os critérios de avaliação que são mais importantes para você personalizando as instruções e os botões que aparecerão na interface do usuário de avaliação da equipe. Você também pode fornecer instruções detalhadas com exemplos e o objetivo geral da avaliação do modelo, para que os usuários possam alinhar o trabalho de maneira adequada. Esse método é útil para avaliar critérios subjetivos que exigem julgamento humano ou conhecimentos mais diferenciados no assunto e que não podem ser facilmente julgados por avaliações automáticas.

O Amazon Bedrock Guardrails ajuda você a implementar salvaguardas para suas aplicações de IA generativa com base nos seus casos de uso e políticas de IA responsável. O Guardrails ajuda a controlar a interação entre usuários e (FMs) filtrando conteúdo indesejável e prejudicial e, em breve, ocultará informações de identificação pessoal (PII), aprimorando a segurança e a privacidade do conteúdo nas aplicações de IA generativa. Você pode criar várias barreiras de proteção com diferentes configurações personalizadas para casos de uso específicos. Além disso, com a barreira de proteção, é possível monitorar e analisar continuamente entradas de usuários e respostas de FMs que possam violar políticas definidas pelo cliente.

O Guardrails auxilia você a definir um conjunto de políticas para ajudar a proteger as aplicações de IA generativa. Em uma barreira de proteção, é possível configurar as políticas a seguir.

• Tópicos negados: ajudam você a definir um conjunto de tópicos que não são desejáveis no contexto da aplicação. Por exemplo, um assistente de serviços bancários on-line pode ser projetado para evitar consultorias de investimento.
• Filtros de conteúdo: ajudam você a configurar limites para filtrar conteúdo nocivo nas categorias de ódio, insultos, teor sexual e violência.
• Filtros de palavras: ajudam você a definir um conjunto de palavras para bloquear nas entradas de usuário e nas respostas geradas pelo FM.
• Ocultação de PII: ajuda você a selecionar um conjunto de PII que pode ser ocultado em respostas geradas pelo FM. Com base no caso de uso, o Guardrails também pode ajudá-lo a bloquear a entrada de um usuário se ela contiver PII.
• Verificações contextuais de aterramento: ajudam a detectar e filtrar alucinações se as respostas não estiverem fundamentadas (por exemplo, informações factualmente imprecisas ou novas) nas informações de origem e forem irrelevantes para a consulta ou instrução do usuário.

As barreiras de proteção podem ser usadas ​​com todos os grandes modelos de linguagem (LLMs) disponíveis no Amazon Bedrock. Ele também pode ser usado com FMs aprimorados, bem como com o Agents for Amazon Bedrock.

A AWS oferece uma indenização ilimitada de propriedade intelectual (IP) por reivindicações de direitos autorais decorrentes da produção generativa dos seguintes serviços de IA generativa da Amazon amplamente disponíveis: modelos do Amazon Titan, nível profissional do Amazon CodeWhisperer e outros serviços listados na Seção 50.10 dos Termos de serviço (os “Serviços de IA generativa Indenizáveis”). Isso significa que os clientes estão protegidos contra reivindicações de terceiros alegando violação de direitos autorais pela saída gerada pelos Serviços de IA generativa indenizáveis em resposta a entradas ou outros dados fornecidos pelo cliente. Os clientes também devem usar os serviços com responsabilidade, como não inserir dados infringentes nem desabilitar os recursos de filtragem de um serviço.

Além disso, nossa indenização padrão de IP pelo uso dos serviços protege os clientes de reivindicações de terceiros alegando violação de IP (incluindo reivindicações de direitos autorais) pelos serviços e pelos dados usados para treiná-los.

Existem cinco políticas de barreira de proteção, cada uma com diferentes proteções disponíveis para uso

• Filtros de conteúdo: existem seis categorias disponíveis para uso, nomeadamente, disseminação de ódio, insultos, conteúdo sexual, violência, comportamento impróprio (incluindo atividades criminosas) e ataques de prompt (jailbreak e injeção de prompt). Cada categoria pode ter limites de filtragem ainda mais personalizados, oferecendo opções de baixa, média ou alta agressividade.
• Tópico negado: são tópicos personalizados que o cliente pode definir usando descrições simples em linguagem natural
• Filtro de informações confidenciais: inclui mais de 30 PIIs disponíveis para uso. Esse filtro pode ser ainda mais personalizado ao adicionar as informações confidenciais do cliente.
• Filtros de palavras: inclui filtragem de palavrões disponível para uso e pode ser ajustado de forma adicional com palavras personalizadas.
• As verificações de fundamento contextual: podem ajudar a detectar alucinações em aplicações de conversas, resumos e RAG, em que as informações de origem podem ser usadas como referência para validar a resposta do modelo.

O modelo de base tem salvaguardas nativas e são as proteções padrão associadas a cada modelo. Essas proteções nativas NÃO fazem parte do Amazon Bedrock Guardrails. O Amazon Bedrock Guardrails é uma camada adicional de proteções personalizadas que podem ser aplicadas opcionalmente pelo cliente com base nos requisitos de suas aplicações e em políticas de IA responsável.

Como parte do Amazon Bedrock Guardrails, o SSN e a detecção de números de telefone fazem parte das mais de 30 PIIs disponíveis no mercado. Consulte a lista completa aqui.

Há um custo separado para usar o Amazon Bedrock Guardrails. Esse custo é aplicável tanto para a entrada quanto para a saída. Os preços estão disponíveis ao final da página disponibilizada aqui.

Sim, as APIs do Amazon Bedrock Guardrail ajudam os clientes a executar testes automatizados. O uso do “criador de casos de teste” pode ser recomendável antes da implantação de barreiras de proteção na produção. Ainda não existe um criador de casos de teste nativo. Para o monitoramento contínuo do tráfego de produção, as barreiras de proteção ajudam a fornecer registros detalhados de todas as violações para cada entrada e saída. Dessa forma, os clientes podem monitorar, de maneira granular, cada entrada e cada saída da aplicação com tecnologia de IA generativa. Esses logs podem ser armazenados no CloudWatch ou no S3 e podem ser usados ​​para criar painéis personalizados com base nos requisitos dos clientes.