Domande frequenti su Amazon Bedrock

Gli agenti di Amazon Bedrock sono funzionalità completamente gestite che semplificano la creazione di applicazioni di IA generativa in grado di completare attività per un'ampia gamma di casi d'uso e fornire risposte aggiornate basate su fonti di conoscenza proprietarie. In pochi passaggi, gli agenti di Amazon Bedrock suddividono automaticamente le attività e creano un piano di orchestrazione, senza alcuna codifica manuale. L'agente si connette in modo sicuro ai dati aziendali tramite un'API, convertendo automaticamente i dati in un formato leggibile dalla macchina e arricchendo la richiesta con informazioni pertinenti per generare la risposta più accurata. Gli agenti possono quindi chiamare automaticamente le API per soddisfare la richiesta di un utente. Ad esempio, un'azienda manifatturiera potrebbe voler sviluppare un'applicazione di IA generativa che automatizzi il monitoraggio dei livelli di inventario, dei dati di vendita, delle informazioni sulla catena di approvvigionamento e che possa consigliare punti e quantità di riordino ottimali per massimizzare l'efficienza. In quanto funzionalità completamente gestite, gli agenti di Amazon Bedrock rimuovono l'indifferenziato problema della gestione dell'integrazione dei sistemi e del provisioning dell'infrastruttura, consentendo agli sviluppatori di utilizzare appieno l'IA generativa in tutta l'organizzazione.

Puoi connettere in modo sicuro gli FM alle origini dati aziendali utilizzando gli agenti di Amazon Bedrock. Grazie alla knowledge base della tua azienda, puoi utilizzare gli agenti per fornire ai FM di Amazon Bedrock l'accesso ai dati che aiutano il modello a generare risposte più pertinenti, specifiche del contesto e accurate senza riqualificare continuamente l'FM. In base all'input dell'utente, gli agenti identificano la knowledge base appropriata, recuperano le informazioni pertinenti e aggiungono le informazioni al prompt di input, fornendo al modello ulteriori informazioni contestuali per generare un completamento.

Gli agenti di Amazon Bedrock possono aiutarti ad aumentare la produttività, migliorare l'esperienza del servizio clienti e automatizzare i flussi di lavoro (quali l'elaborazione dei reclami assicurativi).

Con gli agenti, gli sviluppatori hanno un supporto perfetto per il monitoraggio, la crittografia, le autorizzazioni utente, il controllo delle versioni e la gestione delle invocazioni API senza scrivere codice personalizzato. Gli agenti di Amazon Bedrock automatizzano la progettazione dei prompt e l'orchestrazione delle attività richieste dagli utenti. Gli sviluppatori possono utilizzare il modello di prompt creato dall'agente come base per perfezionarlo ulteriormente e ottenere un'esperienza utente migliorata. Possono aggiornare l'input dell'utente, il piano di orchestrazione e la risposta dell'FM. Con l'accesso al modello di prompt, gli sviluppatori hanno un migliore controllo sull'orchestrazione dell'agente.

Con gli agenti completamente gestiti, non devi preoccuparti del provisioning o della gestione dell'infrastruttura e puoi portare le applicazioni in produzione più rapidamente.

Qualsiasi contenuto del cliente elaborato da Amazon Bedrock viene crittografato e archiviato inattivo nella regione AWS in cui utilizzi Amazon Bedrock.

No. Gli input degli utenti e gli output del modello non sono condivisi con nessun fornitore di modelli.

Amazon Bedrock offre diverse funzionalità per supportare i requisiti di sicurezza e privacy. Amazon Bedrock è soggetto a standard di conformità comuni come l'idoneità al Fedramp Moderate, Service and Organization Control (SOC), International Organization for Standardization (ISO), Health Insurance Portability and Accountability Act (HIPAA) e i clienti possono utilizzare Bedrock in conformità al Regolamento generale sulla protezione dei dati (GDPR). Amazon Bedrock è incluso nell'ambito dei report SOC 1, 2, 3, che consentono ai clienti di ottenere informazioni sui nostri controlli di sicurezza. Dimostriamo la conformità attraverso verifiche approfondite di terze parti dei nostri controlli AWS. Amazon Bedrock è uno dei servizi AWS conformi agli standard ISO 9001, ISO 27001, ISO 27017, ISO 27018, ISO 27701, ISO 22301 e ISO 20000. Amazon Bedrock è certificato CSA Security Trust Assurance and Risk (STAR) di livello 2, che convalida l'uso delle migliori pratiche e il livello di sicurezza delle offerte cloud AWS. Con Amazon Bedrock, i tuoi contenuti non vengono utilizzati per migliorare i modelli di base e non vengono condivisi con nessun fornitore di modelli. Puoi utilizzare AWS PrivateLink per stabilire una connettività privata dal tuo VPC Amazon ad Amazon Bedrock, senza dover esporre i tuoi dati al traffico Internet.

No, AWS e i fornitori di modelli di terze parti non utilizzeranno alcun input o output di Amazon Bedrock per addestrare Amazon Titan o altri modelli di terze parti.

Amazon Bedrock supporta gli SDK per i servizi di runtime. Gli SDK iOS e Android, oltre a quelli Java, JS, Python, CLI, .Net, Ruby, PHP, Go e C++, supportano sia l'input di testo che quello vocale.

Lo streaming è supportato per tutti gli SDK.

Consulta la pagina dei prezzi di Amazon Bedrock per informazioni aggiornate sui prezzi.

A seconda del contratto di Supporto AWS scelto, per Amazon Bedrock sono disponibili i piani di supporto Developer, Business ed Enterprise.

Puoi utilizzare i parametri di CloudWatch per tracciare i token di input e output.

Abbiamo avviato il pre-addestramento continuo per i modelli Amazon Titan Text Express e Amazon Titan su Amazon Bedrock. Il pre-addestramento continuo consente di continuare il pre-addestramento su un modello base di Amazon Titan utilizzando grandi quantità di dati non etichettati. Questo tipo di addestramento adatterà il modello da un corpus di dominio generale a un corpus di dominio più specifico come medico, legale, finanziario e così via pur preservando la maggior parte delle funzionalità del modello base Amazon Titan. 

Le aziende potrebbero voler creare modelli per attività in un dominio specifico. I modelli base potrebbero non essere addestrati sul gergo tecnico utilizzato in quel dominio specifico. Pertanto, la messa a punto diretta del modello base richiede grandi quantità di record di addestramento etichettati e una formazione di lunga durata per ottenere risultati accurati. Per alleggerire questo onere, il cliente può invece fornire grandi quantità di dati non etichettati per un lavoro di pre-addestramento continuo. Questo lavoro adatterà il modello base Amazon Titan al nuovo dominio. Quindi il cliente può adattare il nuovo modello personalizzato pre-addestrato alle attività a valle utilizzando un numero significativamente inferiore di record di addestramento etichettati e con una durata di addestramento inferiore. 

Pre-addestramento continuo e Messa a punto di Amazon Bedrock hanno requisiti molto simili. Per questo motivo, stiamo scegliendo di creare API unificate che supportino sia il pre-addestramento continuo che la messa a punto. L'unificazione delle API riduce la curva di apprendimento e aiuterà i clienti a utilizzare funzionalità standard come Amazon EventBridge per tenere traccia dei lavori di lunga durata, l'integrazione Amazon S3 per il recupero dei dati di addestramento, i tag delle risorse e la crittografia dei modelli. 

La funzionalità pre-addestramento continuo consente di adattare i modelli Amazon Titan ai dati specifici del dominio, preservando al contempo le funzionalità di base dei modelli Amazon Titan. Per creare un lavoro di pre-addestramento continuo, accedi alla console di Amazon Bedrock e fai clic su “Modelli personalizzati”. Passerai alla pagina del modello personalizzato che contiene due schede: Modelli e Lavori di addestramento. Entrambe le schede forniscono un menu a discesa sulla destra chiamato “Personalizza modello”. Seleziona “Pre-addestramento continuo” dal menu a discesa per accedere a “Crea lavoro di pre-addestramento continuo”. Fornirai il modello di origine, il nome, la crittografia del modello, i dati di input, gli iperparametri e i dati di output. Inoltre, puoi fornire tag insieme a dettagli sui ruoli di AWS Identity and Access Management (IAM) e sulle policy delle risorse per il lavoro.

In esclusiva per Amazon Bedrock, la famiglia di modelli Amazon Titan incorpora i 25 anni di esperienza di Amazon nell'innovazione con l'intelligenza artificiale e il machine learning in tutta l'attività. I modelli di fondazione di Amazon Titan offrono ai clienti un'ampia gamma di modelli di immagini, multimodali e di testo ad alte prestazioni, tramite un'API completamente gestita. I modelli Amazon Titan sono creati da AWS e pre-addestrati su set di dati di grandi dimensioni, il che li rende modelli potenti e generici creati per supportare una varietà di casi d'uso, supportando al contempo l'uso responsabile dell'intelligenza artificiale. Usali così come sono o personalizzali privatamente con i tuoi dati. Scopri di più su Amazon Titan.

Per ulteriori informazioni sui dati elaborati per sviluppare e addestrare gli FM di Amazon Titan, visita la pagina Addestramento e privacy del modello Amazon Titan.

I formati di dati supportati includono i file .pdf, .txt, .md, .html, .doc e .docx, .csv, .xls e .xlsx. I file devono essere caricati su Amazon S3. Indica la posizione dei dati in Amazon S3 e le Knowledge Base di Amazon Bedrock si occuperanno dell'intero flusso di lavoro di inserimento nel database vettoriale.

Le Knowledge Base di Amazon Bedrock offrono tre opzioni per suddividere il testo prima di convertirlo in embedding. 

1.  Opzione predefinita: le Knowledge Base di Amazon Bedrock dividono automaticamente il documento in blocchi contenenti ciascuno 200 token, assicurando che una frase non venga interrotta a metà. Se un documento contiene meno di 200 token, non viene ulteriormente suddiviso. Viene mantenuta una sovrapposizione del 20% dei token tra due blocchi consecutivi.

2.  Suddivisione in blocchi a dimensione fissa: con questa opzione, puoi specificare il numero massimo di token per blocco e la percentuale di sovrapposizione tra i blocchi per consentire alle Knowledge Base di Amazon Bedrock di dividere automaticamente il documento in blocchi assicurando che una frase non venga interrotta a metà. 

3.  Crea un'opzione di incorporamento per documento: Amazon Bedrock crea un'opzione di incorporamento per documento. Questa opzione è adatta se hai preelaborato i tuoi documenti suddividendoli in file separati e non desideri che Amazon Bedrock li suddivida ulteriormente.

Al momento, le Knowledge Base di Amazon Bedrock utilizzano l'ultima versione del modello di Embedding di testo Amazon Titan disponibile in Amazon Bedrock. Il modello Titan Text Embeddings V2 supporta 8.000 token e oltre 100 lingue e crea incorporamenti di dimensioni flessibili di 256, 512 e 1.024. 

Le Knowledge Base di Amazon Bedrock si occupano dell'intero flusso di lavoro di inserimento che consiste nella conversione dei documenti in embedding (vettoriali) e nell'archiviazione di embedding in un database vettoriale specializzato.  Le Knowledge Base di Amazon Bedrock supportano i database più diffusi per l'archiviazione vettoriale, incluso il motore vettoriale per Amazon OpenSearch Serverless, Pinecone, Redis Enterprise Cloud, Amazon Aurora (disponibile a breve) e MongoDB (disponibile a breve). Se non disponi di un database vettoriale esistente, Amazon Bedrock crea per te un archivio vettoriale per OpenSearch Serverless.

A seconda del caso d'uso, puoi utilizzare Amazon EventBridge per creare una sincronizzazione periodica o basata su eventi tra Amazon S3 e le Knowledge Base di Amazon Bedrock.

Valutazione di modelli su Amazon Bedrock ti consente di valutare, confrontare e selezionare il modello di fondazione migliore per il tuo caso d'uso in pochi passaggi. Amazon Bedrock offre una scelta tra valutazione automatica e valutazione umana. Puoi utilizzare la valutazione automatica con parametri predefiniti come precisione, robustezza e tossicità. Puoi utilizzare i flussi di lavoro di valutazione umana per parametri soggettivi o personalizzati, come cordialità, stile e allineamento alla voce del marchio. Per la valutazione umana, puoi affidarti ai tuoi dipendenti interni o a un team gestito da AWS come revisori. Valutazione di modelli su Amazon Bedrock fornisce set di dati curati integrati, in alternativa puoi fornire i tuoi set di dati.

Puoi valutare diversi parametri predefiniti come precisione, robustezza e tossicità utilizzando valutazioni automatiche. Puoi anche utilizzare i flussi di lavoro di valutazione umana per parametri soggettivi o personalizzati, come cordialità, pertinenza, stile e allineamento alla voce del marchio.

Le valutazioni automatiche consentono di restringere rapidamente l'elenco degli FM disponibili in base a criteri standard (come precisione, tossicità e robustezza). Le valutazioni umane vengono spesso utilizzate per valutare criteri più sfumati o soggettivi che richiedono il giudizio umano e laddove potrebbero non esistere valutazioni automatiche (come la voce del marchio, l'intento creativo, la cordialità).

Puoi valutare rapidamente i modelli Amazon Bedrock in base a parametri quali precisione, robustezza e tossicità usando set di dati integrati curati o fornendo i set di dati richiesti. Dopo che i set di dati richiesti sono stati inviati ai modelli Amazon Bedrock per l'inferenza, le risposte del modello vengono valutate con algoritmi di valutazione per ogni dimensione. Il motore di backend aggrega i singoli punteggi delle risposte alle richieste in punteggi riassuntivi e li presenta attraverso report visivi di facile comprensione.

Amazon Bedrock ti consente di configurare flussi di lavoro di revisione umana in pochi passaggi e coinvolgere i tuoi dipendenti interni o sfruttare un team di esperti gestito da AWS per valutare i modelli. Attraverso l'interfaccia intuitiva di Amazon Bedrock, gli esseri umani possono esaminare e fornire un feedback sulle risposte dei modelli facendo clic sul pollice in alto o in basso, valutando su una scala da 1 a 5, scegliendo la migliore tra più risposte o classificando le richieste. Ad esempio, a un membro del team può essere mostrato come due modelli rispondono alla stessa richiesta e quindi gli viene chiesto di selezionare il modello che mostra risultati più accurati, pertinenti o stilistici. Puoi specificare i criteri di valutazione che ti interessano, personalizzando le istruzioni e i pulsanti da visualizzare nell'interfaccia utente di valutazione del tuo team. Puoi anche fornire istruzioni dettagliate con esempi e l'obiettivo generale della valutazione del modello, in modo che gli utenti possano allineare il loro lavoro di conseguenza. Questo metodo è utile per valutare criteri soggettivi che richiedono un giudizio umano o competenze più approfondite in materia e che non possono essere facilmente giudicati mediante valutazioni automatiche.

I Guardrail di Amazon Bedrock ti aiutano a implementare misure di protezione per le tue applicazioni di IA generativa in base ai casi d'uso e alle policy di IA responsabile. Guardrail consente di controllare l'interazione tra gli utenti e i modelli di fondazione (FM) filtrando i contenuti indesiderati e dannosi e presto eliminerà le informazioni di identificazione personale (PII), migliorando la sicurezza dei contenuti e la privacy nelle applicazioni di IA generativa. È possibile creare più guardrail con diverse configurazioni su misura per casi d'uso specifici. Inoltre, con i guardrail puoi monitorare e analizzare continuamente gli input degli utenti e le risposte degli FM che potrebbero violare le policy definite dal cliente.

Guardrail consente di definire una serie di policy per contribuire a salvaguardare le applicazioni di IA generativa. In un guardrail è possibile configurare le seguenti policy.

• Argomenti negati: consente di definire una serie di argomenti indesiderati nel contesto dell'applicazione. Ad esempio, un assistente bancario online può essere progettato per astenersi dal fornire consulenza in materia di investimenti.
• Filtri dei contenuti: consente di configurare le soglie per filtrare i contenuti dannosi in base alle categorie di odio, insulti, sesso e violenza.
• Filtri delle parole: consente di definire una serie di parole da bloccare negli input degli utenti e nelle risposte generate dagli FM.
• Redazione delle informazioni di identificazione personale (PII): consente di selezionare una serie di PII che possono essere redatte nelle risposte generate dagli FM. In base al caso d'uso, i guardrail possono anche aiutarti a bloccare l'input di un utente se contiene informazioni di identificazione personale.
• Verifiche contestuali di base: ti consente di rilevare e filtrare le allucinazioni se le risposte non sono adeguate (ad esempio, informazioni nuove o di fatto inesatte) rispetto alle informazioni di origine e non sono pertinenti alla domanda o alle istruzioni immesse dall'utente.

I guardrail possono essere utilizzati con tutti i modelli linguistici di grandi dimensioni (LLM) disponibili su Amazon Bedrock. Possono essere utilizzati anche con FM ottimizzati e con agenti per Amazon Bedrock.

AWS offre un indennizzo non limitato alla proprietà intellettuale (IP) per le richieste di copyright derivanti dall'output generativo dei seguenti servizi di IA generativa di Amazon generalmente disponibili: modelli Amazon Titan, Amazon CodeWhisperer Professional e altri servizi elencati nella Sezione 50.10 dei Termini del servizio (i “servizi di IA generativa indennizzati”). Ciò significa che i clienti sono protetti da richieste di risarcimento da parte di terzi per violazione del copyright da parte dell'output generato dai servizi di IA generativa indennizzati in risposta a input o altri dati forniti dal cliente. I clienti devono inoltre utilizzare i servizi in modo responsabile, ad esempio non inserendo dati in violazione o disabilitando le funzionalità di filtro di un servizio.

Inoltre, la nostra indennità standard di proprietà intellettuale per l'uso dei servizi protegge i clienti da richieste di risarcimento da parte di terzi per violazione della proprietà intellettuale (comprese le richieste di risarcimento per il copyright) mediante i servizi e i dati utilizzati per la loro formazione.

Esistono cinque policy di guardrail, ciascuna con diverse protezioni pronte all'uso

• Filtri di contenuto: sono disponibili 6 categorie predefinite (odio, insulti, sesso, violenza, cattiva condotta - inclusa attività criminale) e attacco immediato (violazione e iniezione immediata). Ogni categoria può avere soglie ulteriormente personalizzate in termini di aggressività del filtraggio: bassa/media/alta.
• Argomento negato: si tratta di argomenti personalizzati che il cliente può definire utilizzando una semplice descrizione in linguaggio naturale
• Filtro per informazioni sensibili: include oltre 30 informazioni di identificazione personale pronte all'uso. Può essere ulteriormente personalizzato aggiungendo informazioni proprietarie sensibili del cliente.
• Filtri per parole: viene fornito con filtri per parolacce pronti all'uso e può essere ulteriormente personalizzato con parole personalizzate.
• Controlli di base contestuali: possono consentire di rilevare allucinazioni per applicazioni RAG, di riepilogo e di conversazione, in cui le informazioni di origine possono essere utilizzate come riferimento per convalidare la risposta del modello.

I modelli di fondazione hanno protezioni native e sono le protezioni predefinite associate a ciascun modello. Queste protezioni native NON fanno parte dei Guardrail di Amazon Bedrock. I Guardrail di Amazon Bedrock rappresentano un ulteriore livello di protezioni personalizzate che possono essere applicate opzionalmente dal cliente in base ai requisiti applicativi e alle politiche di IA responsabile.

Come parte dei Guardrail di Amazon Bedrock, l'SSN e il rilevamento dei numeri di telefono fanno parte degli oltre 30 PII pronti all'uso. L'elenco completo è disponibile qui.

C'è un costo separato per l'utilizzo di Guardrail di Amazon Bedrock. Può essere applicato sia per l'input che per l'output. I prezzi sono riportati in fondo alla pagina qui.

Sì, le API Guardrail di Amazon Bedrock aiutano i clienti a eseguire test automatici. Il "test case builder" potrebbe essere qualcosa da utilizzare prima di implementare i guardrail in produzione. Non esiste ancora un "test case builder" nativo. Per il monitoraggio continuo del traffico di produzione, i guardrail forniscono log dettagliati di tutte le violazioni per ogni input e output, in modo che i clienti possano monitorare in modo granulare ogni input in entrata e in uscita dalla loro applicazione di IA generativa. Questi log possono essere archiviati in CloudWatch o S3 e possono essere utilizzati per creare dashboard personalizzate in base alle esigenze dei clienti.