Amazon-Bedrock-Bewertungen

Amazon Bedrock bietet Ihnen Evaluierungstools, mit denen Sie die Einführung generativer KI-Anwendungen beschleunigen können. Evaluieren, vergleichen und wählen Sie das Basismodell für Ihren Anwendungsfall mit Model Evaluation aus. Bereiten Sie Ihre auf Amazon Bedrock Knowledge Bases basierenden RAG-Anwendungen für die Produktion vor, indem Sie die Abruf- oder Abruf- und Generierungsfunktionen evaluieren.

Verwenden Sie abgerufenen und generierte Evaluationen, um die durchgängige RAG-Fähigkeit (Retrieval-Augmented Generation) Ihrer Anwendung zu evaluieren. Stellen Sie sicher, dass der generierte Inhalt korrekt und vollständig ist, Halluzinationen begrenzt und den Prinzipien verantwortungsvoller KI entspricht. Wählen Sie einfach ein inhaltsgenerierendes Modell und ein LLM aus, das Sie als Judge für Ihre Amazon-Bedrock-Wissensdatenbank verwenden möchten, laden Sie Ihren benutzerdefinierten Prompt-Datensatz hoch und wählen Sie die Metriken aus, die für Ihre Bewertung am wichtigsten sind.

Verwenden Sie „Bewertungen abrufen“ in den Evaluationen der Amazon-Bedrock-Wissensdatenbanken, um die Speicher- und Abrufeinstellungen Ihrer Amazon-Bedrock-Wissensdatenbank auszuwerten. Stellen Sie sicher, dass der abgerufene Inhalt relevant ist und die gesamte Benutzeranfrage abdeckt. Wählen Sie einfach eine Wissensdatenbank und ein LLM aus, das Sie als Judge verwenden möchten, laden Sie Ihren benutzerdefinierten Prompt-Datensatz hoch und wählen Sie die für Ihre Bewertung wichtigsten Kennzahlen aus.

Die Modellbewertung in Amazon Bedrock ermöglicht es Ihnen, automatische und menschliche Bewertungen zu verwenden, um FMs für einen bestimmten Anwendungsfall auszuwählen. Die automatische (programmatische) Modellbewertung verwendet kuratierte Datensätze und bietet vordefinierte Metriken wie Genauigkeit, Robustheit und Toxizität. Für subjektive Metriken können Sie mit Amazon Bedrock in wenigen schnellen Schritten einen Workflow zur menschliche Bewertung einrichten. Mit menschlichen Bewertungen können Sie Ihre eigenen Datensätze einbringen und benutzerdefinierte Kennzahlen wie Relevanz, Stil und Ausrichtung auf die Markenstimme definieren. Bei Workflows zur menschlichen Bewertung können Sie Ihre eigenen Mitarbeiter als Prüfer einsetzen oder Sie können ein von AWS verwaltetes Team mit der Durchführung der menschlichen Bewertung beauftragen, wobei AWS qualifizierte Gutachter anstellt und den gesamten Workflow in Ihrem Namen verwaltet. Sie können einen LLM-as-a-Judge auch verwenden, um qualitativ hochwertige Bewertungen Ihres Datensatzes mit Kennzahlen wie Richtigkeit, Vollständigkeit, Genauigkeit (Halluzination) sowie verantwortungsvollen KI-Metriken wie Antwortverweigerung und Schädlichkeit vorzunehmen.

Verwenden Sie die Vergleichsfunktion in Evaluationen, um die Ergebnisse aller Änderungen zu sehen, die Sie an Ihren Eingabeaufforderungen, den evaluierten Modellen oder den Wissensdatenbanken in Ihrem RAG-System vorgenommen haben.