Amazon Bedrock FAQ

Amazon Bedrock 에이전트는 개발자가 생성형 AI 기반 애플리케이션을 쉽게 만들 수 있게 해주는 완전관리형 기능으로, 독점적 지식 소스를 기반으로 다양한 사용 사례에 대한 작업을 완료하고 최신 답변을 제공할 수 있습니다. Amazon Bedrock 에이전트를 사용하면 수동 코딩 없이 간단한 몇 단계로 태스크를 자동으로 분류하고 오케스트레이션 계획을 만들 수 있습니다. 에이전트는 API를 통해 회사 데이터에 안전하게 연결하여 데이터를 시스템이 읽을 수 있는 형식으로 자동 변환하고 관련 정보로 요청을 강화함으로써 가장 정확한 응답을 생성합니다. 그런 다음 에이전트는 자동으로 API를 직접적으로 호출하여 사용자의 요청을 이행할 수 있습니다. 예를 들어 제조사는 재고 수준, 판매 데이터, 공급망 정보 추적을 자동화하고 효율성을 극대화하기 위해 최적의 재주문 시점과 수량을 추천할 수 있는 생성형 AI 애플리케이션을 개발하고자 할 수 있습니다. 완전관리형 기능인 Amazon Bedrock 에이전트로 시스템 통합 및 인프라 프로비저닝 관리라는 획일적인 작업을 처리하면 조직 전체에서 생성형 AI를 완벽하게 활용할 수 있습니다.

Amazon Bedrock 에이전트를 사용하여 FM을 회사 데이터 소스에 안전하게 연결할 수 있습니다. 에이전트를 사용하여 Amazon Bedrock의 FM에 기술 자료를 제공할 수 있습니다. 모델은 이러한 추가 데이터에 액세스하여 관련성이 더 높고 상황에 따라 다르며 정확한 응답을 생성할 수 있습니다. 이렇게 하면 FM을 지속적으로 재훈련하지 않아도 됩니다. 에이전트는 사용자 입력을 기반으로 적절한 기술 자료를 식별하고, 관련 정보를 검색하고, 입력 프롬프트에 정보를 추가하여 모델에 더 많은 컨텍스트 정보를 제공함으로써 완성본을 생성합니다.

Amazon Bedrock 에이전트는 생산성을 높이고, 고객 서비스 경험을 개선하고, 워크플로를 자동화(예: 보험 청구 처리)하는 데 도움이 될 수 있습니다.

에이전트를 통해 개발자는 사용자 지정 코드를 작성하지 않고도 모니터링, 암호화, 사용자 권한, 버전 관리 및 API 간접 호출 관리를 원활하게 지원할 수 있습니다. Amazon Bedrock 에이전트는 사용자가 요청한 작업의 프롬프트 엔지니어링 및 오케스트레이션을 자동화합니다. 개발자는 에이전트를 통해 생성된 프롬프트 템플릿을 기준으로 이를 구체화하여 사용자 경험을 개선할 수 있습니다. 사용자 입력, 오케스트레이션 계획, FM 응답을 업데이트할 수 있습니다. 프롬프트 템플릿에 액세스할 수 있으므로 에이전트 오케스트레이션에 대한 제어가 강화됩니다.

완전관리형 에이전트를 사용하면 인프라 프로비저닝이나 관리에 대해 걱정할 필요가 없으며 애플리케이션을 더 빠르게 프로덕션 환경에 도입할 수 있습니다.

Amazon Bedrock에서 처리한 모든 고객 콘텐츠는 암호화되고, 고객이 Amazon Bedrock를 사용하고 있는 AWS 리전에 저장됩니다.

아니요. 사용자 입력 및 모델 출력은 모델 제공업체와 공유되지 않습니다.

Amazon Bedrock은 보안 및 개인 정보 보호 요구 사항을 지원하는 여러 기능을 제공합니다. Amazon Bedrock은 Fedramp Moderate, SOC(Service and Organization Control), 국제표준화기구(ISO), 건강 보험 이전 및 책임법(HIPAA)과 같은 일반적인 규정 준수 표준의 범위 내에 있으며, 고객은 일반 데이터 보호 규정(GDPR)을 준수하면서 Bedrock을 사용할 수 있습니다. Amazon Bedrock은 SOC 1, 2, 3 보고서 범위에 포함되므로 AWS 보안 제어에 대한 인사이트를 얻을 수 있습니다. AWS는 AWS 규제에 대한 광범위한 서드 파티 감사를 통해 규정 준수를 입증합니다. Amazon Bedrock은 ISO 9001, ISO 27001, ISO 27017, ISO 27018, ISO 27701, ISO 22301, ISO 20000 표준에서 ISO 규정을 준수하는 AWS 서비스입니다. Amazon Bedrock은 AWS 클라우드 서비스의 모범 사례 사용 및 보안 상태를 검증하는 CSA STAR(Security Trust Assurance and Risk) 레벨 2 인증을 받았습니다. Amazon Bedrock에서 고객의 콘텐츠는 파운데이션 모델을 개선하는 데 사용되지 않으며 모델 제공업체와 공유되지 않습니다. AWS PrivateLink를 사용하여 Amazon VPC와 Amazon Bedrock 간의 비공개 연결을 설정하면 데이터가 인터넷 트래픽에 노출되지 않습니다.

아니요. AWS와 서드 파티 모델 제공업체는 Amazon Titan 또는 서드 파티 모델을 훈련하는 데 Amazon Bedrock의 입력 또는 출력을 사용하지 않습니다.

Amazon Bedrock은 런타임 서비스를 위한 SDK를 지원합니다. iOS 및 Android SDK는 물론 Java, JS, Python, CLI, .Net, Ruby, PHP, Go 및 C++은 텍스트 및 음성 입력을 모두 지원합니다.

스트리밍은 모든 SDK에서 지원됩니다.

최신 요금 정보는 Amazon Bedrock 요금 페이지를 참조하세요.

고객의 AWS Support 계약에 따라 Developer Support, Business Support 및 Enterprise Support 플랜으로 Amazon Bedrock 지원을 받을 수 있습니다.

CloudWatch 지표를 사용하여 입력 및 출력 토큰을 추적할 수 있습니다.

Amazon Bedrock에서 Amazon Titan Text Express와 Amazon Titan 모델에 대한 지속적인 사전 훈련을 시작했습니다. 지속적인 사전 훈련을 통해 레이블이 지정되지 않은 대량의 데이터를 사용하여 Amazon Titan 기본 모델에 대한 사전 훈련을 계속할 수 있습니다. 해당 유형의 훈련은 Amazon Titan 기본 모델의 기능 대부분을 유지하면서 일반 도메인 코퍼스의 모델을 의료, 법률, 금융 등 보다 구체적인 도메인 코퍼스에 맞게 적용합니다. 

기업은 특정 도메인의 태스크를 위한 모델을 구축하고자 할 수 있습니다. 기본 모델은 특정 영역에서 사용되는 기술 전문 용어에 대해 훈련되지 않을 수 있습니다. 따라서 기본 모델을 직접 미세 조정하려면 레이블링된 많은 양의 훈련 레코드를 사용하여 장시간 훈련해야 정확한 결과를 얻을 수 있습니다. 이러한 부담을 줄이고 싶다면 레이블링되지 않은 다량의 데이터를 지속적인 사전 훈련 작업에 제공하면 됩니다. 이 작업은 Amazon Titan 기본 모델을 새 도메인에 맞게 조정합니다. 그러면 새롭게 사전 훈련된 사용자 지정 모델을 훨씬 적은 양의 레이블링된 훈련 레코드로 더 짧은 훈련 시간 내에 다운스트림 태스크에 맞게 미세 조정할 수 있습니다. 

Amazon Bedrock의 지속적인 사전 훈련과 미세 조정에서 요구하는 조건은 매우 유사합니다. 이러한 이유로 우리는 지속적인 사전 훈련과 미세 조정을 모두 지원하는 통합 API를 만들기로 결정했습니다. API를 통합하면 학습 곡선이 줄어들고 고객이 표준 기능을 사용하는 데 도움이 됩니다. 예를 들어 Amazon EventBridge를 사용하여 장시간 실행되는 작업을 추적하고, Amazon S3 통합을 통해 훈련 데이터, 리소스 태그, 모델 암호화를 가져올 수 있습니다. 

지속적인 사전 훈련은 Amazon Titan 모델의 기본 기능을 유지하면서 도메인별 데이터에 맞게 Amazon Titan 모델을 조정하는 데 도움이 됩니다. 지속적인 사전 훈련 작업을 생성하려면 Amazon Bedrock 콘솔로 이동하여 '사용자 지정 모델'을 클릭합니다. 그러면 사용자 지정 모델 페이지로 이동합니다. 이 페이지에는 모델과 훈련 작업이라는 두 개의 탭이 있습니다. 두 탭 모두 오른쪽에 ‘모델 사용자 지정’ 드롭다운 메뉴를 제공합니다. 드롭다운 메뉴에서 ‘지속적인 사전 훈련’을 선택하여 ‘지속적인 사전 훈련 작업 생성’으로 이동합니다. 소스 모델, 이름, 모델 암호화, 입력 데이터, 하이퍼파라미터 및 출력 데이터를 입력합니다. 또한 작업의 AWS Identity and Access Management(IAM)역할 및 리소스 정책에 대한 세부 정보와 함께 태그를 제공할 수 있습니다.

Amazon Bedrock에서만 독점적으로 제공되는 Amazon Titan 모델 제품군에는 비즈니스 전반에 걸쳐 AI 및 기계 학습을 사용하여 혁신해 온 Amazon의 25년 경험이 담겨 있습니다. Amazon Titan 파운데이션 모델(FM)은 완전 관리형 API를 통해 고객에게 다양한 고성능 이미지, 멀티모달 및 텍스트 모델을 제공합니다. Amazon Titan 모델은 AWS에서 만들고 대규모 데이터 세트를 대상으로 사전 훈련되므로 다양한 사용 사례를 지원하면서 동시에 AI의 책임 있는 사용도 지원하도록 구축된 강력한 범용 모델입니다. 그대로 사용하거나 자체 데이터로 비공개로 사용자 지정할 수 있습니다. Amazon Titan에 대해 자세히 알아보세요.

Amazon Titan FM 개발 및 훈련을 위해 처리되는 데이터에 대해 자세히 알아보려면 Amazon Titan Model Training & Privacy 페이지로 이동하세요.

지원되는 데이터 형식으로는 .pdf, .txt, .md, .html, .doc and .docx, .csv, .xls, .xlsx 파일이 있습니다. 파일을 Amazon S3에 업로드해야 합니다. Amazon S3에 있는 데이터의 위치를 가리켜 Amazon Bedrock 지식 기반이 벡터 데이터베이스의 전체 수집 워크플로를 처리합니다.

Amazon Bedrock 지식 기반에서 텍스트를 임베딩으로 변환하기 전에 청크로 분할하는 옵션은 세 가지입니다. 

1.  기본 옵션: Amazon Bedrock 지식 기반을 통해 문서가 자동으로 청크로 분할됩니다. 각 청크에는 토큰 200개가 포함되며 문장이 중간에 끊기지 않습니다. 문서에 포함된 토큰이 200개 미만이면 더 이상 분할되지 않습니다. 두 개의 연속된 청크 간에는 토큰 20%의 중첩이 유지됩니다.

2.  고정 크기 청킹: 이 옵션을 사용할 때는 청크당 최대 토큰 수와 청크 간 중첩 비율을 지정합니다. 그러면 Amazon Bedrock 지식 기반이 문장을 중간에 끊지 않으면서 문서를 자동으로 청크로 분할합니다. 

3.  문서당 하나의 임베딩 생성 옵션: Amazon Bedrock에서 문서당 하나의 임베딩이 생성됩니다. 이 옵션은 문서를 개별 파일로 분할하여 사전 처리한 후 Amazon Bedrock을 통해 문서를 더 이상 분할하지 않으려는 경우에 적합합니다.

현재 Amazon Bedrock 지식 기반은 Amazon Bedrock에서 사용할 수 있는 최신 버전의 Amazon Titan Text Embeddings 모델을 사용합니다. Titan Text Embeddings V2 모델은 8,000개 토큰과 100개 이상의 언어를 지원하며 차원 크기가 256, 512 및 1,024인 유연한 임베딩을 생성합니다. 

Amazon Bedrock 지식 기반은 문서를 임베딩(벡터)으로 변환하고 임베딩을 특수한 벡터 데이터베이스에 저장하는 전체 수집 워크플로를 처리합니다.  Amazon Bedrock 지식 기반은 Amazon OpenSearch Serverless용 벡터 엔진, Pinecone, Redis Enterprise Cloud, Amazon Aurora(제공 예정), MongoDB(제공 예정) 등 주요 데이터베이스를 벡터 스토리지로 지원합니다. 기존 벡터 데이터베이스가 없는 경우 Amazon Bedrock이 OpenSearch Serverless 벡터 스토어를 자동으로 생성합니다.

사용 사례에 따라 Amazon EventBridge를 사용하여 Amazon S3와 Amazon Bedrock 지식 기반 간의 주기적 또는 이벤트 기반 동기화를 생성할 수 있습니다.

Amazon Bedrock의 모델 평가 기능을 활용하면 몇 단계만 거쳐서 파운데이션 모델(FM)을 평가하고 비교한 후 사용 사례에 가장 적합한 모델을 선택할 수 있습니다. Amazon Bedrock에서는 자동 평가와 인적 평가 중 원하는 방식을 선택할 수 있습니다. 정확도, 안정성, 유해성 등의 미리 정의된 지표를 적용하여 자동 평가를 사용할 수 있습니다. 호감도, 스타일, 브랜드와의 통일성과 같은 주관적 지표나 사용자 지정 지표의 경우 인적 평가 워크플로를 사용할 수 있습니다. 인적 평가에서는 사내 직원이나 AWS 관리 팀을 검토자로 활용할 수 있습니다. Amazon Bedrock의 모델 평가는 큐레이트된 데이터세트를 기본으로 제공하거나 자체 데이터세트를 가져올 수 있습니다.

자동 평가를 사용할 때는 정확성, 견고성, 유해성 등 사전 정의된 다양한 지표를 평가할 수 있습니다. 호감도, 관련성, 스타일, 브랜드와의 통일성과 같은 주관적 지표나 사용자 지정 지표의 경우 인적 평가 워크플로를 사용할 수도 있습니다.

자동 평가를 사용하면 사용 가능한 FM 목록을 표준 기준(예: 정확도, 유해성 및 견고성)과 비교하여 빠르게 좁힐 수 있습니다. 인적 기반 평가는 인간의 판단이 필요하고 자동 평가가 없을 수 있는 경우(예: 브랜드 표현, 창의적 의도, 친근감)에 보다 미묘하거나 주관적인 기준을 평가하는 데 자주 사용됩니다.

큐레이트된 기본 제공 데이터세트를 활용하거나 자체 프롬프트 데이터세트를 가져와서 정확성, 견고성 및 유해성과 같은 지표에 대해 Amazon Bedrock 모델을 신속하게 평가할 수 있습니다. 추론을 위해 프롬프트 데이터 세트를 Amazon Bedrock 모델로 전송하면 각 차원에 대한 평가 알고리즘을 사용하여 모델 응답에 대한 점수가 매겨집니다. 개별 프롬프트 응답 점수는 백엔드 엔진에서 요약 점수로 집계되고 이해하기 쉬운 시각적 보고서로 제공됩니다.

Amazon Bedrock을 사용하면 단 시간에 인적 검토 워크플로를 설정하고 사내 직원을 데려오거나 AWS 관리 전문 팀을 활용하여 모델을 평가할 수 있습니다. Amazon Bedrock의 직관적인 인터페이스를 통해 추천 및 비추천을 클릭하거나 1~5점의 점수로 평가하거나 여러 응답 중에서 가장 좋은 것을 선택하거나 프롬프트 순위를 매기는 방식으로 모델 응답을 검토하고 피드백을 제공할 수 있습니다. 예를 들어 동일한 프롬프트에 대한 두 모델의 응답을 팀 구성원에게 보여주고 더 정확하고 관련성이 높거나 문체가 좋은 출력을 표시하는 모델을 선택하도록 요청할 수 있습니다. 팀의 평가 UI에 표시할 지침과 버튼을 사용자 지정하여 중요한 평가 기준을 지정할 수 있습니다. 모델 평가의 전반적인 목표와 예제가 포함된 자세한 지침을 제공하여 사용자가 지침에 맞게 작업을 수행하도록 할 수도 있습니다. 이 방법은 인간의 판단이 필요한 주관적 기준이나 자동 평가로는 쉽게 판단할 수 없는 보다 미묘한 주제 전문 지식을 평가하는 데 유용합니다.

Amazon Bedrock 가드레일을 사용하면 사용 사례 및 책임 있는 AI 정책을 기반으로 생성형 AI 애플리케이션에 대한 보호 장치를 구현할 수 있습니다. 가드레일은 바람직하지 않은 유해 콘텐츠를 필터링하여 사용자와 파운데이션 모델(FM) 간의 상호 작용을 제어하는 데 도움이 됩니다. 개인 식별 정보(PII)를 제거하여 생성형 AI 애플리케이션의 콘텐츠 안전 및 개인 정보 보호를 강화하는 기능도 곧 제공될 예정입니다. 특정 사용 사례에 맞게 다양한 구성으로 여러 개의 가드레일을 만들 수 있습니다. 또한 가드레일로 고객 정의 정책을 위반할 수 있는 사용자 입력과 FM 응답을 지속적으로 모니터링하고 분석할 수 있습니다.

가드레일을 사용하면 생성형 AI 애플리케이션을 보호하는 데 도움이 되는 일련의 정책을 정의하는 데 도움이 됩니다. 가드레일에서 다음과 같은 정책을 구성할 수 있습니다.

• 거부된 주제: 애플리케이션의 컨텍스트에서 바람직하지 않은 주제 세트를 정의하는 데 도움이 됩니다. 예를 들어 온라인 뱅킹 도우미의 경우 투자 자문을 제공하지 않도록 설계할 수 있습니다.
• 콘텐츠 필터: 임계값을 구성하여 증오, 모욕, 성적, 폭력 카테고리에서 유해 콘텐츠를 필터링하는 데 도움이 됩니다.
• 단어 필터(제공 예정): 사용자 입력 및 FM 생성 응답에서 차단할 단어 세트를 정의하는 데 도움이 됩니다.
• PII 편집(제공 예정): FM 생성 응답에서 편집 가능한 PII 세트를 선택하는 데 도움이 됩니다. 사용 사례에 따라, 가드레일은 PII가 포함된 사용자 입력을 차단하는 데도 도움이 될 수 있습니다.
• 문맥적 근거 확인: 응답이 소스 정보에 근거하지 않고(예: 사실적으로 부정확하거나 새로운 정보) 사용자의 쿼리 또는 명령과 관련이 없는 경우 할루시네이션을 감지하고 필터링하는 문맥적 근거 확인을 지원합니다.

가드레일은 Amazon Bedrock에서 사용할 수 있는 모든 대규모 언어 모델(LLM)과 함께 사용할 수 있습니다. 미세 조정된 FM과 Agents for Amazon Bedrock에도 사용할 수 있습니다.

AWS는 Amazon Titan 모델, Amazon CodeWhisperer Professional 및 서비스 약관 섹션 50.10에 나열된 기타 서비스(‘배상 범위 내 생성형 AI 서비스’)와 같은 정식 출시된 Amazon 생성형 AI 서비스의 생성형 출력에서 발생하는 저작권 권리 주장에 대해 제한 없는 지적 재산(IP) 배상을 제공합니다. 즉, 고객이 제공한 입력 또는 기타 데이터에 대한 응답으로 배상 범위 내 생성형 AI 서비스를 통해 생성된 출력의 저작권 침해를 제기하는 제3자 권리 주장으로부터 고객을 보호합니다. 또한 고객은 침해 데이터를 입력하지 않거나 서비스의 필터링 기능을 비활성화하지 않는 등 책임감 있게 서비스를 사용해야 합니다.

더불어 서비스 사용에 대한 당사의 표준 IP 배상은 서비스 훈련에 사용된 데이터와 서비스에 의한 IP 침해(저작권 권리 주장 포함)를 주장하는 제3자 권리 주장으로부터 고객을 보호합니다.

가드레일 정책은 5가지로, 각각 다른 상용 보호 기능이 있습니다.

• 콘텐츠 필터 - 여기에는 증오, 모욕, 성적인 내용, 폭력, 위법 행위(범죄 행위 포함), 프롬프트 공격(탈옥 및 프롬프트 주입)의 6가지 상용 범주가 있습니다. 각 범주는 필터링 강도(낮음/중간/높음)에 따라 추가로 사용자 지정된 임계값을 가질 수 있습니다.
• 거부된 주제 - 고객이 간단한 자연어 설명을 사용하여 정의할 수 있는 사용자 지정 주제입니다.
• 민감한 정보 필터 - 30개 이상의 상용 PII와 함께 제공됩니다. 민감한 고객의 독점 정보를 추가하여 세밀하게 사용자 지정할 수 있습니다.
• 단어 필터 - 비속어 필터링이 기본으로 제공되며 사용자 지정 단어로 추가 사용자 지정할 수 있습니다.
• 문맥적 근거 확인 – RAG, 요약 및 대화형 애플리케이션에서 할루시네이션을 감지할 수 있으며, 소스 정보를 참조로 사용하여 모델 응답을 검증할 수 있습니다.

기초 모델에는 기본 보호 장치가 있으며 이는 각 모델과 적용된 기본 보호 장치입니다. 이러한 기본 보호 장치는 Amazon Bedrock 가드레일의 일부가 아닙니다. Amazon Bedrock 가드레일은 애플리케이션 요구 사항 및 책임 있는 AI 정책에 따라 고객이 선택적으로 적용할 수 있는 맞춤형 보호 장치의 추가 계층입니다.

Amazon Bedrock 가드레일에 포함된 SSN 및 전화번호 감지는 30개 이상의 상용 PII의 일부입니다. 전체 목록은 여기에 있습니다.

Amazon Bedrock 가드레일 사용 시 별도의 비용이 발생합니다. 입력과 출력 모두에 적용할 수 있습니다. 가격은 여기 페이지 하단에 있습니다.

예, Amazon Bedrock Guardrail API는 고객이 자동화된 테스트를 실행하는 데 도움이 됩니다. ‘테스트 케이스 빌더’는 프로덕션 환경에 가드레일을 배포하기 전에 사용하면 유용할 수 있습니다. 네이티브 테스트 케이스 빌더는 아직 없습니다. 생산 트래픽의 지속적인 모니터링을 위해 가드레일은 각 입력 및 출력에 대한 모든 위반의 세부 로그를 제공하도록 지원하므로, 고객은 생성형 AI 애플리케이션에서 들어오고 나가는 모든 입력을 세밀하게 모니터링할 수 있습니다. 이러한 로그는 CloudWatch 또는 S3에 저장할 수 있으며 고객의 요구 사항에 따라 사용자 지정 대시보드를 생성하는 데 사용할 수 있습니다.