• MSK 프로비저닝

  • MSK 프로비저닝은 두 가지 유형의 브로커를 제공합니다. 1) Apache Kafka를 더 쉽게 관리하고, 브로커당 최대 3배 더 많은 처리량을 제공하고, 최대 20배 더 빠르게 스케일 업하고, Standard 브로커에 비해 복구 시간을 90% 단축할 수 있도록 특별히 구축된 Express 브로커. 2) 최대한의 유연성과 제어 옵션을 제공하는 Standard 브로커. 

    Express 브로커

    Express 브로커 인스턴스 사용에 대해 시간당 요금(초 단위로 청구)을 지불하며, 요금은 Amazon MSK 클러스터의 브로커 인스턴스 크기 및 수에 따라 달라집니다. 자세한 내용은 브로커 인스턴스 요금표를 참조하세요. 클러스터에서 사용한 스토리지 양에 따라서도 비용을 지불합니다. 이는 시간당 저장된 GB를 합한 후 해당 월의 총 시간 수로 나누어 계산하며 결과는 'GB-월' 값으로 표시됩니다. 요금 예시에서 볼 수 있는 것과 같습니다. 자세한 내용은 브로커 스토리지 요금표를 참조하세요. 또한 Express 브로커에 기록된 데이터에 대해서는 GB당 요금(바이트 단위로 청구)을 지불합니다. 

    브로커 간 복제 또는 메타데이터 노드와 브로커 간 복제에 사용되는 데이터 전송에는 요금이 부과되지 않습니다. Amazon MSK 클러스터에서 데이터를 송수신할 경우 표준 AWS 데이터 전송 요금을 지불해야 합니다. 

    하나 이상의 VPC에 있는 Kafka 클라이언트를 다른 VPC에 있는 MSK 클러스터에 연결해야 하는 경우 프라이빗 연결(AWS PrivateLink 제공)을 사용할 수도 있습니다. 이 기능을 사용하면 프라이빗 연결이 설정된 각 클러스터 및 인증 체계에 대해 시간당 요금이 부과됩니다. 인증 체계는 MSK 클러스터에 대한 클라이언트 요청을 인증하는 데 사용됩니다. 또한 프라이빗 연결을 통해 처리된 데이터의 GB당 요금을 지불해야 합니다. 표준 AWS PrivateLink 요금을 지불해야 합니다.

    Standard 브로커

    브로커 인스턴스의 크기와 Amazon MSK 클러스터의 활성 브로커에 따라 비용이 달라지며 Apache Kafka 브로커 인스턴스 사용에 대한 시간당 요금(초 단위로 청구)을 지불합니다. 자세한 내용은 브로커 인스턴스 요금표를 참조하세요.

    클러스터에서 프로비저닝한 스토리지 양에 따라서도 비용을 지불합니다. 이는 시간당 프로비저닝한 GB를 합한 후 해당 월의 총 시간 수로 나누어서 계산하며 결과는 요금 예제에서처럼 "GB-월" 값으로 표시됩니다. 자세한 내용은 브로커 스토리지 요금표를 참조하세요. 또한 추가 스토리지 처리량을 독립적으로 프로비저닝할 수 있는 옵션이 있으며, 월간 MB/s로 프로비저닝한 양으로 청구됩니다. 이는 브로커별로 시간당 프로비저닝한 MB/s를 합한 후 해당 월의 총 시간으로 나누어 계산하며 결과는 (선택적으로) 프로비저닝된 스토리지 처리량 예시에 표시된 대로 ‘MB/s-월’ 값으로 표시됩니다. 브로커 간 복제 또는 메타데이터 노드와 브로커 간 복제에 사용되는 데이터 전송에는 요금이 부과되지 않습니다. Amazon MSK 클러스터에서 데이터를 송수신할 경우 표준 AWS 데이터 전송 요금을 지불해야 합니다. 

    하나 이상의 VPC에 있는 Kafka 클라이언트를 다른 VPC에 있는 MSK 클러스터에 연결해야 하는 경우 프라이빗 연결(AWS PrivateLink 제공)을 사용할 수도 있습니다. 이 기능을 사용하면 프라이빗 연결이 설정된 각 클러스터 및 인증 체계에 대해 시간당 요금이 부과됩니다. 인증 체계는 MSK 클러스터에 대한 클라이언트 요청을 인증하는 데 사용됩니다. 또한 프라이빗 연결을 통해 처리된 데이터의 GB당 요금을 지불해야 합니다. Apache Kafka 클라이언트에서 클러스터에 비공개로 연결하는 데 사용되는 Amazon MSK 관리형 VPC 연결에 대한 표준 AWS PrivateLink 요금도 부과됩니다.

    예시 1 (Standard 브로커)

    미국 동부(버지니아 북부) AWS 리전에서 세 개의 kafka.m7g.larges가 활성 상태이며, 브로커에서 3월에 15일간 1TB의 스토리지를 사용하고 마지막 16일간 2TB의 스토리지를 사용한다면, 해당 월에 지불할 비용은 다음과 같습니다.

    총 요금 = (브로커 인스턴스 요금) + (스토리지 요금)

    요금 사용량 요금 소계

    브로커 인스턴스 요금(인스턴스 사용량, 시간 단위)

    31일 * 24시간/일 * 브로커 3개 = 2,232 시간

    0.204 USD(kafka.m7g.large에 대한 시간당 요금)

    2,232시간 * 0.204 USD = 455.33 USD

    GB-월 단위의 스토리지 요금
    1. GB-시간 계산: (1000GB * 15일 * 24시간/일) + (2,000GB * 16일 * 24시간/일) = 1,128,000GB-시간
    2. GB-월 계산: 1,128,000GB 시간/24시간/31일 = 1,516.13GB-월

    0.10 USD(미국 동부 리전에서 GB-월 요금)

    1,516.13GB-월 * 0.10 USD = 151.61 USD
    합계 = 455.33 USD + 151.61 USD = 606.94 USD

    * 이 워크로드는 24시간 보존 및 복제 인자 2에서 수집 속도 100KB/초를 나타냅니다. 이 워크로드에서 적용되는 예상 데이터 전송 요금은 월 5 USD입니다.

    예시 2(Standard 브로커)

    미국 동부(버지니아 북부) AWS 리전에서 세 개의 kafka.m5.large가 활성 상태이며, 브로커에서 3월에 15일간 1TB의 스토리지를 사용하고 마지막 16일간 2TB의 스토리지를 사용한다면, 해당 월에 지불할 비용은 다음과 같습니다.

    총 요금 = (브로커 인스턴스 요금) + (스토리지 요금)

    요금 사용량 요금 소계

    브로커 인스턴스 요금(인스턴스 사용량, 시간 단위)

    31일 * 24시간/일 * 브로커 3개 = 2,232 시간

    0.21 USD(kafka.m5.large에 대한 시간당 요금)

    2,232시간 * 0.21 USD = 468.72 USD

    GB-월 단위의 스토리지 요금
    1. GB-시간 계산: (1000GB * 15일 * 24시간/일) + (2,000GB * 16일 * 24시간/일) = 1,128,000GB-시간
    2. GB-월 계산: 1,128,000GB 시간/24시간/31일 = 1,516.13GB-월

    0.10 USD(미국 동부 리전에서 GB-월 요금)

    1,516.13GB-월 * 0.10 USD = 151.61 USD
    합계 = 468.72 USD + 151.61 USD = 620.33 USD

    예시 3(Standard 브로커)

    미국 동부(버지니아 북부) AWS 리전에 kafka.m5.large 인스턴스 3개가 있다고 가정합니다. 총 30일간 데이터를 보존하고 기본 스토리지에 1일간 데이터를 보존합니다. 2MB/s의 데이터를 클러스터로 수집합니다. 1TB의 기본 스토리지를 프로비저닝하여 실시간 처리에 사용하고 이전 30일간의 데이터를 저비용 계층에 저장하려고 합니다. 또한 저비용 계층에 저장된 모든 데이터를 애플리케이션 1개에서 읽을 것입니다.

    총 요금 = (브로커 인스턴스 요금) + (기본 스토리지 요금) + (저비용 계층 요금) + (저비용 검색 요금)

    요금 사용량 요금 소계

    브로커 인스턴스 요금(인스턴스 사용량, 시간 단위)

    31일 * 24시간/일 * 브로커 3개 = 2,232시간

    0.21 USD(kafka.m5.large에 대한 시간당 요금)

    2,232시간 * 0.21 USD = 468.72 USD

    GB-월 단위의 스토리지 요금

    GB-월 계산: 74만 4,000GB 시간/24시간/31일 = 1,000GB-월

    0.10 USD(미국 동부 리전에서 GB-월 요금)

    1,000GB-월 * 0.10 USD = 100 USD

    GB-월 단위의 저비용 계층 스토리지 요금

    1. 바이트-시간을 계산합니다. 수집 속도는 2MB/s이므로 1시간에 75억 4,794만 7,200바이트가 누적됩니다(2*1,024 *1,024*3,600). 1개월의 총 바이트-시간 사용량은 5조 4천 3백 58억 천 7백 98만 4,000바이트-시간(7억 4,974만 7,200 *30일 * 24시간/일)입니다.

    0.060 USD(미국 동부 리전에서 GB-월 요금)

    부과되는 요금은 0.060GB-월입니다. 30일의 보존 기간에 대한 총 저장 비용은 5,062.5*0.06 USD = 303.75 USD입니다.

    2. 이 값을 GB-월로 변환합니다. 54억 3,581만 7,984.80바이트-시간/GB당 10억 7,374만 1,824바이트 = 월 5062.5GB.

    저비용 계층 데이터 검색 요금

    5,062GB가 저장되어 있고 애플리케이션 1개로 모든 데이터를 검색하므로 5,062GB의 데이터를 읽게 됩니다.

    0.0015 USD(미국 동부 리전의 GB당 요금)

    GB당 0.0015 USD가 부과됩니다. 총 검색 요금 = 5,062*0.0015= 7.9 USD

    예시 4(Express 브로커)

    미국 동부(버지니아 북부) AWS 리전에서 3개의 express.m7g.large를 활성화하고 3월에 31일 동안 1TB의 데이터를 수집하고 저장한 경우 해당 월에 지불할 금액은 다음과 같습니다.

    총 요금 = (브로커 인스턴스 요금) + (데이터 수집 요금) + (스토리지 요금)

    요금 사용량 요금 소계

    브로커 인스턴스 요금(인스턴스 사용량, 시간 단위)

    		 31일 * 24시간/일 * 브로커 3개 = 2,232시간

    0.408 USD(msk.m7g.large에 대한 시간당 요금)

    2,232 시간 * 0.408 USD = 910.66 USD

    데이터 수집 요금(GB)

    1,000GB

    0.01 USD(수집된 데이터의 GB당 가격)

    1,000GB * 0.01 USD = 10 USD
    GB-월 단위의 스토리지 요금

    1,000GB-월

    		 0.10 USD(미국 동부 리전에서 GB-월 요금) 1,000GB-월 * 0.10 USD = 100.00 USD
    합계 = 910.66 USD + 10 USD + 100 USD = 1020.66 USD

    (선택 사항) 프로비저닝된 스토리지 처리량 예제

    프로비저닝된 스토리지 처리량을 활성화하고 미국 동부(버지니아 북부) AWS 리전에서 3개의 브로커가 있는 Amazon MSK 클러스터에 31일 동안 300MB/s의 스토리지 처리량을 프로비저닝하기로 선택한 경우, 위의 예시와 같이 브로커 인스턴스 및 스토리지 요금 외에 다음 추가 요금을 지불하게 됩니다.

    총 요금 = (브로커 인스턴스 요금) + (스토리지 요금) + (프로비저닝된 스토리지 처리량 요금)

    요금 사용량 요금 소계

    프로비저닝된 스토리지 처리량 요금(MB/s-월)

    브로커 3개 * 300MB/s = 900MB/s-월

    0.08 USD(미국 동부 리전에서 MB/s-월 요금)

    900MB/s-월 * 0.08 USD = 72 USD

    (선택 사항) 다중 VPC 프라이빗 연결 예제

    미국 동부(버지니아 북부) AWS 리전의 브로커 3개가 포함된 Amazon MSK 클러스터와 다른 VPC 또는 AWS 계정에 생산자와 소비자가 있고, 2MB/s의 데이터를 수집하며, 2명의 소비자가 모든 데이터를 읽는 경우 다중 VPC 프라이빗 연결을 활성화하여 VPC 간 연결을 사용하도록 선택할 수 있습니다. 위의 예와 같이 브로커 인스턴스 및 스토리지 요금에 추가로 다음과 같은 추가 요금을 지불해야 합니다.

    총 MSK 요금 = (브로커 인스턴스 요금) + (기본 스토리지 요금) + (다중 VPC 프라이빗 연결 요금)

    요금 사용 요금 소계

    다중 VPC 프라이빗 연결 시간당 요금

    인증 체계별 프라이빗 연결 시간을 계산합니다. 3노드 클러스터에서 1개의 인증 체계를 사용하므로 31일 동안 프라이빗 연결 1단위에 대한 요금이 부과됩니다. 총 프라이빗 연결 시간 = 프라이빗 연결 단위 1개 x 월 730시간 = 프라이빗 연결 730시간

    인증 체계당 프라이빗 연결 시간당 0.0225 USD

    인증당 프라이빗 연결 시간당 0.0225 USD의 요금이 부과됩니다.

    정액 프라이빗 연결 요금 = 730 x 0.0225 = 16.43 USD
    다중 VPC 프라이빗 연결 데이터 처리 요금
    처리된 GB를 계산합니다. 총 6MB/s(생산자 1명 + 소비자 2명 = 21GB/시간)를 처리
    처리된 GB당 0.006 USD

    처리된 GB당 0.006 USD의 요금이 부과됩니다.

    변동 데이터 처리 요금 = 21.6 x 0.006 x 730 = 94.62 USD
  • MSK Serverless

  • MSK Serverless를 사용하면 서버리스 클러스터별로 시간당 요금 및 생성한 파티션별로 시간당 요금을 지불합니다. 또한 클러스터 주제에서 생산자가 쓰고 소비자가 읽은 데이터의 GB당 요금을 지불합니다. Amazon MSK는 사용한 스토리지에 대해서만 요금을 부과합니다.

    다른 리전으로 데이터를 송수신하고 퍼블릭 인터넷으로 데이터를 전송하는 경우 표준 AWS 데이터 전송 요금이 적용됩니다.

    예시 

    미국 동부(오하이오) AWS 리전에 MSK 서버리스 클러스터를 생성한다고 가정합니다. 클러스터는 파티션이 20개씩 있는 5가지 주제로 구성됩니다. 매일 생산자는 평균 100GB의 데이터를 쓰고 소비자는 200GB의 데이터를 읽습니다. 또한 다시 볼 수 있도록 24시간 동안 해당 데이터를 보관합니다. 이런 시나리오에서는 한 달(31일) 동안 다음의 요금을 지불합니다.

    합계 = 시간당 클러스터 요금 + 시간당 파티션 요금 + 데이터 수신 요금 + 데이터 송신 요금 + 스토리지 요금

    요금 사용량 요금(미국 동부) 소계

    클러스터 시간

    31일 * 24시간/일 = 744 클러스터(시간)

     0.75 USD/클러스터(시간)

    744 * 0.75 = 558.00 USD

    파티션 시간

    31일 * 24시간/일 * 5 * 20 = 74,400 파티션(시간)

    0.0015 USD/파티션(시간)

    74,400 * 0.0015 = 111.60 USD

    데이터 수신

    100GB * 31일 = 3,100GB

    0.10 USD/GB(수신)

    3,100 * 0.10 USD = 310.00 USD

    데이터 송신

    200GB * 31일 = 6,200GB

    0.05 USD/GB(송신)

    6,200 * 0.05 USD = 310.00 USD

    스토리지

    평균 스토리지 사용량 = 월 100GB

    0.10 USD/GB(월)

    100 * 0.10 USD = 10.00 USD
    합계 = 558 USD + 111.6 USD + 310 USD + 310 USD + 10 USD = 1,299.60 USD
  • MSK Connect

  • 커넥터에 사용하는 작업자의 수와 각 작업자의 크기에 따라 비용이 달라지며 커넥터 사용에 대한 시간당 요금(초 단위로 청구)을 지불하며 이는 MSK Connect Units(MCU)의 수로 측정됩니다. 각 MCU는 1개의 vCPU 컴퓨팅 및 4GB 메모리를 제공합니다. 자세한 내용은 요금표를 참조하세요.

    예시

    Amazon MSK Connect를 사용하여 Amazon MSK 클러스터의 주제에서 미국 동부(버지니아 북부) AWS 리전의 Amazon Simple Storage Service(S3) 버킷으로 데이터를 스트리밍하면 커넥터는 다음과 같이 구성된다고 가정합니다.
    작업자 2개 및 4개 간에 자동 확장하며 각 작업자는 1MCU를 사용합니다. 작업 일(8시간) 동안 커넥터는 작업자 4개로 확장하며 작업 일(16시간)이 끝난 후 작업자 2개로 축소합니다.

    이 경우 해당 월에 지불하게 될 금액은 다음과 같습니다.

    총요금 = Apache Kafka Connect 작업자 요금

    요금 사용량 요금 소계

    Apache Kafka Connect 작업자 요금(MCU, 시간 단위)

    31일 * [(8시간/일 * 작업자 4개 * 1MCU/작업자) + (16시간/일 * 작업자 2개 * 1MCU/작업자)] = 1,984시간

     0.11 USD(MCU당 시간당 요금)

    1,984시간*0.11 USD = 218.24 USD
    합계 = 218.24 USD
  • MSK Replicator

  • MSK Replicator를 사용할 때는 생성한 각 Replicator에 대한 시간당 요금이 부과됩니다. Replicator에는 소스 클러스터, 대상 클러스터 및 몇 가지 선택적 설정이 포함됩니다. 지원되는 MSK Replicator 할당량 내에서 단일 Replicator에 소스 클러스터의 모든 주제를 포함할 수 있습니다. 동일한 소스 및 대상 MSK 클러스터 간에 여러 Replicator를 생성할 수 있습니다. MSK Replicator는 교차 리전 복제(CRR)와 동일 리전 복제(SRR)를 모두 지원합니다.

    또한 MSK Replicator로 처리하는 데이터(메타데이터 포함)의 GB당 비용을 지불합니다. MSK Replicator에서 처리하는 데이터는 대상 클러스터에 복제된 데이터와 MSK Replicator에서 필터링한 데이터(Replicator의 주제 이름 구성이 ‘동일’로 구성된 경우에만 해당)를 포함하여 MSK Replicator가 수신하는 모든 데이터로 구성되며 데이터가 원래의 동일한 주제로 다시 복제되는 것이 방지됩니다. Amazon CloudWatch의 ‘ReplicatorBytesInPerSec’ 지표를 사용하여 처리된 전체 데이터와 ‘ReplicatorThroughput’ 지표를 사용하여 복제된 데이터를 추적할 수 있습니다. Replicator의 주제 이름 구성이 ‘접두사’로 구성된 경우 MSK Replicator에서 데이터를 필터링하지 않으므로 이 두 지표 모두 동일한 값을 갖게 됩니다.

    CRR의 경우 소스 및 대상 AWS 리전 간의 교차 리전 데이터 전송에 대한 표준 AWS 요금도 부과됩니다. SRR에는 데이터 전송 요금이 부과되지 않습니다.

    예시 

    미국 서부(오레곤)의 Amazon MSK 클러스터에서 미국 동부(버지니아 북부) AWS 리전의 Amazon MSK 클러스터로 데이터를 복제하려고 한다고 가정해 보겠습니다. 50MB/초의 데이터를 소스 클러스터로 수집하는 중에 30일 동안 지속적으로 데이터를 복제하려고 합니다.

    총 복제 요금 = 시간당 Replicator 요금 + 데이터 처리 요금 + 데이터 전송 요금 + 소스 MSK 클러스터의 다중 VPC 프라이빗 연결 요금

    요금 사용량 요금  소계

    Replicator-시간

    720시간

     시간당 0.30 USD

    720 * 0.3 = 216 USD

    데이터 처리

    12만 6,562.5GB

    GB당 0.08 USD

    12만 6,562.5 * 0.08 = 1만 125 USD

    데이터 전송 요금

    12만 6,562.5GB

    GB당 0.02 USD

    12만 6,562.5 * 0.02 USD = 2,531 USD

    다중 VPC 프라이빗 연결 시간당 요금

    720시간

    시간당 0.0225 USD

    16 USD

    다중 VPC 프라이빗 연결 데이터 처리 요금

    12만 6,562.5GB

    GB당 0.006 USD

    759 USD
    합계 = 13,647 USD