AWS Market Place로 쉽게 Solar-Mini 사용하기 - 2부: 구독 및 배포

안녕하세요!

Solar-Mini 사용 가이드 시리즈의 두 번째 파트입니다. 이번에는 AWS Marketplace에서 Solar-Mini를 구독하고 배포하는 과정을 살펴보겠습니다.

AWS Marketplace 소개

AWS Marketplace는 타사 소프트웨어, 서비스, 솔루션을 쉽게 찾아 구매, 배포 및 관리할 수 있는 디지털 카탈로그입니다. 이를 통해 소프트웨어 구매부터 AWS 서비스 위에서의 실행까지 과정이 크게 간소화됩니다.

요약: Solar-Mini 구독 및 배포 과정

1. AWS Console에서 'marketplace'를 검색하여 AWS Marketplace로 이동합니다.
2. 'Solar mini'를 검색하고 'Solar Mini Chat'을 선택합니다.
3. '구독' 버튼을 클릭하고 약관에 동의합니다 (7일 무료 체험 기간 시작).
4. '설정하기' 버튼을 클릭하여 배포 과정을 시작합니다.
5. CloudFormation을 통한 배포를 선택합니다.
6. InstanceCount를 1로, InstanceType을 ml.g4dn.12xlarge로 설정합니다.
7. '스택 생성' 버튼을 클릭하여 배포를 시작합니다 (약 7분 소요).
8. 배포가 완료되면 출력 탭에서 EndPointName을 확인합니다.

주의사항

• 7일 무료 체험 기간은 모델 사용료에만 해당합니다. EC2 인스턴스 사용료는 별도로 부과됩니다.
• ml.g4dn.12xlarge 인스턴스의 시간당 비용은 약 7,000원입니다. (서울 리전 기준, 세금 포함)
• 사용하지 않을 때는 인스턴스를 중지하여 비용을 절약할 수 있습니다.
• 이번 실습을 완료하면 계속해서 과금이 발생합니다. 실습을 중단하고 싶으면 아래 포스트를 참고해서 배포한 모델을 삭제해 주세요.
  AWS Market Place로 쉽게 Solar-Mini 사용하기 - 정리: 엔드포인트 삭제

본문: Solar-Mini 구독 및 배포 과정

AWS Marketplace를 사용하면 아래의 과정이 클릭 몇 번으로 간소화 됩니다.

1. S/W 구매
2. S/W 실행에 적합한 인프라 선택 및 배포
3. S/W 설치 후 실행

 

1. Marketplac로 이동

• AWS Console 검색 창에서 marketplace를 검색 후 AWS Marketplace를 클릭합니다.
  • 화면 오른쪽 상단은 서울인거 이제는 다들 아시죠?

2. 제품 검색을 통해 Solar Mini 찾기

• Marketplace 페이지로 이동하면 왼쪽 상단의 햄버거 버튼(☰)을 클릭합니다.
  (화면 상단에 Marketplace에 대한 설명이 잘 정리되어 있네요.)

• 감춰있던 메뉴가 나타나면 제품 검색을 클릭합니다.

• Solar mini를 검색하고 상단에 나온 Solar Mini Chat을 선택합니다.

3. Solar Mini Chat 구독 및 배포

• 자동으로 Solar Mini Chat 모델에 대한 상세 내용을 제공하는 페이지로 이동합니다.
  • 일단 우측 상단의 구독 버튼(Continue to Subscribe)을 클릭해 주세요.
  • 클릭한다고 과금이 발생하는 것은 아니니 안심하셔도 좋습니다.

• 지금 누르는 구독 버튼은 AWS Marketplace에 나와있는 Solar Mini Chat을 내 계정에서 사용할 수 있도록 (장바구니에) 담아 두겠다는 의미라고 생각하시면 됩니다.
• AWS는 실제 사용량에 기반하여 과금을 합니다. 아직 Solar Mini Chat 모델이 돌아갈 컴퓨터(EC2 인스턴스)를 빌린 것도 아니고, 모델 호출을 하지도 않았기 때문에 과금 요소는 전혀 없습니다.
• 다만 구독을 하신 후부터 7일간 무료 체험 기간이 시작됩니다. 이 기간 동안은 모델 사용료가 발생하지 않습니다. 7일 무료 체험 기간을 최대한 활용하고 싶으시면 기간을 잘 계산한 후에 구독을 누르세요.
• 무료 체험 기간의 무료는 모델 사용료, 즉 S/W 사용료 부분만 해당합니다. 나만을 위한 Solar Mini Chat 모델을 만드려면 내 계정의 컴퓨터(EC2 인스턴스)도 필요합니다. 당연히 컴퓨터 사용료가 필요합니다. 이를 위해 할당량 증가 신청을 했던 ml.g4dn.12xlarge의 사용료는 시간당 약 7,000원입니다. (서울 기준, 세금 포함) 참고로 과금은 초(sec) 단위 입니다.
• 조금 비싸다고 생각할 수 있으나 모델 크기 대비 막강한 성능을 자랑하는 모델을 사용하는 비용이라고 생각하면 오히려 저렴하죠. 참고로 Solar Mini는 2023년 12월 허깅 페이스 오픈 LLM 리더보드에서 SLM(소형 모델) 중 1위를 달성했습니다. 한편, 사용하지 않을 때는 인스턴스를 중지하면 중지하는 동안 컴퓨팅 과금 역시 중단됩니다.

• 구독 버튼을 누른 후 나오는 화면에서 Accept offer를 클릭합니다. (7일의 무료 체험 기간이 시작됩니다!)

• 구독 신청이 진행 중인 것을 확인하실 수 있습니다. (1~5분 안에 완료됩니다. 그 전에 몇 가지 주요 사항을 확인해 볼까요?)

• 화면 스크롤을 조금 내리면 버전과 모델 실행을 위한 인스턴스 유형, 과금 정보를 확인할 수 있습니다.
• 자동으로 최신 버전이 선택되어 있고, 사용 형태에 따라 각기 다른 인스턴스 유형과 과금이 제시되어 있습니다.
• 이번 실습은 실시간 추론(Real-time Inference usage)에 해당하고, 따라서 ml.g4dn.12xlarge나 ml.g5.12xlarge 인스턴스가 필요합니다. 실습 초반부에 서비스 할당량 증가를 신청한 이유입니다. 이 중에서 보다 저렴한 ml.g4dn.12xlarge의 할당량 증가를 신청했습니다.
• 버전이 업데이트되면 새 인스턴스 유형이 추가될 수 있습니다. AWS에서 그때마다 이메일 알림을 보내주기 때문에 별도로 취하실 행동은 없습니다.
  
  
• 한편, Solar Mini Chat 모델은 추론 비용을 토큰수가 아닌 시간에 비례해 부과하네요. 전략에 따라 모델을 효율적으로 사용할 수 있겠습니다.

• 구독 신청이 완료됐습니다.
  • 이제 Solar Mini Chat 모델을 배포하겠습니다.
  • 화면 우측 상단의 설정하기(Continue to configuration) 버튼을 클릭합니다.

• CloudFormation으로 Solar Mini Chat 모델 배포
  • Solar Mini Chat을 배포하는 방법이 세 가지가 준비되어 있습니다.
  • 이 중 가장 간편한 CloudFormation을 선택합니다. (CloudFormation은 코드로 인프라를 배포하는 Infrastructure as Code, IaC 솔루션입니다. 세 방법 중 가장 손이 덜 가는 방법입니다.)

• 화면 스크롤을 내려서 Configure for AWS CloudFormation 섹션의 Region을 서울로 선택합니다.

• 화면 스크롤을 조금 더 내려서 시작하기(Lauch CloudFormation Template) 버튼을 클릭합니다.

• 빠른 스택 생성이라는 새 창이 뜨면 스택 이름 부분을 편의대로 변경해 주세요. (그대로 두셔도 됩니다.)

• 같은 화면(빠른 스택 생성)에서 스크롤을 내려서 파라미터 섹션의 InstanceCount를 1로, InstanceType을 ml.g4dn.12xlarge로 입력합니다.

• 계속해서 같은 화면(빠른 스택 생성)의 스크롤을 끝까지 내려서 스택 생성 버튼을 클릭합니다.

• CloudFormation 화면으로 이동하면 배포 과정을 확인할 수 있습니다. 우측의 새로 고침(⟳) 버튼을 누르면 최신 과정을 볼 수 있습니다. 완료까지 약 7분이 소요됩니다.

• 잠시 후(7분) 확인하시면 모델 배포가 완료된 것을 확인할 수 있습니다. 모델의 엔드포인트(모델 서버의 주소)에 API 호출을 하면 됩니다. (기다리는 동안 바로 다음 단계를 준비하시고 확인하셔도 좋습니다!)

• 출력 탭을 클릭해서 EndPointName을 확인합니다. 지금까지 과정을 그대로 진행하셨으면 엔드포인트 이름은 Endpoint-Solar-Mini-Chat-1입니다. 이 이름이 아닌 경우 별도로 복사해서 기록해 두세요.

다음 단계

다음 포스트에서는 API를 통해 배포된 Solar-Mini 모델을 실제로 사용하는 방법을 알아보겠습니다. AWS CloudShell을 이용하여 모델에 쿼리를 보내고 결과를 받아보는 과정을 함께 살펴볼 예정입니다.

[다음 단계] AWS Market Place로 쉽게 Solar-Mini 사용하기 - 3부: API로 모델 사용