원문보기
https://aws.amazon.com/ko/blogs/korea/deepseek-r1-models-now-available-on-aws/
지난 AWS re:Invent에서 Amazon CEO이신 Andy Jassy는 Amazon이 회사 전반에서 1,000여 개의 생성형 AI 애플리케이션을 개발한 경험을 통해 얻은 귀중한 교훈을 공유했습니다. Jassy는 이러한 방대한 AI 배포 규모를 바탕으로, 엔터프라이즈 AI 구현에 대한 Amazon 접근 방식의 근간이 된 세 가지 주요 관찰 내용을 제시했습니다.
첫 번째는 생성형 AI 애플리케이션을 스케일 인할 때 컴퓨팅 비용이 정말 중요하다는 것입니다. 사람들은 더 나은 가격 대비 성능을 갈망하고 있습니다. 두 번째는 실제로 훌륭한 생성형 AI 애플리케이션을 구축하기가 매우 어렵다는 것입니다. 세 번째는 빌더들이 원하는 것을 자유롭게 선택할 수 있도록 했을 때, 다양한 모델이 사용된다는 점입니다. 하나의 도구가 세상을 완전히 지배하게 될 일은 절대 일어나지 않는다는 것을 수많은 경험으로 배워왔기에 놀랄 만한 일도 아닙니다.
Andy가 강조한 것처럼 Amazon에서 제공하는 다양하고 심층적인 모델을 통해, 고객은 고유한 니즈에 가장 부합하는 기능을 정확하게 선택할 수 있습니다. AWS는 고객의 니즈와 기술 발전을 면밀히 모니터링하면서, 업계에서 널리 인정받는 모델과 함께 유망한 새 모델을 포함하도록 엄선된 모델 선택 옵션을 주기적으로 확장하고 있습니다. 차별화된 고성능 모델 오퍼링의 이 같은 지속적인 확장은 고객이 AI 혁신에서 앞서가는 데 도움이 됩니다.
그 대표적인 예가 바로 중국 AI 스타트업 DeepSeek입니다. DeepSeek는 2024년 12월 DeepSeek-V3를 출시했고, 이후 2025년 1월 20일에 DeepSeek-R1, 6,710억 개의 파라미터를 사용한 DeepSeek-R1-Zero, 15~700억 개의 파라미터를 사용한 여러 DeepSeek-R1-Distill 모델을 출시했습니다. 그리고 2025년 1월 27일에는 비전 기반 Janus-Pro-7B 모델을 추가했습니다. 이 모델은 일반에 공개되어 있으며, 동급 모델보다 90~95% 더 저렴하고 비용 효율적인 것으로 알려졌습니다. DeepSeek에 따르면, 이 모델은 강화 학습과 같은 혁신적인 훈련 기법을 통해 달성한 뛰어난 추론 능력을 실현했다고 합니다.
이제 Amazon Bedrock과 Amazon SageMaker AI에서 DeepSeek-R1 모델을 배포할 수 있습니다. Amazon Bedrock은 사전 훈련된 파운데이션 모델을 API를 통해 신속하게 통합하려는 팀에 가장 적합합니다. Amazon SageMaker AI는 기반 인프라에 대한 액세스와 함께 고급 맞춤화, 훈련 및 배포 기능을 원하는 조직에 적합합니다. 또한 AWS Trainium과 AWS Inferentia를 사용하여 Amazon Elastic Compute Cloud(Amazon EC2) 또는 Amazon SageMaker AI를 통해 DeepSeek-R1-Distill 모델을 비용 효율적으로 배포할 수도 있습니다.
AWS에서 DeepSeek-R1 모델을 사용하면, 최소한의 인프라 투자로 이 강력하고 비용 효율적인 모델을 사용하여 생성형 AI 아이디어를 구축, 실험하고 책임 있게 규모를 조정할 수 있습니다. 또한 보안을 보장하도록 고유하게 설계된 AWS 서비스를 기반으로 하여 생성형 AI 혁신을 자신 있게 추진할 수 있습니다. DeepSeek-R1 모델의 배포를 Amazon Bedrock Guardrails와 통합하여 Amazon Bedrock 고객과 Amazon SageMaker AI 고객이 모두 사용할 수 있는 생성형 AI 애플리케이션을 위한 보호 계층을 추가할 것을 적극 권장합니다.
현재 1) DeepSeek-R1 모델의 경우 Amazon Bedrock Marketplace, 2) DeepSeek-R1 모델의 경우 Amazon SageMaker JumpStart, 3) DeepSeek-R1-Distill 모델의 경우 Amazon Bedrock 맞춤형 모델 가져오기, 4) DeepSeek-R1-Distill 모델의 경우 Amazon EC2 Trn1 인스턴스 등과 같이 다양한 방법으로 AWS에 DeepSeek-R1 모델을 배포할 수 있습니다.
AWS에서 DeepSeek-R1 모델을 시작하기 위한 다양한 경로를 안내해 드리겠습니다. 첫 AI 애플리케이션을 구축하는 경우든 기존 솔루션을 확장하는 경우든, 이러한 방법은 팀의 전문성과 요구 사항에 따라 유연한 시작점을 제공합니다.
1. Amazon Bedrock Marketplace의 DeepSeek-R1 모델
Amazon Bedrock Marketplace는 현재 엄선된 업계 최고의 Amazon Bedrock 모델과 함께 100여 가지 인기, 신종 및 전문 FM을 제공합니다. 단일 카탈로그에서 모델을 손쉽게 검색하고, 모델을 구독한 다음, 관리형 엔드포인트에 모델을 배포할 수 있습니다.
Amazon Bedrock Marketplace에서 DeepSeek-R1 모델에 액세스하려면 Amazon Bedrock 콘솔로 이동하여 파운데이션 모델 섹션에서 모델 카탈로그를 선택합니다. 모델 제공업체별로 검색하거나 필터링하여 DeepSeek를 빠르게 찾을 수 있습니다.
모델의 기능과 구현 지침이 포함된 모델 세부 정보 페이지를 확인한 후, 엔드포인트 이름을 입력하고, 인스턴스 수를 선택하고, 인스턴스 유형을 선택하여 모델을 직접 배포할 수 있습니다.
또한 VPC 네트워킹, 서비스 역할 권한 및 암호화 설정을 비롯하여, DeepSeek-R1 모델의 보안 및 인프라 설정을 사용자 지정하는 고급 옵션도 구성할 수 있습니다. 프로덕션 환경에 배포하는 경우 이러한 설정이 조직의 보안 및 규정 준수 요구 사항에 부합하는지 검토해야 합니다.
Amazon Bedrock Guardrails를 사용하면 사용자 입력과 모델 출력을 각각 별개로 평가할 수 있습니다. 정의된 정책 세트로 생성형 AI 애플리케이션에서 바람직하지 않거나 유해한 콘텐츠를 필터링함으로써 사용자와 DeepSeek-R1 간의 상호 작용을 제어할 수 있습니다. Amazon Bedrock Marketplace의 DeepSeek-R1 모델은 Amazon Bedrock 외부에서 사용할 수 있는 맞춤형 FM과 서드 파티 FM에 대한 사용자 입력 및 모델 응답을 평가하는 목적으로만 Bedrock의 ApplyGuardRail API를 통해 사용할 수 있습니다. 자세히 알아보려면 Implement model-independent safety measures with Amazon Bedrock Guardrails를 참조하세요.
또한 Amazon Bedrock Guardrails를 Amazon Bedrock Agents, Amazon Bedrock Knowledge Bases 등의 다른 Bedrock 도구와 통합하면, 책임 있는 AI 정책에 따라 더 안전하고 보안이 강화된 생성형 AI 애플리케이션을 구축할 수 있습니다. 자세히 알아보려면 AWS 책임 있는 AI 페이지를 참조하세요.
2월 1일 업데이트 – Bedrock 플레이그라운드를 사용하면 모델이 다양한 입력에 어떻게 반응하는지 이해하고 최적의 결과를 위해 프롬프트를 미세 조정할 수 있습니다.
DeepSeek-R1 모델을 Bedrock의 놀이터 또는 InvokeModel API와 함께 사용할 때는 최적의 결과를 위해 DeepSeek의 채팅 템플릿을 사용하세요. 예를 들어, <｜begin_of_sentence｜><｜User｜>content for inference<｜Assistant｜>.
Amazon Bedrock Marketplace에서 DeepSeek-R1 모델을 배포하는 방법에 대한 단계별 가이드를 참조하세요. 자세히 알아보려면 Deploy models in Amazon Bedrock Marketplace를 참조하세요.
2. Amazon SageMaker JumpStart의 DeepSeek-R1 모델
Amazon SageMaker JumpStart는 FM, 내장 알고리즘, 사전 구축된 ML 솔루션을 갖춘 기계 학습(ML) 허브로, 클릭 몇 번으로 배포할 수 있습니다. SageMaker JumpStart에서 DeepSeek-R1을 배포하려면 SageMaker Unified Studio, SageMaker Studio, SageMaker AI 콘솔에서, 또는 SageMaker Python SDK를 통해 프로그래밍 방식으로 DeepSeek-R1 모델을 검색하면 됩니다.
Amazon SageMaker AI 콘솔에서 SageMaker Studio를 엽니다. SageMaker Studio의 경우 JumpStart를 선택하고 All public models 페이지에서 ‘DeepSeek-R1’을 검색합니다.
모델을 선택하고 ‘배포’를 선택하면 기본 설정으로 엔드포인트가 생성됩니다. 엔드포인트가 InService 상태가 되면 엔드포인트에 요청을 전송하여 추론을 실행할 수 있습니다.
Amazon SageMaker Pipelines, Amazon SageMaker Debugger 또는 컨테이너 로그와 같은 Amazon SageMaker AI 기능을 사용하여 모델 성능 및 ML 운영 제어에 대한 데이터를 도출할 수 있습니다. 이 모델은 AWS 보안 환경에 가상 프라이빗 클라우드(VPC)로 제어되는 상태로 배포되므로 데이터 보안을 유지하는 데 도움이 됩니다.
Bedrock Marketpalce와 마찬가지로, SageMaker JumpStart의 ApplyGuardrail API를 사용하여 생성형 AI 애플리케이션을 위한 보호 수단을 DeepSeek-R1 모델과 분리할 수 있습니다. 이제 FM을 간접적으로 호출하지 않고도 가드레일을 사용할 수 있습니다. 따라서 사용하는 모델에 관계없이 표준화되고 철저하게 테스트된 엔터프라이즈 보호 수단을 애플리케이션 흐름에 더 많이 통합할 수 있습니다.
Amazon SageMaker JumpStart에서 DeepSeek-R1을 배포하는 방법에 대한 단계별 가이드를 참조하세요. 자세히 알아보려면 Discover SageMaker JumpStart models in SageMaker Unified Studio 또는 Deploy SageMaker JumpStart models in SageMaker Studio를 참조하세요.
3. Amazon Bedrock 맞춤형 모델 가져오기를 사용한 Deepseek-R1-Distill 모델
Amazon Bedrock 맞춤형 모델 가져오기는 기반 인프라를 관리할 필요 없이 단일 서버리스 통합 API를 통해 기존 FM과 함께 맞춤형 모델을 가져와서 사용할 수 있는 기능을 제공합니다. Amazon Bedrock 맞춤형 모델 가져오기를 사용하면 15억~700만 개의 파라미터를 사용하는 DeepSeek-R1-Distill Llama 모델을 가져올 수 있습니다. Amazon Bedrock Model Distillation에 대한 제 블로그 게시물에서 강조한 바와 같이, 증류 프로세스에서는 6,710억 개의 파라미터를 사용한 대규모 DeepSeek-R1 모델을 교사 모델로 사용하여 이 모델의 동작 및 추론 패턴을 모방한 보다 작고 효율적인 모델을 훈련해야 합니다.
일반에 공개된 이러한 모델을 Amazon Simple Storage Service(Amazon S3) 버킷 또는 Amazon SageMaker Model Registry에 저장한 후, Amazon Bedrock 콘솔의 파운데이션 모델에서 가져온 모델로 이동하여, Amazon Bedrock을 통해 완전관리형 서버리스 환경에서 모델을 가져오고 배포합니다. 이 서버리스 접근 방식을 사용하면 인프라를 관리하지 않고도 엔터프라이즈급 보안 및 확장성을 확보할 수 있습니다.
2월 1일 업데이트 – 증류된 모델을 가져온 후에는 Bedrock 플레이그라운드를 사용하여 입력에 대한 증류된 모델 응답을 이해할 수 있습니다.
동료 Du’An Lightfoot가 Bedrock 플레이그라운드에서 모델을 가져와 추론하는 데모 영상을 시청해 보세요.
Amazon Bedrock 맞춤형 모델 가져오기를 사용하여 DeepSeek-R1 모델을 배포하는 방법에 대한 단계별 가이드를 참조하세요. 자세히 알아보려면 Import a customized model into Amazon Bedrock을 참조하세요.
4. AWS Trainium과 AWS Inferentia를 사용한 DeepSeek-R1-Distill 모델
AWS Deep Learning AMI(DLAMI)는 소규모 CPU 전용 인스턴스부터 최신 고성능 다중 GPU 인스턴스에 이르기까지, 다양한 Amazon EC2 인스턴스에서 딥 러닝에 사용할 수 있는 맞춤형 머신 이미지를 제공합니다. AWS Trainuim1 또는 AWS Inferentia2 인스턴스에 DeepSeek-R1-Distill 모델을 배포하여 최상의 가격 대비 성능을 얻을 수 있습니다.
시작하려면 Amazon EC2 콘솔로 이동하여 Deep Learning AMI Neuron(Ubuntu 22.04)이라는 Neuron Multi Framework DLAMI를 사용하여 trn1.32xlarge EC2 인스턴스를 실행합니다.
실행한 EC2 인스턴스에 연결한 후 대규모 언어 모델(LLM)을 지원하는 오픈 소스 도구인 vLLM을 설치하고 Hugging Face에서 DeepSeek-R1-Distill 모델을 다운로드합니다. vLLM을 사용하여 모델을 배포하고 모델 서버를 간접적으로 호출할 수 있습니다.
자세한 내용은 AWS Inferentia 및 Trainium에 DeepSeek-R1-Distill Lama 모델을 배포하는 방법에 대한 단계별 가이드를 참조하세요.
Hugging Face에서 DeepSeek-R1-Distill-Llama-8B 또는 deepseek-ai/DeepSeek-R1-Distill-Llama-70B 모델 카드를 방문할 수도 있습니다. 배포를 선택한 다음 Amazon SageMaker를 선택합니다. AWS Inferentia 및 Trainium 탭에서 DeepSeek-R1-Distill Llama 모델을 배포하는 샘플 코드를 복사합니다.
DeepSeek-R1이 릴리스된 이래로, Amazon EC2와 Amazon Elastic Kubernetes Service(Amazon EKS)에서 DeepSeek-R1을 배포하는 데 대한 다양한 가이드가 게시되었습니다. 참조하실 수 있는 몇 가지 추가 자료는 다음과 같습니다:
- Daniel Wirjo의 Leveraging DeepSeek-R1 with CPU and GPU options on AWS
- Enrique Aguilar Martinez의 Benefits of installing DeepSeek on an Amazon EC2 instance
- Irshad Chohan의 Deploying DeepSeek Llama models on Amazon EC2 inferentia instance
- Hugging Face의 How to deploy and fine-tune DeepSeek models on AWS
- Tiago Reichert의 Hosting DeepSeek-R1 on Amazon EKS Auto Mode
알아야 할 사항
다음은 알아두어야 할 몇 가지 주요 사항입니다.
- 요금 – DeepSeek-R1과 같이 일반에 공개된 모델의 경우 Amazon Bedrock Markeplace, Amazon SageMaker JumpStart 및 Amazon EC2에 대해 선택한 추론 인스턴스 시간을 기준으로 인프라 요금만 청구됩니다. Bedrock 맞춤형 모델 가져오기의 경우 활성 상태인 맞춤형 모델의 사본 수를 기준으로 모델 추론에 대해서만 요금이 부과되며, 요금은 5분 단위로 청구됩니다. 자세한 내용은 Amazon Bedrock 요금, Amazon SageMaker AI 요금 및 Amazon EC2 요금 페이지를 참조하세요.
- 데이터 보안 – Amazon Bedrock 및 Amazon SageMaker의 엔터프라이즈급 보안 기능을 사용하면 데이터 및 애플리케이션을 비공개 상태로 안전하게 보호할 수 있습니다. 즉, 데이터가 모델 제공업체와 공유되지 않으며 모델을 개선하는 데 사용되지 않습니다. 이는 Amazon Bedrock 및 Amazon SageMaker의 DeepSeek-R1 모델을 비롯하여, 모든 독점 모델과 일반에 공개된 모델에 적용됩니다. 자세히 알아보려면 Amazon Bedrock 보안 및 개인 정보 보호와 Security in Amazon SageMaker AI를 참조하세요.
정식 출시
DeepSeek-R1은 현재 Amazon Bedrock Marketplace와 Amazon SageMaker JumpStart의 US East (N. Virginia), US East (Ohio), US West (Oregon) 리전에서 정식으로 제공됩니다. 또한 Amazon Bedrock 맞춤형 모델 가져오기와 AWS Trainum 및 Inferentia 칩이 탑재된 Amazon EC2 인스턴스를 통해 DeepSeek-R1-Distill 모델을 사용할 수 있습니다.
지금 바로 Amazon Bedrock 콘솔, Amazon SageMaker AI 콘솔, Amazon EC2 콘솔에서 DeepSeek-R1 모델을 사용해 보고, AWS re:Post for Amazon Bedrock과 AWS re:Post for SageMaker AI으로 피드백을 보내거나 평소 이용하는 AWS Support 담당자를 통해 피드백을 보내세요.