AWS, 리인벤트서 클라우드·머신러닝 성능 높이는 신규 기능 대거 공개

AWS 리인벤트 행사...고기능 워크로드 수행하는 신규 인스턴스, 세이지메이커, 시큐리티 레이크 소개

아마존웹서비스(Amazon Web Services, 이하 AWS)는 AWS 리인벤트(AWS re:Invent) 행사에서 3개의 새로운 아마존 일래스틱 컴퓨트 클라우드(Amazon Elastic Compute Cloud, 이하 아마존 EC2) 인스턴스를 발표했다.

3개의 새로운 AWS 자체 설계 칩으로 구동되는 신규 인스턴스는 광범위한 워크로드에 대해 더 낮은 비용으로 더 뛰어난 컴퓨팅 성능을 고객에 제공한다. 새로운 AWS 그래비톤 3E(Graviton3E) 칩으로 구동되는 Hpc7g 인스턴스는 현재 세대 C6gn 인스턴스에 비해 최대 2배 높은 부동소수점 성능과, 현재 세대 Hpc6a 인스턴스 대비 최대 20% 더 높은 성능을 구현하여 AWS에서의 고성능 컴퓨팅(high performance computing, HPC) 워크로드를 위한 최고의 가격 대비 성능을 제공한다.

새로운 AWS 인퍼런시아2(Inferentia2) 칩으로 구동되는 Inf2 인스턴스는 최대 1,750억 개의 파라미터를 가진 최대 규모의 딥 러닝 모델을 실행하도록 구축되었으며, 현재 세대 Inf1 인스턴스 대비 최대 4배 높은 처리량과 최대 10배 낮은 지연 시간을 제공하여 아마존 EC2에서의 머신 러닝(ML) 추론에 대해 최저 비용으로 최저 지연 시간을 구현한다.

데이비드 브라운(David Brown) AWS 아마존 EC2 담당 부사장은 "그래비톤에서 트레이니엄과 인퍼런시아 칩, 니트로 카드에 이르기까지 AWS 자체 설계 실리콘 각 세대는 다양한 고객 워크로드에 대해 향상된 수준의 성능, 저렴한 비용, 전력 효율성을 제공한다”며 “이러한 일관된 지원과 더불어 AWS 실리콘을 사용해 월등한 가격 대비 성능을 달성하는 고객의 역량은 지속적인 혁신으로 이어진다. 오늘 소개하는 아마존 EC2 인스턴스는 HPC, 네트워크 집약 및 ML 추론 워크로드에 대한 상당한 개선을 제공하여, 고객이 특정 니즈를 충족하기 위해 선택할 수 있는 인스턴스 옵션을 증대했다"고 말했다.

이와 함께 AWS는 리인벤트에서 엔드 투 엔드 머신 러닝(ML) 서비스인 아마존 세이지메이커(Amazon SageMaker)의 신규 기능도 발표했다.

‘아마존 세이지메이커 롤 매니저(Amazon SageMaker Role Manager)’로는 액세스와 권한을 더 쉽게 제어할 수 있다. 관리자는 다양한 사용자 역할과 책임에 따라 사전 구축된 템플릿을 선택하고 편집할 수 있으며, 몇 분 안에 필요한 권한이 있는 액세스 정책을 자동으로 생성하여 사용자를 온보딩하고 관리하는 데 드는 시간과 노력을 지속적으로 줄여 준다.

또 ‘아마존 세이지메이커 모델 카드(Amazon SageMaker Model Cards)’로 모델 정보 수집 단순화를 꾀할 수 있다. 아마존 세이지메이커 모델 카드는 모델 정보를 AWS 콘솔에 저장할 수 있는 단일 위치를 제공하여 모델 수명 주기 동안 문서 작업을 간소화한다. 입력 데이터 세트, 훈련 환경, 훈련 결과와 같은 훈련 세부 정보를 아마존 세이지메이커 모델 카드에 직접 자동으로 채우게 돼 효율적이다.

‘아마존 세이지메이커 모델 대시보드(Amazon SageMaker Model Dashboard)’는 머신러닝 모델을 추적하기 위한 중앙 인터페이스를 제공한다. 제공하여 실무자가 한 곳에서 리소스와 모델 동작을 추적할 수 있도록 한다.

또 ‘아마존 세이지메이커 인퍼런스(Amazon SageMaker Inference)’는 실무자가 동일한 실제 추론 요청 데이터를 실시간으로 사용하여 새 모델의 성능을 프로덕션 모델과 쉽게 비교할 수 있는 기능을 제공한다. 이제 실무자는 자체 테스트 인프라를 구축하지 않고도 동시에 수천 개의 새로운 모델로 테스트를 쉽게 확장할 수 있다.

이와 함께 이제 아마존 세이지메이커는 지리공간 ML 예측 생성을 가속화하고 단순화했다. 고객은 몇 번의 클릭만으로 또는 API를 사용하여, 아마존 세이지메이커를 통해 AWS(예: 아마존 로케이션 서비스), 신뢰할 수 있는 서드파티 공급자나 오픈소스 데이터 세트의 다양한 지리공간 데이터 소스에 액세스할 수 있다.

또 데이터베이스 및 분석 포트폴리오에서 5가지 새로운 기능이 추가됐음을 발표했다. 이는 고객이 페타바이트 규모의 데이터를 더 빠르고 쉽게 관리 및 분석할 수 있게 한다. 아마존 도큐먼트DB(Amazon DocumentDB, MongoDB와 호환 가능), 아마존 오픈서치 서비스(Amazon OpenSearch Service), 아마존 아테나(Amazon Athena)의 이번 신규 기능으로 고객은 대규모의 고성능 데이터베이스 및 분석 워크로드를 보다 쉽게 실행할 수 있다.

AWS는 데이터 레이크와 데이터 파이프라인에서 데이터 품질을 자동으로 관리하는 AWS 글루(AWS Glue)의 새로운 기능도 발표했다. 아마존 레드시프트(Amazon Redshift)는 여러 AWS 가용 영역(AZ)에서 고가용성 구성을 지원한다.

스와미 시바수브라마니안(Swami Sivasubramanian) AWS 데이터베이스 및 머신러닝 부문 부사장은 "데이터는 본질적으로 동적이며, 데이터를 최대한 활용하려면 고객의 니즈에 따라 확장할 수 있고 현재와 미래의 모든 유형의 사용 사례를 수용할 수 있는 엔드 투 엔드 데이터 전략이 필요하다"며 “고객이 양과 유형이 늘어나고 있는 데이터를 최대한 활용할 수 있도록 돕기 위해 우리는 가장 광범위하고 심층적인 데이터베이스 및 분석 서비스 세트를 제공하기 위해 노력하고 있다. 오늘 발표된 새로운 기능은 고객이 더 쉽게 데이터를 쿼리(query), 관리, 확장하여 더 빠르게 데이터에 기반한 의사 결정을 내릴 수 있게 한다”고 말했다.

마지막으로 AWS는 이와 함께 보안을 강화해 주는 아마존 시큐리티 레이크(Amazon Security Lake)를 발표했다. 이 서비스는 자동으로 클라우드와 온프레미스 소스의 조직 보안 데이터를 고객의 AWS 계정에 있는 전용 데이터 레이크로 중앙 집중화하여 고객이 보안 데이터에 대해 더 빠르게 조치를 취할 수 있도록 한다.

아마존 시큐리티 레이크는 사용자 지정 가능한 데이터 보유 설정을 통해 전체 수명 주기 동안 데이터를 관리하고, 들어오는 보안 데이터를 효율적인 아파치 파켓(Apache Parquet) 형식으로 변환하며, OCSF(Open Cybersecurity Schema Framework, 개방형 산업 표준)를 준수하여 AWS의 보안 데이터를 자동으로 정규화하고 수십 개의 사전 통합된 서드파티 엔터프라이즈 보안 데이터 소스와의 결합을 쉽게 만든다. 보안 분석가와 엔지니어는 아마존 시큐리티 레이크를 사용하여 대량의 이질적 로그와 이벤트 데이터를 집계, 관리, 최적화함으로써 더 빠른 위협 탐지, 조사, 사고 대응이 가능해지므로 선호하는 분석 도구를 계속 활용하면서 잠재적인 문제를 효과적으로 신속하게 해결할 수 있다.

존 램지(Jon Ramsey) AWS 보안 서비스 부사장은 “아마존 시큐리티 레이크를 사용하면 모든 규모의 고객이 몇 번의 클릭만으로 보안 데이터 레이크를 안전하게 설정하여 수십 개의 소스에서 로그와 이벤트 데이터를 집계하고, OCSF 표준을 준수하도록 정규화하며, 보안 분석가가 선택한 도구에서 광범위하고 즉각적으로 사용할 수 있다. 아마존 시큐리티 레이크를 통해 고객은 최대 규모의 보안 파트너와 솔루션 에코시스템의 도움을 받아 뛰어난 가시성과 제어를 구현할 수 있다”고 말했다.

아마존 시큐리티 레이크는 현재 미국 동부(버지니아 북부), 미국 동부(오하이오), 미국 서부(오레곤), 아시아 태평양(시드니), 아시아 태평양(도쿄), 유럽(프랑크푸르트), 유럽(더블린)에서 프리뷰로 제공되며, 이용 가능한 AWS 리전이 곧 추가될 예정이다.

구현화 기자 kuh@hankyung.com