"트레이니움2 대비 컴퓨팅 성능 4.4배·전력 효율 4배"
100만개 칩 연결 가능한 울트라클러스터 3.0 구축 가능

아마존웹서비스(AWS)가 자사 첫 3나노미터(㎚) 인공지능(AI) 칩 '트레이니움3'(Trainium3)를 탑재한 '아마존 EC2 Trn3 울트라서버'(Amazon EC2 Trn3 UltraServers)를 공개했다고 3일 밝혔다.

AWS 관계자는 "트레이니움3는 이전 세대 대비 컴퓨팅 성능은 4.4배, 전력 효율은 4배 높아졌다"며 "메모리 대역폭도 약 4배 향상됐다"고 말했다.

이어 "Trn3 울트라서버는 최대 144개 트레이니움3 칩을 지원하며 최대 362 FP8 페타플롭스(PFLOPs)의 연산 성능을 제공한다"며 "이를 통해 모델 훈련 기간을 수개월에서 수주로 단축하고 추론 요청 처리량을 크게 높였다"고 설명했다.

AWS는 오픈AI의 공개 모델 'GPT-OSS'를 활용한 내부 테스트에서 트레이니움2 울트라서버 대비 칩당 처리량은 3배, 응답 속도는 4배 향상됐다고 전했다.

Trn3 울트라서버는 칩 간 데이터 이동을 가속한 '뉴런스위치'(NeuronSwitch)-v1와 '뉴런 패브릭'(Neuron Fabric) 네트워크를 적용해 지연 시간을 10마이크로초 미만으로 낮췄다.

이를 통해 수천 개 Trn3 울트라서버를 연결한 'EC2 울트라클러스터 3.0'을 구성할 수 있다.

AWS는 엔비디아 NV링크 퓨전(NVLink Fusion)을 지원해 트레이니움과 GPU를 통합 운용할 수 있는 공통 랙 환경을 구현할 계획이다.

AWS 관계자는 "앤트로픽, 리코, 스플래시뮤직 등 주요 고객들은 트레이니움 기반 훈련·추론 환경을 운영하고 있고 자사 베드록(Amazon Bedrock)도 트레이니움3 인프라로 프로덕션 워크로드를 구동하고 있다"며 "이를 통해 훈련·추론 비용을 기존 대비 최대 50% 절감했다"고 했다.

이어 "트레이니움3에 이어 차세대 버전인 트레이니움4도 개발하고 있다"며 "차세대 칩은 기존 대비 FP4 성능 6배, FP8 성능 3배, 메모리 대역폭 4배 향상을 목표로 설계했다"고 했다.