Apple M3 Ultra와 200W의 고 대역폭 성능은 전력 소비없이 가장 강력한 M3 Ultra 칩으로 새로운 MAC 스튜디오를 출시하여 이번 주 초에 자체 성능 벤치 마크를 끊었습니다. 이 칩에는 최대 32 개의 코어 CPU와 최대 80 코어 GPU가 장착되어 M2 Ultra Chip에 비해 개선 된 계산 및 그래픽 성능을 제공합니다. 또한, M3 Ultra Chip은 이전 버전의 Apple Silicon과 비교하여 6,700 억 개의 매개 변수를 가진 대형 스케일 모델 인 Deep Chic R1 모델을 실행할 때 상당한 성능을 입증했습니다. 670 억 매개 변수를 가진 Deep R1 모델은 404GB의 대규모 용량이며 대역폭이 필요합니다. GPU VRAM의 경우. Apple의 통합 메모리 아키텍처 덕분에 M3 Ultra Chip 은이 부문에서 독특한 이점을 제공하며 최소한의 전력 소비로 인상적인 결과를 보여줍니다. 자세한 내용은 YouTube 채널 Dave2D에서 공유되었으며 Deep Chic R1 모델의 성능을 이전 Apple Chip과 비교했습니다.
R1 모델의 거대한 크기를 고려할 때 효율적으로 실행하려면 상당한 양의 VRAM을 갖는 강력한 GPU 설정이 필요합니다. 기존 PC 설정에서 전력 소비는 극도로 증가했지만 M3 Ultra Chip은 모델을 훨씬 더 효율적으로 실행할 수있었습니다. M3 Ultra Chip의 통합 메모리 아키텍처는 AI 모델이 VRAM과 유사한 리소스를 사용할 수 있도록 높은 대역폭 메모리의 공유 풀을 제공합니다. 작은 AI 모델은 전체 리소스를 사용하지 않고 일관되고 매끄럽게 실행되지만 670 억 파라미터의 깊은 R1 모델은 512GB의 매개 변수에 도달합니다. Apple의 최고 구성에는 M3 Ultra Chip이 필요합니다. 그러나 Mac OS는 기본적으로 VRAM 할당을 부과하며 Dave Lee는 터미널을 통해 수동으로 448GB까지 제한을 늘려야했습니다.
Deep Chic R1 모델은 M3 Ultra Mac Studio에서 성공적이고 원활하게 실행되었으며 정밀도를 희생하는 4 비트 양자화 버전 임에도 불구하고 여전히 6,700 억 개의 매개 변수를 유지하고 놀라운 성능을 보여주었습니다. 다중 GPU로 동일한 성능을 달성 할 수있는 경쟁 모델이지만 전력 소비 측면에서 M3 Ultra Chip이 활용하고 있습니다. 전체 시스템은 200W 미만을 유치하면서 딥 세련된 R1 모델을 실행했습니다. 전력 소비는 유사한 성능을 가진 PC가 유사한 결과를 얻는 데 사용한 전력의 일부일뿐입니다. Dave는 기존의 다중 -GPU 구성은 M3 Ultra Chip보다 10 배 더 많은 전력이 필요했으며 놀랍게도 670 억 파라미터를 가진 R1 모델은 70 억 파라미터의 작은 버전보다 더 성능이 뛰어 났으며, 이는 아키텍처 효율로 인한 것일 수 있습니다. 결국 Apple의 새로운 M3 Ultra Chip은 무게를 훨씬 초과하는 모델을 실행할 수 있습니다. 출처 : wccftech