CPU와 GPU에 이어 NPU가 새로운 유행이며, 모든 회사가 NPU의 힘을 활용하여 Generative AI 기능과 경험을 제공하고 있습니다. Copilot+ PC에는 강력한 NPU를 탑재한 Qualcomm의 Snapdragon X 시리즈 프로세서가 함께 제공되어 최대 45 TOPS(초당 조 단위 연산)를 제공합니다.
Apple의 최신 Neural Engine(NPU)은 최대 38 TOPS를 제공할 수 있습니다. Intel과 AMD도 Lunar Lake(48 TOPS)와 Strix Point(50 TOPS) 플랫폼용 차세대 NPU를 출시할 준비가 되었습니다. NPU에 대한 과장된 홍보가 너무 많아서 NPU란 무엇이고 정확히 무엇을 하는지에 대한 의문이 생깁니다. 모든 질문에 답하기 위해 NPU에 대한 설명이 있습니다.
NPU란 무엇인가요?
NPU는 Neural Processing Unit의 약자로, AI 관련 작업을 수행하도록 특별히 설계되었습니다. AI 관련 작업이라고 하면 NPU가 신경망, 머신 러닝 작업, AI 워크로드를 처리할 수 있다는 의미입니다.
AI 작업을 위해 수행되는 특정 유형의 수학적 계산이 있으며, 가장 흔한 것은 행렬 곱셈(또는 ‘matmul’이라고도 함)입니다. NPU는 이러한 행렬 곱셈 연산을 초고속으로 수행하도록 설계되었습니다.
또한 모든 AI 작업에서 병렬 처리가 매우 중요한데, 신경망이 동시에 여러 연산을 처리하기 때문입니다. 따라서 NPU는 대규모로 병렬성을 해제하는 특수 가속기를 갖추고 있습니다. 고대역폭 메모리와 결합하면 NPU는 여러 코어에서 병렬 matmul 연산을 빠르게 수행할 수 있습니다.
요약하자면, NPU는 병렬성을 해제하고, matmul 연산을 매우 빠르게 실행하고, 확장성을 가능하게 하는 데 중점을 둔 AI 작업을 위해 특별히 설계되었습니다. 각 회사마다 NPU를 다르게 부른다는 점을 명심하세요. Google에서는 TPU(Tensor Processing Unit)라고 부르고 Apple에서는 Neural Engine이라고 부릅니다.
NPU는 CPU, GPU와 어떻게 다른가요?
위에서 말했듯이, NPU는 AI 관련 작업에 특화되어 있습니다. 즉, 애플리케이션별 처리 장치입니다. 반면 CPU는 다양한 작업을 처리해야 하는 범용 처리 장치입니다.
예를 들어, CPU는 운영 체제 작업과 일반 애플리케이션을 처리할 수 있습니다. CPU의 다재다능함은 무엇이든 처리할 수 있다는 것입니다. CPU는 단일 스레드 작업에는 매우 뛰어나지만 병렬 작업에는 매우 비효율적입니다.
다음으로, GPU는 그래픽 렌더링을 위해 특별히 제작되었으므로 게임을 구동하고 시뮬레이션을 만드는 데 매우 좋습니다. GPU는 병렬로 작업을 수행할 수 있으므로 NPU와 가장 가깝습니다. 그래서 GPU는 AI 관련 작업도 실행할 수 있으며 AI 모델을 훈련하는 데 널리 사용됩니다. 그러나 NPU는 AI 관련 작업만을 위해 설계되었으므로 속도와 효율성이 더 좋습니다.
GPU나 NPU가 없던 컴퓨팅 초기에는 CPU가 소프트웨어 렌더링을 사용하여 그래픽을 전적으로 처리했습니다. 1990년대 기술이 발전하면서 GPU가 전용 하드웨어를 통해 그래픽을 처리하게 되었습니다. 그리고 지금은 NPU 시대를 목격하고 있습니다.
이 모든 컴퓨트 유닛은 이제 모든 종류의 작업에 CPU가 스트레스를 받지 않도록 특수 작업을 위해 개발되었습니다. 이는 더 나은 효율성과 성능으로 이어집니다. NPU가 인기를 얻고 있지만 GPU는 여전히 AI 모델을 학습하는 데 광범위하게 사용된다는 점을 명심하세요. 그리고 NPU는 이제 추론에 널리 사용됩니다. 그렇긴 하지만 Google은 Gemini 모델을 전적으로 TPU에서 학습했습니다.
노트북에서 NPU는 어떤 용도로 사용되나요?
NPU 또는 전문 AI 하드웨어 가속기는 원래 대기업에서 병렬 처리를 위해 사용되었습니다. 그러나 노트북과 스마트폰과 같은 소비자 제품에는 이제 NPU가 있습니다. 예를 들어, Microsoft의 새로운 Copilot+ PC에는 Recall과 같은 기능을 구동할 수 있는 강력한 NPU가 포함되어 있으며, 현재는 지연되었지만 몇 달 안에 곧 출시될 예정입니다.
Recall은 화면의 스크린샷을 찍고, NPU를 사용하여 기기의 데이터를 처리하고, 벡터 인덱스를 만듭니다. CPU나 GPU가 데이터를 처리했다면 배터리가 고갈되었을 것입니다. 하지만 이제 전용 NPU가 있으므로 배터리 수명을 다하거나 CPU나 GPU에 부담을 주지 않고도 효율적으로 AI 작업을 수행할 수 있습니다.
마찬가지로, 전용 NPU는 MS Paint의 Cocreator와 같은 기능을 구동하고, 사진 앱에서 이미지를 생성하고, 비디오 클립에서 배경을 제거하고, DaVinci Resolve에서 Magic Mask를 사용하여 시각 효과를 적용하고, 게임에서 프레임을 업스케일하고, Windows Studio 효과를 적용하고, 실시간 번역 및 필사본을 생성하는 등의 작업에 사용됩니다.
시간이 지남에 따라 NPU의 적용은 더욱 확대될 것입니다. CPU와 GPU가 이러한 작업을 수행하지 않아도 되어 기기가 더 빠르고 배터리 효율적이 될 것입니다.
반면 Apple은 Neural Engine(NPU)을 사용하여 iOS, iPadOS, macOS에서 많은 Apple Intelligence 기능을 구동합니다. 온디바이스 AI 모델은 Neural Engine을 사용하여 이메일을 요약하고, 알림을 우선 순위로 지정하고, 통화 녹음 요약을 생성하고, 이미지를 생성하는 등의 작업을 수행합니다. 새로운 Siri도 Neural Engine을 사용하여 많은 AI 작업을 처리합니다.
간단히 말해서, NPU는 AI 시대에 새로운 가능성을 열어줄 수 있는 새로운 하드웨어 가속기입니다. 이는 시작에 불과하며, NPU를 기반으로 한 새로운 애플리케이션과 경험이 가까운 미래에 가능할 것입니다.
우리의 활동을 지원해주세요 ❤️
이 글이 마음에 드셨다면, 앞으로도 좋은 콘텐츠를 계속 발행할 수 있도록 팁을 남겨주세요.
