InferSSD MoE 메모리 계층: SSD·RAM·GPU의 역할과 성능 확인법

InferSSD는 MoE 모델에서 그때그때 선택된 전문가 가중치를 SSD에서 공급하는 llama.cpp 기반 추론 엔진입니다. 모델 전체를 RAM이나 VRAM에 올리기 어려운 환경을 겨냥해, 필요한 가중치만 읽고 다시 쓰도록 설계됐어요. InferSSD MoE 메모리 계층을 이해하려면 가중치가 어떤 경로로 이동하는지, 어디에 캐시되는지, 실제 연산은 어느 장치가 맡는지부터 보는 게 순서입니다. 이 구성이 달라지면 같은 속도 수치도 다르게 읽어야 하거든요.

지원 환경은 Apple Silicon의 macOS·Metal, 그리고 NVIDIA GPU를 쓰는 Linux·CUDA입니다. 설치보다 먼저, 돌리려는 모델이 공식 README에 지정된 GGUF인지부터 확인해 두세요.

Mac과 CUDA는 무엇이 다른가

MoE의 라우터는 토큰마다 어떤 전문가를 쓸지 고릅니다. InferSSD가 관리하는 건 그 다음 단계예요. 선택된 전문가의 가중치를 어디서 읽어 어디에 캐시하고, 어느 장치에서 계산할지를 정합니다. 전문가를 고르는 일과 가중치를 옮기는 일을 따로 떼어 생각하면 플랫폼별 차이가 훨씬 잘 보입니다.

흔히 헷갈리는 지점이 여기입니다. 모든 환경을 'SSD→RAM→VRAM→GPU' 한 줄로 설명해 버리면 Mac에서 실제로 벌어지는 일을 놓치게 돼요. Mac에서는 GPU가 얼마나 일하는지와 함께, 라우팅된 전문가 연산을 CPU가 맡고 있다는 점을 같이 봐야 합니다. 세부 경로는 공식 아키텍처 문서에 정리돼 있습니다.

전문가 팩은 기존 양자화 바이트를 그대로 두고, 가중치 조각을 레이어·전문가 단위로 묶어 4 KiB 경계에 맞춰 정렬합니다. 정밀도를 건드리는 게 아니라 SSD에서 읽어 올 단위를 정돈하는 방식이라고 보면 됩니다. 캐시는 한 번 읽은 가중치를 다시 쓰게 해 주고, 프롬프트 배칭은 여러 토큰이 같은 가중치 접근을 나눠 쓰게 해서 읽기 비용을 분산합니다.

먼저 속도를 추정하고, 실측은 프리필과 디코딩을 나눠서

처음 할 일은 모델을 둘 드라이브의 디렉터리를 지정해 inferssd profile --model <models directory>를 실행하는 것입니다. 지원 모델의 디코딩 속도를 추정해 주는 기능이고, 디렉터리가 비어 있으면 4 GiB 테스트 파일을 만들었다가 지웁니다.

다만 이 값은 추정치일 뿐, 모델을 실제로 돌린 벤치마크와는 따로 읽어야 해요.

직접 측정할 때는 아래 순서로 조건을 고정해 두면 나중에 비교가 편합니다.

1. 엔진 버전과 GGUF 리비전·양자화 형식을 고정합니다.
2. SSD 연결 방식, RAM·VRAM 용량, 캐시 예산, 배치 크기, OS 캐시 조건을 기록합니다.
3. 입력을 처리하는 프리필, 출력을 생성하는 디코딩, 전체 요청 시간, 모델 로딩 시간을 나눠 측정합니다.

프로젝트가 공개한 DeepSeek 결과를 보면 RTX 5090 구성의 디코딩이 7.270 token/s입니다. 이 숫자는 RAM 32 GB, VRAM 32 GB, PCIe 5 ×4 SSD를 쓴 특정 장비에서 나온 값이라는 조건과 한 묶음으로 읽어야 해요. 저라면 비교 대상보다 몇 배 빠르다는 표현보다 초당 생성 토큰 수와 요청 한 번에 걸리는 절대 시간을 먼저 보라고 권하겠습니다. 그래야 내 작업에서 실제로 얼마나 기다리게 될지 감이 옵니다.

공개 수치를 내 장비에 대입하기 전에

공개 벤치마크의 디코딩 속도는 출력 129~256번째 토큰을 기준으로 계산됐고, 전체 요청 시간에는 모델 로딩과 전문가 팩 생성 시간이 빠져 있습니다. Mac 결과는 OS 페이지 캐시를 비우지 않고 잰 값이에요. 그러니 이를 통제된 콜드 캐시 결과로 받아들이거나, 과거 상세 로그를 지금의 요약 수치를 낸 실행 기록으로 이어 붙여 해석해서는 안 됩니다. 측정 방법론을 같이 펼쳐 놓고 보는 걸 권합니다.

2026-11-05 조사 기준 버전은 v0.1.2이고, 그 이후라면 공식 변경 기록과 지원 모델 목록을 다시 확인해야 합니다.

모델별 최소 RAM·VRAM은 공식 문서에서 확인되는 범위 안에서 판단하세요. RAM을 늘리거나 SSD를 더 빠른 것으로 바꿨을 때 토큰 처리량이 얼마나 달라지는지는 공개 자료만으로 단정하기 어렵습니다. 장비 구매를 앞두고 있다면, 같은 모델과 실행 조건에서 캐시 예산이나 저장장치 조건만 바꿔 잰 측정값을 먼저 확보하는 편이 안전해요.