M1 Max에서 Qwen 27B 로컬 실행: 32GB·64GB 메모리 조건과 속도 판단법

M1 Max에서 Qwen 27B를 로컬로 돌리려면 64GB에서 Qwen3.6-27B를 4비트·8비트로 양자화해 실행한 공개 사례를 기준으로 삼으면 됩니다. 32GB도 4비트에 짧은 입력이라면 시험해 볼 근거가 있습니다. 64GB에서 보고된 4비트 피크 메모리가 약 14.55~19.1GB 수준이기 때문이에요. 하지만 같은 조건으로 32GB에서 직접 잰 결과는 없습니다. 그래서 이 수치를 32GB에서도 여유 있게 돌아간다는 뜻으로 받아들이기는 어렵습니다.

대상 모델은 Qwen/Qwen3.6-27B입니다. 같은 27B여도 양자화 방식과 런타임에 따라 메모리 사용량과 속도가 꽤 달라져요. 게다가 M1 Max는 CPU와 GPU가 통합 메모리를 함께 쓰기 때문에, 모델 말고도 운영체제와 다른 앱이 쓸 몫을 남겨 둬야 합니다.

판단은 세 단계로 하는 걸 권합니다. 모델이 올라가는지를 먼저 보고, 실제로 얼마나 기다려야 하는지를 본 다음, 마지막으로 결과물을 업무에 쓸 수 있는지를 확인하세요. 앞 단계에서 막히면 뒤 단계는 볼 필요가 없으니 이 순서가 시간을 가장 덜 씁니다.

공개된 측정치: 메모리는 얼마나 쓰고, 얼마나 기다리나

아래 두 사례는 둘 다 M1 Max 64GB에서 나온 결과입니다. tok/s는 초당 토큰 수예요. 표에 적힌 생성 속도는 답을 써 내려가는 속도라서, 입력을 읽어 들이는 속도와는 따로 봐야 합니다.

여기서 흔히 헷갈리는 지점이 있습니다. 30.9GB는 디스크에 저장된 파일 크기이고, 14.55GB는 실행 중에 찍힌 피크 메모리예요. 재는 대상이 다르니 두 숫자를 나눠서 메모리를 몇 퍼센트 줄였다고 계산하면 안 됩니다. 실행 메모리에는 가중치 말고도 이전 토큰의 계산 정보를 담아 두는 캐시와 런타임 작업 공간이 들어갑니다. 입력이 길어질수록 필요한 여유가 커지는 것도 이 때문이에요.

응답성을 볼 때는 생성 속도만으로는 부족하고, 첫 토큰이 나오기까지의 대기 시간을 같이 봐야 합니다.

별도로 공개된 oMLX v0.4.1 벤치마크가 이 차이를 잘 보여 줍니다. 4비트 모델에 16k토큰을 넣었을 때 생성 속도는 16.7 tok/s였는데, 첫 토큰이 나오기까지 약 188초가 걸렸습니다. 피크 메모리는 19.1GB로 보고됐고요. 긴 문서나 코드를 넣는 용도라면 생성 속도보다 첫 답을 기다리는 시간이 훨씬 크게 체감될 수 있습니다. 직접 시험할 때는 첫 토큰 시간과 답변이 끝날 때까지의 전체 시간을 둘 다 적어 두세요.

모델 파일을 고정하고, 짧은 입력부터 늘려 가기

재현 가능한 결과를 얻으려면 먼저 어떤 모델 파일을 썼는지부터 확실히 해야 합니다. 저장소의 main은 언제든 바뀔 수 있으니, 특정 파일 상태를 가리키는 리비전까지 기록해 두세요. 8비트 사례 이름에 붙은 fp16도 오해하기 쉽습니다. 양자화하지 않고 남겨 둔 층의 정밀도를 뜻할 뿐, 모델 전체가 16비트라는 의미는 아니에요.

1. 모델 저장소·리비전·양자화 방식, macOS, MLX·mlx-lm 또는 oMLX 버전과 실행 옵션을 기록합니다. 출력 길이와 추론 모드도 고정합니다.
2. 32GB는 4비트와 짧은 입력부터 시작합니다. 64GB는 공개된 4비트·8비트 설정을 참고하되, 운영체제·앱·캐시·작업 공간을 위한 메모리를 남깁니다.
3. 입력을 1k→4k→16k로 늘리며 메모리 압박, 스왑, 피크 메모리, 첫 토큰 시간과 생성 속도를 측정합니다. 최초 모델 로딩, 이미 적재된 상태, 입력 캐시 재사용 결과는 구분합니다.
4. 기다릴 만한 조건을 찾으면 한국어 요약·코드 수정·JSON 출력의 채택 가능성을 확인합니다. 동일한 과제로 요약의 내용 보존, 수정 코드의 테스트 통과, JSON 형식 준수를 살펴봅니다.

1k→4k→16k는 시험하는 순서일 뿐, 메모리 구성별로 어디까지 된다고 확인된 한계는 아닙니다. 중간에 메모리 압박이 올라가기 시작하면 입력을 더 늘리지 말고 그 자리에서 조건부터 조정하는 편이 낫습니다. MLX-LM 공식 문서에 따르면 입력 처리 단위를 줄이면 입력을 처리하는 동안의 피크 메모리를 낮출 수 있어요. 대신 처리 속도는 떨어질 수 있다고 설명합니다.

메모리 용량과 컨텍스트 길이, 어떻게 읽을까

Qwen 공식 모델 카드를 보면 기본 컨텍스트 길이가 262,144토큰으로 나와 있습니다. 이건 모델이 받아들일 수 있는 사양이고, 내 Mac에서 그 길이를 쓸 만한 속도로 처리할 수 있다는 뜻은 아니에요. 실제로 넣을 입력 길이는 메모리 사용량과 첫 토큰 시간을 함께 보면서 정하는 게 맞습니다.

64GB라면 양자화하지 않은 원본 BF16도 돌릴 수 있지 않을까 싶겠지만, 이건 따로 따져 봐야 합니다. 지금 있는 근거는 모두 양자화 모델의 결과예요. 8비트가 올라갔다는 사실만으로 원본 BF16에 원하는 입력 길이까지 얹어도 여유가 있다고 결론 내리기는 어렵습니다.

끝으로, 공개 수치 대부분은 2026년 6월에 서로 다른 설정에서 나온 것입니다. 그래서 이 숫자들만 보고 4비트와 8비트 중 어느 쪽이 더 빠른지, 품질이 얼마나 다른지까지 일반화하기는 어렵습니다.