DGX Spark 한 대로 두 주

veneta 벤치마크는 전부 DGX Spark 1대(GB10, 128 GB 통합 메모리, DGX OS 7.2.3, 드라이버 580.173.02, vLLM 0.27.1 컨테이너)에서 돌았습니다. 두 주 동안 31B급 모델 여덟 개는 문제없이 돌았고, 70B를 올리자 전원이 두 번 나갔습니다. 같은 장비를 쓰는 분께 도움이 될 것만 적습니다.

일어난 일

전원 차단 두 번, 둘 다 70B 아래에서. 10월 3일 저녁, llama-3.3-70b(FP8, vLLM)로 공개 벤치마크를 45분쯤 돌리던 중 장비만 꺼졌습니다. 다음 날 낮, 같은 모델을 다시 올리고 6분 만에 또 꺼졌습니다. 두 번 다 시스템 로그가 문장 중간에서 끝나고 종료 기록도 커널 패닉도 없었습니다. 두 번째는 식히기 전에는 전원이 다시 켜지지 않았습니다(얼음주머니 10분). GPU 다이 온도는 디스크에 남긴 전력 로그에서 56~77 °C였으니, 끊은 것은 GPU가 아니라 전원단(보드 VRM 또는 USB-C PD 어댑터)의 열 차단으로 보입니다. 31B 모델로는 두 주 동안 한 번도 없던 일입니다.
차단 뒤에는 클럭이 걸립니다. 다시 켜고 모델을 올리면 GPU가 95 % 사용률에 507~~513 MHz, 8~~10 W, P0 상태, 스로틀 사유 없음으로 눌러앉습니다. 디코딩이 평소 6.4 tok/s에서 1.7~4.3 tok/s로 떨어지고, 모든 턴이 두 배 느려집니다. 9월 19일에 처음 겪었고(USB-PD 컨트롤러 웨지로 알려진 증상), 전원 차단 뒤에 다시 왔습니다. 따뜻한 재부팅 두 번으로는 풀리지 않습니다.

고치는 법 — 완전 방전

전원을 끄고, 어댑터를 벽과 본체 양쪽에서 뽑고, USB-C 주변기기를 전부 뽑고, 전원 버튼을 30초 누른 뒤, 60초 이상 기다렸다가 켭니다. 10월 4일 첫 시도는 60초 기다림을 건너뛰어서 그대로 걸려 있었고(4.3 tok/s, 507 MHz), 15분쯤 꺼 두고 제대로 한 두 번째에 풀렸습니다(6.4 tok/s, 2528 MHz, 35 W). 9월에는 한 번에 풀렸습니다.

확인하는 법 — 유휴 상태는 믿지 마세요

걸린 상태에서도 유휴 클럭·온도는 정상으로 보입니다. 가벼운 부하(임베딩 300건)도 858 MHz까지밖에 안 올라가 판단이 안 됩니다. 판단은 실제 디코딩 부하에서만 됩니다. veneta 팀은 npm run preflight로 200토큰 디코딩 테스트를 보내 5 tok/s 이상, SM 클럭 1400 MHz 이상(31B FP8 기준)이면 통과로 봅니다. 데모 40분 전에 돌립니다.

상태	디코딩(31B FP8, 200토큰)	SM 클럭(부하 중)	전력
정상	6.3 ~ 6.4 tok/s	2528 MHz	35 ~ 37 W
걸림(10-04 첫 방전 뒤)	4.3 tok/s	507 MHz	—
걸림(10-04 차단 직후, 70B)	1.7 tok/s	507 MHz	10 W

veneta 팀이 정한 규칙

이 장비에서는 70B를 돌리지 않습니다. 두 번째 장비가 오면 거기서 재개하고, 그때 이 장비의 전원단 문제인지 어댑터 문제인지 갈립니다.
무거운 실행에는 전력 로그를 디스크에 남깁니다(nvidia-smi --query-gpu=timestamp,power.draw,temperature.gpu --format=csv -l 30). 로그는 /tmp에 두지 않습니다. tmpfs라 재부팅하면 사라집니다. 그날 밤 로그를 그렇게 잃었습니다.
Ollama(임베딩)와 GPU를 나눠 쓸 때 vLLM의 --gpu-memory-utilization은 0.55~0.6으로 둡니다. 0.7로 70B를 올리자 메모리 경고가 23줄 떴습니다(차단의 원인은 아니었습니다).
NVIDIA 현장 진단(dgx-spark-fieldiag)은 Secure Boot를 끄고 init 3에서 30분 돌려야 하고, 중단하면 전원을 다시 넣어야 합니다. 비어 있는 날에 합니다.

모르는 것

열 차단이 이 개체의 전원단 문제인지, 어댑터·케이블 문제인지 아직 모릅니다. 두 번째 장비와 현장 진단 결과가 나오면 여기 덧붙이겠습니다. 추측 디코딩(구글의 Gemma 4 드래프터)으로 디코딩이 얼마나 빨라지는지도 측정하는 대로 올립니다.

관련 노트: 로컬 LLM 고르기 · 도구 호출 신뢰도