크로스 리전 임대 엠포에서 WhisperKit·코어엠엘로 음성 일괄 전사를 돌리면 병행 세션·배치·정밀도가 통합 메모리와 솔리드 입력 출력을 동시에 씁니다. 의사결정 표·시스씨티엘·활동 상태 표 참고치·대기·계산 큐 타임아웃 분리·다섯 단계 런북입니다. 코어엠엘 이피 배치·엠엘모델씨·큐 디엘큐. 가격·구매·도움말.
세 가지 한계
- 병행 과잉. 워커 증가 시 가중치·캐시가 통합 메모리에서 겹칩니다.
- 배치·정밀도. 긴 배치는 피크가 커져 십육 기가바이트에서 먼저 깨집니다.
- 단일 타이머. 디스크 지연과 추론을 한 한계에 묶으면 큐 재시도가 흔들립니다.
의사결정 매트릭스
| 프로필 | 병행 | 배치·정밀도 | 십육·이십사 기가바이트 | 솔리드 | 대기·계산 |
|---|---|---|---|---|---|
| 상시 | 한 둘은 측정 후 | 에프피 십육·짧은 배치 | 십육 한 이십사 둘 | 엔브이엠이 스테이징 | 대기 짧게 계산 넓게 |
| 백로그 | 세마포 상한 | 아이에프 팔·양자화 후 배치 | 십육 축소 이십사 확대 | 읽기 포화 시 병행 감소 | 대기 타이트 계산 완만 |
| 공유 | 코어당 워커 힌트 | 정밀도↓ 병행 억제 | 여유 십에서 십오 퍼 | 스크래치 분리 | 적체 시 디그레이션 |
고정 배속 없음. 모델·빌드·리전마다 달라 임대 이미지에서 짧은 샘플로 재측정하세요.
시스씨티엘·활동 상태 표 참고 임계
맥에서 활동 상태 표로 메모리 압력·씨피유·디스크를 같이 보고 경보와 연동하세요.
# 터미널 — 메모리·스왑·코어 수 확인
sysctl hw.memsize
sysctl hw.ncpu
sysctl vm.swapusage- vm.swapusage 증가 시 병행·배치↓.
- 메모리 압력 노랑↑면 세션 추가 중단.
- 씨피유 장시간 팔십오 퍼↑면 스레드·병행 재조정.
- 디스크 읽기 포화 시 대기 타임아웃 짧게·워커↓.
런북 다섯 단계
- 예열 한 뒤 동일 코퍼스로 배치 길이 이진 탐색·지연 분산·피크를 기록합니다.
- 세마포로 병행 상한을 걸고 큐 길이·대기 시간 히스토그램을 지표로 남깁니다.
- 대기 타임아웃은 디스크·업스트림 계산 타임아웃은 위스퍼킷 경로에 둡니다.
- 십육 기가바이트는 에프피 십육·짧은 배치가 기본 이십사 기가바이트에서만 배치·병행을 단계적으로 늘립니다.
- 리전을 옮기면 지연뿐 아니라 엔브이엠이 스테이징 경로도 달라지므로 다시 확인합니다.
인용 가능한 세 줄
- 통합 메모리는 호스트 전체.
- 대기는 적체 계산은 추론 라벨.
- 솔리드 병목이면 코어 증설만으로는 한계.