로컬 AI 때문에 새 PC를 살지는 TOPS 숫자보다 ‘내가 쓸 모델·앱이 그 장치에서 돌아가는가’로 판단해야 합니다. 2026년 9월 IFA 이후 AI PC가 다시 화제입니다. Microsoft는 9월 14일 공식 정리에서 로컬 모델과 에이전트, 개발 도구가 준비된 PC 경험을 소개했습니다. 하지만 발표에서 가능한 일과 내 업무에 필요한 일은 별도로 따져야 합니다.
이 글은 2026년 9월 19일 확인한 공식 발표와 실행 도구 문서를 바탕으로 만든 구매 판단표입니다. 특정 제품의 실측 리뷰가 아니며, 아래 메모리와 비용 숫자는 구조를 설명하는 계산 예시입니다.
‘AI가 되는 PC’와 ‘AI 때문에 필요한 PC’의 차이
내 작업이 웹에서 질문을 몇 번 하고 답을 받는 정도라면 먼저 현재 PC로 충분한지 확인하는 게 합리적입니다. 반대로 파일을 외부에 보내기 어려운 업무, 반복적으로 많은 문서를 처리하는 작업, 네트워크가 없는 환경은 로컬 실행을 검토할 이유가 됩니다. 다만 회사 정보라면 로컬 실행 여부와 별개로 조직의 도구 사용 승인이 필요할 수 있습니다.
구매 전에 한 문장으로 목표를 적어 보세요. ‘AI를 잘 쓰고 싶다’ 대신 ‘인터넷을 끊은 상태에서 한국어 업무 메모 10개를 분류한다’처럼 결과를 확인할 수 있어야 합니다. 이 문장이 없으면 어떤 제품이 더 좋은지 비교할 기준도 없습니다.
메모리: 모델 파일 크기만 맞추면 끝이 아니다
모델의 파라미터 수에 저장 비트를 곱하면 가중치의 거친 하한을 계산할 수 있습니다. 예를 들어 80억 개(8B)를 모두 4비트로 저장한다고 단순화하면 80억 × 4 ÷ 8 = 40억 바이트, 약 4GB입니다. 32B라면 같은 계산으로 약 16GB가 됩니다. 이 숫자는 PC 권장 메모리가 아닙니다. 양자화 부가 데이터, 실행 버퍼, 대화 기록용 캐시, 운영체제와 다른 앱 공간이 빠져 있습니다.
따라서 ‘8B 4비트 모델이니까 4GB 메모리면 된다’는 식으로 사양을 고르면 안 됩니다. 같은 모델도 긴 문서나 여러 요청을 함께 처리할 때 필요한 공간이 달라집니다. Ollama의 컨텍스트 길이 문서도 컨텍스트를 늘릴수록 메모리 요구가 커진다고 설명합니다.
NPU·GPU·통합 메모리는 서로 바꿔 읽을 수 없다
판매 페이지의 ‘총 AI 성능’ 수치 하나로 모든 로컬 모델 속도를 예상하기는 어렵습니다. 사용하는 프로그램이 어떤 실행 장치를 지원하는지 먼저 봐야 합니다. NPU가 있다는 것만으로 내 앱이 그 NPU를 쓰는 것은 아닙니다. GPU 메모리와 시스템 메모리도 제품 이름만 보고 단순 합산하면 안 됩니다.
구체적인 확인 방법은 구매 후보의 사양을 사용할 실행 도구의 지원 목록과 맞춰 보는 것입니다. 예를 들어 Ollama를 쓸 계획이라면 공식 하드웨어 지원 문서에서 운영체제와 GPU 조건을 먼저 확인합니다. 판매자의 ‘AI 지원’ 문구보다 이 호환성 확인이 내 작업에 직접적인 정보입니다.
내 사용 목적을 구매 조건으로 바꾸는 표
| 하고 싶은 일 | 구매 전에 확인할 것 | 보류할 신호 |
|---|---|---|
| 가끔 번역·짧은 질문 | 현재 기기의 기존 서비스로 충분한가 | 새 PC로 얻을 변화가 설명되지 않음 |
| 긴 한국어 문서 정리 | 목표 문서 길이에서 메모리·답변 품질·대기 시간 | 짧은 영어 질문 시연만 있음 |
| 코딩 에이전트 실행 | 사용할 모델·도구 연결·실행 권한·복구 방법 | 모델 실행을 작업 완료 능력과 혼동함 |
| 외부 전송을 제한한 작업 | 추론·검색·문서 처리 각각의 네트워크 사용 | 로컬이라는 이름만 있고 전송 경로가 불명확 |
로컬 AI면 데이터가 절대로 나가지 않을까
추론을 내 PC에서 수행하는 것과 프로그램의 모든 기능이 오프라인인 것은 구분해야 합니다. 모델 다운로드, 웹 검색, 클라우드 모델, 외부 도구 연결은 별도의 통신 경로가 될 수 있습니다. Ollama도 공식 FAQ에서 로컬 실행과 클라우드 모델을 구분하며 클라우드 기능을 비활성화하는 설정을 안내합니다.
민감한 자료를 넣기 전에 가짜 문서로 작업 흐름을 확인하는 편이 좋습니다. 개인정보가 없는 짧은 파일을 사용해, 인터넷이 없어도 필요한 단계가 끝나는지, 검색이나 외부 저장 기능이 켜져 있는지를 각각 봅니다. 오프라인 성공은 한 가지 확인 항목이며 프로그램 전체의 보안을 증명하는 시험은 아닙니다.
구독료와 비교할 때 빠뜨리기 쉬운 비용
다음은 시장 가격이 아닌 계산 예시입니다. 로컬 AI 때문에 추가로 지출하는 금액이 120만 원이고 실제로 줄어드는 구독·사용료가 월 4만 원이라면, 단순 회수 기간은 120만 ÷ 4만 = 30개월입니다. 전기료, 장치 고장, 설치·관리 시간, 여전히 유지하는 다른 구독료는 제외한 값입니다.
그래서 비교할 때는 PC 전체 가격 대신 AI를 위해 추가하는 비용을, 절감액에는 실제로 취소할 수 있는 비용을 넣어야 합니다. 로컬 모델을 샀는데 기존 서비스를 그대로 유지한다면 ‘구독료 절약’은 실현되지 않습니다. 반대로 외부 전송 제한이나 오프라인 작업이 목적이라면 비용 절약과 다른 가치로 평가해야 합니다.
판매 페이지를 닫기 전에 적어 볼 다섯 줄
- 실행할 앱과 모델 이름: ______
- 처리할 자료의 언어·길이·빈도: ______
- 해당 조합의 하드웨어 지원 근거: ______
- 답변 품질과 대기 시간의 수용 기준: ______
- 현재 PC 대비 추가 비용과 바뀌는 업무: ______
이 다섯 줄을 채우지 못했다면 제품을 더 비싸게 고르기보다 현재 장치에서 작은 작업부터 시험하는 편이 낫습니다. ‘실행됨’과 ‘내가 기다릴 만한 속도로 쓸 만한 결과가 나옴’을 분리해서 기록하면, 이후 구매할 때도 메모리가 필요한지 처리 성능이 필요한지 설명할 수 있습니다.
함께 읽기: AI 에이전트와 챗봇의 차이 · 윈도우 11 24H2 지원 종료 판단표
작성: PC Wise AI · 자료 확인: 2026년 9월 19일. 하드웨어의 국내 판매 가격·출시 일정은 이 글에서 단정하지 않았습니다. 실제 구매 후보는 사용할 소프트웨어의 최신 지원 조건과 함께 비교하세요.
답글 남기기