AI경량화1 로컬 LLM(온디바이스 AI), 왜 주목받고 있나? 요즘 AI 기술에 관심이 많은 사람이라면 ‘온디바이스 AI(On-device AI)’ 또는 ‘로컬 LLM(Local LLM)’이라는 용어를 자주 접하게 됩니다. ChatGPT나 Claude처럼 클라우드 서버에 연결하지 않고, 내 스마트폰이나 PC 자체에서 동작하는 이 AI가 왜 갑자기 주목받게 된 걸까요? 그리고 실제로 우리는 어디까지 활용할 수 있을까요? 1. 로컬 LLM이 갑자기 뜨는 이유기존의 대형 언어 모델(LLM)은 수십~수백억 개의 매개변수(Parameter)를 처리해야 해서 고성능 GPU 서버와 빠른 인터넷 연결이 필수적이었습니다.하지만 최근 하드웨어와 AI 소프트웨어 모두에서 혁신이 일어났습니다.NPU 및 전용 칩 보급: 스마트폰과 PC에 저전력·고효율 NPU(신경망처리장치)가 기본 탑재되.. 2026. 7. 26. 이전 1 다음
