백서: 로컬 LLM의 한계를 넘어서
project veneta 백서 · 2026년 10월 · v1.3.1
로컬 LLM의 한계를 넘어서.
기업이 사내 네트워크 안에서 돌리는 LLM이 왜 기대보다 못 답하는지, 모델을 바꾸는 대신 메모리와 판단 레이어를 더했을 때 무엇이 달라지는지. 하나의 네트워크 안에서 12B~70B 오픈 모델 8종으로 측정했습니다.
입력 양식도, 계정도, 정보 수집도 없습니다. PDF가 바로 열립니다. 한국어판 28쪽, 영문판 29쪽. 공정성 문단과 "주장하지 않는 것" 목록은 PDF에 적힌 그대로입니다.
기존 기술과 겹치는 부분: 코드 기반 검사, Critic 모델, 검색형 메모리는 알려진 방식이며 백서도 그렇게 밝힙니다. 겹치지 않는 부분: 배운 규칙은 제안으로만 올라오고 사람이 승인한 뒤에야 메모리에서 불러오며, 모든 결정은 되돌릴 수 있는 원장(Ledger)의 한 줄로 남고, 레이어 전체를 메모리 없는 대조군과 함께 오픈 모델 8종에서 측정했습니다.
v1.3.1
백서 구성
다섯 가지 한계
로컬 LLM이 혼자서는 못 하는 것: 현재 상태 파악, 기억, 지어내지 않기, 자기 검사, 거버넌스 아래에서 학습.
레이어
운영 질문에 답하는 여섯 단계, 거버넌스 아래 놓이는 메모리의 종류, 코드 기반 검사가 Critic 판정에 앞서는 방식.
무엇을 측정했나
데스크톱 장비 1대에서 오픈 모델 8종: 메모리 ON/OFF, 판단 레이어 전후, 배운 규칙 적용, 오픈소스 메모리 레이어와의 비교.
보안과 거버넌스
공격 표면으로서의 메모리에 대한 일곱 가지 테스트: 저장 시 인젝션, 비밀값, 사용자별 격리, 삭제 증명, 변조 탐지, 거절된 규칙, 텔레메트리 기본값.
주장하지 않는 것
합성 데이터, 한 가지 에디션, 작은 실험, 실제 지연 비용, 승인해야 하는 사람. 피어 리뷰 전에 한계를 먼저 적어 둡니다.
백서 받기
다음
project veneta를 관리하는 VENETA Inc.가 veneta 레이어의 기준 측정 자료로 작성했습니다. 저자 이현주 · 이민준.
측정에 관한 질문: [email protected]