LLM 위키를 직접 써 봤습니다

LLM 위키가 어떤 것인지 말로만 비교하지 않으려고, 가장 작은 형태로 하나 만들어 veneta의 문서를 넣어 봤습니다. 모델이 소스를 읽고 주제별 마크다운 페이지를 쓰고, 색인과 변경 로그를 유지하고, 질문이 오면 색인에서 페이지를 골라 읽고 답하는 방식입니다. 특정 제품이 아니라 패턴이고, 코드는 250줄쯤 되는 veneta의 스크립트입니다. 모델은 로컬 gemma-4-31b-fp8, 소스는 veneta의 논문 초안과 실험 기록 등 문서 6개, 약 14만 5천 자.

무엇이 만들어졌나


페이지	41
사실(날짜·출처 붙은 한 줄)	145
모델 호출	68회 (소스 조각마다 1회, 페이지 요약마다 1회)
걸린 시간	78분
변경 로그	96줄
“모순 가능” 표시	126개

적재에 78분이 걸린 것이 위키 방식의 첫 번째 비용입니다. 같은 문서를 veneta의 저장소에 넣는 데는 임베딩만 쓰여 1분이 안 걸립니다. 대신 위키는 페이지가 사람이 읽을 수 있는 글이고, 질문이 오기 전에 정리가 끝나 있습니다.

잘된 장면

질문: “판정 계층 채택 규칙이 뭐야?”

모델은 색인에서 두 페이지를 골라 읽고 이렇게 답했습니다.

CEO 채택 규칙은 시스템이 모든 세트에서 분명히 더 뛰어나고 리스크가 상승하지 않는 경우에만 채택할 것을 요구합니다 [CEO Adoption Rule, judge-tier-2026-10-01.md]. 채택을 위해서는 제3자 메모리 벤치마크 이후 테스트를 수행해야 하며, 8개 모델 매트릭스를 포함한 모든 측정을 다시 수행해야 합니다 [CEO Adoption Rule, judge-tier-2026-10-01.md].

veneta 팀이 10월 1일에 정한 규칙 그대로이고, 페이지 이름과 원본 파일이 붙어 있어 확인할 수 있습니다. 여러 문서에 흩어진 것을 미리 한 페이지로 모아 두었기 때문에 가능한 답입니다. 이것이 위키의 장점이고, veneta가 약한 지점입니다.

잘못된 장면

같은 실행에서 모델은 constitution.md라는 페이지를 만들었습니다. veneta의 논문에서 “constitution”은 메모리 규칙이 어겨서는 안 되는 조항 목록입니다. 페이지의 요약은 이렇습니다.

The Constitution is the supreme law of the land. It defines the framework of the government and the rights of citizens.

소스 어디에도 없는 문장입니다. 모델이 단어를 보고 일반 지식을 사실처럼 썼고, 아무도 승인하지 않은 채 색인에 올라갔습니다. 다음에 “constitution”이 들어간 질문이 오면 이 페이지가 근거가 됩니다. duplicate-matching.md도 같습니다. veneta 문서의 “중복 병합”을 데이터베이스 교과서 정의로 바꿔 놓았습니다. 사실이 하나도 없는데 요약만 있는 페이지도 하나 있었습니다.

이것이 “모델이 쓴 사실에 승인 문이 없으면 어떻게 되나”의 실물입니다. 로컬 31B라서 더 자주 생기는 일이고, 더 큰 모델은 덜 그럴 것입니다. 하지만 “덜”이지 “안”이 아닙니다.

신호가 너무 많으면 신호가 아닙니다

새 사실이 기존 사실과 단어는 겹치는데 숫자나 날짜가 다르면 “모순 가능”으로 표시하게 했습니다. 126개가 표시됐는데 대부분은 모순이 아니었습니다. 예를 들면 이렇습니다.

“The dense memory adversarial configuration passed 4.0/4 cases.” vs “The dense memory [layer A] records adversarial configuration passed 4.0/4 cases across 3 runs.”

같은 모델의 다른 설정일 뿐입니다. 표시가 이렇게 많으면 사람은 전부 무시하게 되고, 그 순간 검토는 없는 것과 같습니다. 코드 리뷰에서 “전부 승인”을 누르게 되는 것과 같은 일입니다.

여기서 배운 것

veneta가 위키 위에 거버넌스를 얹을 때의 설계는 이 세 장면에서 나왔고, v0.1과 함께 공개합니다. 세 장면이 말하는 것은 분명합니다.

145개 사실을 하나씩 승인하라면 아무도 하지 않습니다. 사람의 손이 가야 할 곳은 따로 있습니다.
위 constitution.md처럼 소스에 근거가 없는 새 페이지는 사람이 봐야 합니다.
변경 로그 96줄을 사람이 읽는 것이 검토입니다. 끼어드는 팝업은 없어야 합니다.
모순 표시 126개 중 진짜가 몇 개인지 세어야 합니다. 오탐이 많으면 표시 규칙을 고쳐야 합니다.

이 위키의 파일 구조(pages/<이름>.md에 요약·날짜 붙은 사실·출처, index.md, log.md)가 veneta의 위키 저장소가 다루는 형식이 됩니다. 저장소 쪽은 먼저 재고 숫자를 비교 페이지에 올립니다. 스크립트는 v0.1과 함께 공개합니다. 같은 실험을 다른 모델로 해 보실 분을 환영합니다.