자가발전의 학습 곡선을 측정했습니다

VENETA WorldModel의 기억·자가발전 계층은 현장에서 배운 것을 사람의 승인 아래 규칙으로 쌓습니다. 모델을 다시 학습시키지 않습니다 — 운영자가 고쳐 준 것을 그 자리에서 보류 규칙으로 남기고, 승인되면 다음 판단에 씁니다. 그 루프가 실제로 올라가는 곡선을 만드는지를 이번에 측정했습니다. 모델이 미리 알 수 없는 사이트 관행 6개를, 운영자의 교정과 승인만으로 네 세션 만에 6개 중 5~6개까지 맞히게 됐습니다 — 모델을 바꾸지도, 다시 학습시키지도 않고. 같은 교정을 받고도 승인이 없으면 곡선은 0에 머물렀습니다. 배우고 제안하는 일은 계층이 하고, 올릴지는 사람이 정합니다.

무엇을 쟀는가

모델이 미리 알 수 없는 사이트 관행 6개를 썼습니다 — 티켓을 넣는 큐, 에스컬레이션 데스크, 점검 창 같은 것들로, 각각 합성한 코드워드로 이름을 붙여 모델이 추측으로 맞힐 수 없게 했습니다. 기억은 비어 있는 상태에서 시작합니다(un-seeded). 운영자가 관행을 세션당 2개씩 교정해 세 세션에 걸쳐 6개를 모두 교정하고(네 번째 세션에는 교정이 없습니다), 레이어는 교정 하나를 보류 규칙 하나로 제안합니다. 각 세션이 끝나면 그 관행을 묻는 질문 6개를 다시 던져, 답이 관행대로 나오는지를 셉니다.

세 가지 조건으로 돌렸습니다.

조건	뜻
학습 끔	교정을 받아도 규칙을 제안하지 않습니다
모두 승인	제안된 규칙을 전부 승인합니다
아무도 승인하지 않음	규칙은 제안되지만 보류 상태로 남습니다

결과

세션	학습 끔	모두 승인	아무도 승인하지 않음
1	0 / 6	0 / 6	0 / 6
2	0 / 6	2 / 6	0 / 6
3	0 / 6	4 / 6	0 / 6
4	0 / 6	5.3 / 6 (3회 범위 5~6)	0 / 6

학습을 끄거나 아무도 승인하지 않으면 네 세션 내내 0입니다. 모두 승인하면 매 세션의 승인 뒤에 한 계단씩 오릅니다. 교정이 있던 세 세션에서 레이어는 교정 2건을 각각 보류 규칙으로 만들었고, 이는 모두 승인한 조건과 같습니다 — 두 학습 조건의 차이는 승인뿐이고, 평탄한 이유는 규칙이 없어서가 아니라 승인이 없어서입니다.

이 측정이 보여 주는 것

현장 지식이 쌓입니다. 모델이 모르는 관행 6개를 세 세션에 걸쳐 두 개씩 교정받아, 네 번째 세션에는 6개 중 5~6개를 맞힙니다 — 모델 교체도 재학습도 없이, 운영자의 교정만으로.
승인이 게이트입니다. 학습이 켜져 있어도 사람이 승인하지 않으면 아무것도 바뀌지 않습니다. 무엇을 언제 배울지는 사람이 정하고, 그 결정이 곡선에 그대로 나타납니다 — 통제가 효과가 생기는 자리라는 뜻입니다.
보여 줄 수 있습니다. 이 곡선은 런 파일에서 생성기가 그린 것입니다. 같은 절차를 고객의 관행에 돌리면 그 현장의 곡선이 나옵니다.

조건

합성 관행 6개, 빈 기억에서 시작, 세션당 교정 2건(세 세션에 걸쳐 6개 모두; 네 번째 세션은 교정 없이 질문만)
네 세션, 조건마다 3회 반복(표의 값은 3회 평균, 범위는 3회의 최소~최대)
모델 한 종: Gemma 4 31B(FP8), DGX Spark 1대, 2026-10-15
승인자는 스크립트입니다 — 사람이 판단한 것이 아니라 “전부 승인” / “전부 보류”를 기계적으로 적용했습니다
채점은 결정론적입니다: 답이 관행의 코드워드를 쓰면 통과

읽는 법

이것은 합성 관행 6개, 한 모델, 스크립트 승인자로 잰 곡선입니다. 레이어가 “스스로” 나아진다는 말이 아니라, 사람의 승인이 곡선의 게이트라는 측정입니다. 실제 운영자의 판단, 다른 모델, 더 많은 관행에서는 다시 재야 합니다. 런 파일은 data/eval/tenure/tenure-stair-r{1,2,3}-{off,approve-all,refuse}.json 아홉 개이며 요청 시 제공합니다; 표의 숫자는 그 런 파일에서 생성기가 냅니다.