판정 규칙

공용 승패 판정은 아직 켜지 않았다. 판정 프로토콜과 기준선 모델을 구현하고 외부 통계 검토를 마친 뒤, 표본 1,000명부터 시작한다.

현재 모든 참여자가 예측을 미리 열어볼 수 있다. 따라서 지금 쌓이는 응답은 프레이밍 영향을 받은 것으로 보고, 공용 판정의 근거로 쓰지 않는다.

기준선

선택지 수의 역수를 기대값으로 쓰지 않는다. 응답은 균등하지 않기 때문이다. 기준선은 표본 안에서 두 가지로 만든다.

최빈 응답 기준선은 그 문항에서 가장 많이 나온 답을 항상 예측하는 모델이다. 하한선이다.
인구통계 기준선은 연령대와 성별만 쓰는 모델이다. 사주는 생년을 포함하므로 연령 정보를 이미 갖고 있다. 이 기준선을 넘어야 사주 고유의 정보가 있다고 말할 수 있다.

판정

인구통계 기준선을 유의하게 넘으면 초과, 최빈 응답 기준선에도 못 미치면 미달, 그 사이는 차이 없음으로 둔다. 정확도만 보지 않고 효과크기와 95% 신뢰구간, 표본 수를 함께 표시한다.

다중검정과 반복검정

명제를 동시에 여러 개 검정하므로 Holm 보정을 적용한다. 누적 표본에 매주 다시 검정하지 않는다. 겹치지 않는 신규 표본 단위로 체크포인트를 둔다. 룰을 만들거나 고친 데이터는 그 룰의 평가에서 제외한다.

표현

“과학적으로 입증”, “사주가 증명됐다” 같은 표현은 쓰지 않는다. 공용 결과는 “이 표본에서 기준선 초과”처럼 적는다.

명제 폐기

자동 작업은 재검토 상태까지만 바꾼다. 최종 폐기는 사람이 승인한다. 폐기된 명제는 목록에서 지우지 않고 표시를 단 채 남기며, 예측만 멈추고 집계는 계속한다.