homeclaw/tests/prompt-gates.test.ts

/**
 * prompt-gates.test.ts
 *
 * Regression tests for the hardcoded regex gates that force/suppress model behavior.
 * These are pure string->boolean functions with no I/O, which makes them the highest-value
 * thing in the codebase to pin down: every one of them exists because a real production
 * failure got through, and a silent regex regression re-opens that exact hole with no
 * crash and no stack trace to notice it by.
 *
 * Cases marked [2026-07-29] come from a production log audit of a GPU/PCIe hardware chat
 * where the model fabricated tok/s figures and benchmark percentages. They were verified by
 * hand against the real transcript before being written here — do not "simplify" them into
 * synthetic strings, the awkward phrasing is the point.
 */

import { test, describe } from 'node:test';
import assert from 'node:assert/strict';
import {
  looksLikeUnverifiedSpecClaim,
  isExemptFromVerification,
  isFactualInfoRequest,
  isLiveDataRequest,
  isNewsRequest,
  isExecutionLikeRequest,
  isGreetingLikeMessage,
  isUsableGroundingResult,
  claimsMessageSent,
  isMessagingRequest,
  isCancelIntent,
  isRerunIntent,
  isDisasterRequest,
} from '../src/gateway/guards/prompt-gates';

describe('looksLikeUnverifiedSpecClaim — 출력에서 검증 안 된 수치 감지', () => {
  test('명시적 스펙 단위는 단독으로 걸린다', () => {
    assert.equal(looksLikeUnverifiedSpecClaim('약 70~80GB 정도 필요합니다.'), true);
    assert.equal(looksLikeUnverifiedSpecClaim('31 tok/s가 나옵니다.'), true);
    assert.equal(looksLikeUnverifiedSpecClaim('약 15 TFLOPS 수준입니다.'), true);
  });

  // [2026-08-09] 실제 로그(12065행)의 태풍 답변. 기압/풍속/위경도는 어느 단위 목록에도 없어서
  // 출력측 가드가 검증할 대상 자체를 못 봤다. GB/TFLOPS만큼이나 스펙적인 수치이고, 그것들과
  // 달리 시시각각 변하므로 기억해서 쓴 값은 언제나 틀리다.
  test('[2026-08-09] 기압·풍속·위경도 같은 관측 수치도 걸린다', () => {
    assert.equal(
      looksLikeUnverifiedSpecClaim(
        '현재 태풍 돌핀의 위치는 북위 18.5°, 동경 150.0° 부근이며 중심기압 905hPa, 최대풍속 58m/s입니다.',
      ),
      true,
    );
    assert.equal(looksLikeUnverifiedSpecClaim('중심기압 905hPa를 유지하고 있습니다.'), true);
    assert.equal(looksLikeUnverifiedSpecClaim('최대풍속 58m/s입니다.'), true);
    assert.equal(looksLikeUnverifiedSpecClaim('북위 18.5° 부근에 있습니다.'), true);
  });

  test('[2026-07-29] 단위 없는 "N토큰"도 걸린다 — /초 접미사 없는 실제 사례', () => {
    assert.equal(
      looksLikeUnverifiedSpecClaim(
        'PCIe 3.0 슬롯의 대역폭 한계로 인해 GPU 간 통신 병목이 발생하여, 70B나 31B 같은 대형 모델 구동 시 15토큰 안팎의 속도가 나오는 것이 맞습니다.',
      ),
      true,
    );
  });

  test('[2026-07-29] 퍼센트 벤치마크는 스펙 문맥과 함께일 때 걸린다', () => {
    assert.equal(
      looksLikeUnverifiedSpecClaim(
        'RTX 5060 Ti는 PCIe 5.0 x8 규격이라 PCIe 3.0 환경에서 구동할 때 성능 손실은 약 5% 안팎 수준입니다.',
      ),
      true,
    );
    // 프로덕션 원문 그대로 — "GPU"가 들어있어서 스펙 문맥으로 걸린다.
    assert.equal(
      looksLikeUnverifiedSpecClaim(
        'RTX 5060 Ti 2장을 묶어 텐서 병렬(Tensor Parallelism)로 LLM을 돌릴 때, PCIe 3.0 환경은 4.0에 비해 GPU 간 통신 병목으로 인해 토큰 처리 속도 손실이 약 15%~25% 정도까지 벌어집니다.',
      ),
      true,
    );
  });

  test('[2026-07-29-2] 하드웨어 명사 없는 처리량 주장도 걸린다 — 이 테스트가 찾아낸 구멍', () => {
    // 위 원문을 한 단어(GPU) 빼고 바꿔 쓰면 통과해버리던 케이스.
    // SPEC_CONTEXT_KEYWORD에 토큰/대역폭/추론/처리속도를 추가해 막았다.
    assert.equal(
      looksLikeUnverifiedSpecClaim(
        'PCIe 3.0은 4.0 대비 토큰 처리 속도 손실이 약 15%~25%까지 벌어집니다.',
      ),
      true,
    );
    assert.equal(
      looksLikeUnverifiedSpecClaim('메모리 대역폭이 약 40% 낮습니다.'),
      true,
    );
  });

  test('퍼센트가 스펙 문맥 없이 쓰이면 걸리지 않는다 (오탐 방지)', () => {
    // % 를 STRICT tier에 넣었다면 이 셋이 전부 헛검색을 유발했을 것 — 이 테스트가 그 회귀를 막는다.
    assert.equal(looksLikeUnverifiedSpecClaim('오늘 강수확률은 20%입니다.'), false);
    assert.equal(looksLikeUnverifiedSpecClaim('이 상품은 지금 30% 할인 중이에요.'), false);
    assert.equal(looksLikeUnverifiedSpecClaim('배터리가 15% 남았습니다.'), false);
  });

  test('일반 대화/숫자 없는 설명은 걸리지 않는다', () => {
    assert.equal(looksLikeUnverifiedSpecClaim('저는 GLM 모델이며, 1+1은 2입니다.'), false);
    assert.equal(looksLikeUnverifiedSpecClaim('오늘 날씨는 20도 정도입니다.'), false);
    assert.equal(looksLikeUnverifiedSpecClaim('이 노트북은 90만원 정도 합니다.'), false);
    assert.equal(looksLikeUnverifiedSpecClaim('트랜스포머는 어텐션 기반 구조입니다.'), false);
  });

  test('한국어 헤지 표현은 숫자 없이도 걸린다', () => {
    assert.equal(looksLikeUnverifiedSpecClaim('대략 그 정도일 것으로 예상됩니다.'), true);
    assert.equal(looksLikeUnverifiedSpecClaim('정확하진 않지만 그렇게 추정됩니다.'), true);
  });

  test('코드블록 안의 숫자는 무시한다', () => {
    assert.equal(looksLikeUnverifiedSpecClaim('아래 코드입니다:\n```py\nSIZE_GB = 80\n```'), false);
  });

  test('빈 입력/널은 안전하게 false', () => {
    assert.equal(looksLikeUnverifiedSpecClaim(''), false);
    assert.equal(looksLikeUnverifiedSpecClaim(null as any), false);
    assert.equal(looksLikeUnverifiedSpecClaim(undefined as any), false);
  });
});

describe('isExemptFromVerification — 개인 인프라 별칭', () => {
  test('사용자 개인 서버 별칭은 검색 강제에서 면제', () => {
    assert.equal(isExemptFromVerification('지서버는 PCIe 3.0인가?'), true);
    assert.equal(isExemptFromVerification('클로서버 사양 알려줘'), true);
  });

  test('일반 제품 질문은 면제 아님', () => {
    assert.equal(isExemptFromVerification('RTX 5090 스펙 알려줘'), false);
  });

  // [2026-08-09] "현재 시어엔진 상태 어때?"가 실사용 로그에 나왔는데 이 목록에 없었다.
  // SearXNG의 사용자 별칭([[feedback_searxng_nickname]]) — 지서버/클로서버와 같은 이유로
  // 웹검색이 검증할 수 없는 로컬 인프라다.
  test('시어엔진(SearXNG 별칭)도 면제', () => {
    assert.equal(isExemptFromVerification('현재 시어엔진 상태 어때?'), true);
  });
});

describe('isFactualInfoRequest — 검증이 필요한 질문 분류', () => {
  test('비교/스펙/가격 질문을 잡는다', () => {
    assert.equal(isFactualInfoRequest('A100 vs V100 비교'), true);
    assert.equal(isFactualInfoRequest('RTX 5090 가격은?'), true);
    assert.equal(isFactualInfoRequest('실제 속도는 얼마나 되나 비교 도표'), true);
  });

  test('코딩/실행 요청은 제외 (검색이 아니라 실행할 일)', () => {
    assert.equal(isFactualInfoRequest('로그인 페이지 만들어줘'), false);
    assert.equal(isFactualInfoRequest('이 버그 고쳐줘'), false);
  });

  test('개인 인프라 질문은 제외 — 검색해도 나올 수 없음', () => {
    assert.equal(isFactualInfoRequest('지서버 사양 비교해줘'), false);
  });

  test('인사말은 제외', () => {
    assert.equal(isFactualInfoRequest('hello'), false);
    assert.equal(isFactualInfoRequest(''), false);
  });

  // [2026-08-11] 실제 사고: "5060 보다 얼마나 빠르지 4080?"에 도구 호출 0건, 모델이 "RTX 5060은
  // 아직 출시되지 않은 차세대 모델"이라고 완전히 지어냈다 — 실제로는 이미 출시돼 지서버가 쓰고
  // 있는 카드(RTX 5060 Ti). "성능"/"비교" 같은 기존 키워드를 하나도 안 써서 게이트를 그냥
  // 통과했다. "A보다 (얼마나) 빠른/느린/좋은" 캐주얼 비교 표현을 형용사로 넓게 잡는다.
  test('[2026-08-11] "A보다 빠른가" 캐주얼 비교 표현도 잡는다', () => {
    assert.equal(isFactualInfoRequest('5060 보다 얼마나 빠르지 4080?'), true);
    assert.equal(isFactualInfoRequest('이게 저것보다 느린가?'), true);
    assert.equal(isFactualInfoRequest('아이폰이 갤럭시보다 나은가'), true);
  });
});

describe('isNewsRequest / isLiveDataRequest', () => {
  test('뉴스 요청을 잡는다', () => {
    assert.equal(isNewsRequest('오늘 미국 주요 뉴스'), true);
    assert.equal(isNewsRequest('속보 있어?'), true);
  });

  test('"무슨 소식 있어?"류 안부 인사는 뉴스가 아니다', () => {
    // 이 관용구 예외가 없으면 잡담이 news_search 강제로 이어진다.
    assert.equal(isNewsRequest('무슨 좋은 소식 있어?'), false);
    assert.equal(isNewsRequest('별 소식 없지?'), false);
  });

  test('안부 관용구 + 실제 뉴스 키워드가 섞이면 뉴스로 본다', () => {
    assert.equal(isNewsRequest('오늘 무슨 뉴스 있어?'), true);
  });

  test('날씨/환율 등 라이브 데이터', () => {
    assert.equal(isLiveDataRequest('내일 구미 날씨'), true);
    assert.equal(isLiveDataRequest('환율 알려줘'), true);
    assert.equal(isLiveDataRequest('파이썬 리스트 정렬법'), false);
  });

  // [2026-08-09] 실제 로그(12065행): "지금 태풍 돌핀 어디 있지?"가 이 게이트를 통과해
  // 검색 없이 답변됐고, 모델이 일주일 전(9119행, 8월 2일) 대화와 똑같은 좌표·기압·풍속을
  // 그대로 다시 뱉었다. 재해 현황은 날씨만큼이나 시시각각 변한다.
  test('태풍 등 재해 현황도 라이브 데이터다', () => {
    assert.equal(isLiveDataRequest('지금 태풍 돌핀 어디 있지?'), true);
    assert.equal(isLiveDataRequest('태풍 돌핀 세력이 어느 정도야?'), true);
    assert.equal(isLiveDataRequest('방금 지진 났어?'), true);
    assert.equal(isLiveDataRequest('내일 호우 예보 있나'), true);
  });

  // [2026-08-09] 실제 사고(로그 12804행 세션 papa@ca71bc1c): "마두로 미국에 잡혀가지
  // 않았나?"에 세 턴 연속 도구 호출 없이 "체포되지 않았다"고 확신에 차 정정했는데, 실제로는
  // 사용자가 맞았다(마두로는 이미 미국에 체포·압송된 상태). 공인의 체포/사임/사망 같은 신상
  // 변동도 날씨·재해만큼 시시각각 변하는데 아무 가드에도 안 걸렸다.
  test('체포·사임 등 공인 신상 변동도 라이브 데이터다', () => {
    assert.equal(isLiveDataRequest('마두로 미국에 잡혀가지 않았나?'), true);
    assert.equal(isLiveDataRequest('얼마전 미국에 잡혀가 구속 상태자너?'), true);
    assert.equal(isLiveDataRequest('그 배우 구속됐대?'), true);
    assert.equal(isLiveDataRequest('대통령 하야했다는게 사실이야?'), true);
  });

  // "구속"은 DB/코딩에서 "제약조건"(구속조건, ~에 구속받지 않고) 뜻으로도 흔히 쓰인다.
  // 체포 맥락의 활용형(구속됐/구속영장/구속 상태 등)일 때만 걸려야, 정상적인 설계·코딩
  // 질문이 "지금 답하지 말고 검색부터 하라"는 리마인더에 걸려 방해받지 않는다.
  test('"구속"의 비체포 의미(제약조건)는 라이브 데이터로 안 잡는다', () => {
    assert.equal(isLiveDataRequest('이 조건에 구속받지 않고 자유롭게 설계해줘'), false);
    assert.equal(isLiveDataRequest('변수 스코프 구속 범위가 어떻게 되지'), false);
  });

  // 날씨/재해/체포 같은 화제별 목록은 결국 화이트홀이다 — 다음번엔 제3의 화제에서 또 뚫린다.
  // "최근/지금/현재"가 들어가면 화제를 안 가리고 걸리도록 일반화했다. 근거는 실사용 로그
  // 403건 전수조사: 이 세 표현이 들어간 66건(16.4%) 중 오탐 0건 — 전부 비트코인 시세, 대통령이
  // 누구인지, 서울 날씨 등 정당한 실시간 조회였다. "요즘"은 실사용 예가 없어 후보에서 뺐다.
  test('[2026-08-09] "최근/지금/현재"는 화제 무관하게 라이브 데이터로 본다', () => {
    assert.equal(isLiveDataRequest('비트코인 현재 가격이 얼마야?'), true);
    assert.equal(isLiveDataRequest('지금 한국 대통령이 누구야?'), true);
    assert.equal(isLiveDataRequest('최근에 나온 라마(Llama) 모델 버전이 뭐야?'), true);
    assert.equal(isLiveDataRequest('베네수엘라는 지금 어때?'), true);
  });

  test('시점표현이 있어도 코딩/실행형 요청은 라이브 데이터가 아니다', () => {
    // "지금 이 코드 확인해줘"에 "검색부터 하라"는 리마인더가 끼어들면 안 된다.
    assert.equal(isLiveDataRequest('지금 이 코드 확인해줘'), false);
    assert.equal(isLiveDataRequest('현재 파일 구조 만들어줘'), false);
  });

  test('시점표현이 있어도 개인 인프라 질문은 라이브 데이터가 아니다', () => {
    // 지서버/시어엔진은 웹검색으로 검증 불가능하다 — isLiveDataRequest가 이 예외를 아예
    // 거치지 않던 기존 버그도 함께 고쳐졌다.
    assert.equal(isLiveDataRequest('지서버 최근에 왜 이렇게 느려'), false);
    assert.equal(isLiveDataRequest('현재 시어엔진 상태 어때?'), false);
  });

  // [2026-08-10] 실사용 104건 대조에서 나온 유일한 오탐: 7,583자짜리 고소장 작성 요청이 본문
  // 한가운데(2578자 지점)의 "시세"(장물 시세) 때문에 걸렸다. 매칭된 단어가 사용자의 '요청'이
  // 아니라 붙여넣은 '자료' 쪽에 있었던 것 — 문서를 써 달라는 턴에 "검색부터 하라"는 리마인더가
  // 붙으면 토큰 낭비를 넘어 작업 방향을 반대로 민다.
  test('긴 붙여넣기 문서 한가운데의 우연한 키워드로는 라이브 데이터가 되지 않는다', () => {
    const 고소장 = '다음 사건 정보를 바탕으로 고소장을 작성해주세요.\n\n[사건정보]\n'
      + '피해자 진술을 정리한 내용입니다. 관련 경위를 시간순으로 적었습니다.\n'.repeat(12)
      + '피해품의 시세는 최근 거래가 기준으로 산정하였음.\n'
      + '진술을 계속 정리한 내용입니다. 참고자료를 덧붙였습니다.\n'.repeat(12)
      + '\n위 내용으로 고소장을 작성해 주세요.';
    assert.ok(고소장.length > 600);
    assert.equal(isLiveDataRequest(고소장), false);
  });

  // 앞선 시도는 "길다 + 실행형"으로 막으려 했는데, 그 메시지가 실행형으로 분류된 근거가 본문의
  // "화면" 한 단어였다 — 막으려는 문제와 똑같은 우연 위에 얹은 수정이라 이 케이스가 그걸 잡는다.
  test('실행형 키워드가 없는 긴 문서에도 적용된다', () => {
    const 자료 = '아래 회의록을 정리해 주세요.\n'
      + '참석자들이 논의한 사항을 순서대로 기록하였습니다.\n'.repeat(20)
      + '환율 관련 언급이 한 차례 있었습니다.\n'
      + '이후 논의는 다음 안건으로 넘어갔습니다.\n'.repeat(20);
    assert.ok(자료.length > 600);
    assert.equal(isLiveDataRequest(자료), false);
  });

  test('장문이어도 지시부에 시점표현이 있으면 라이브 데이터다', () => {
    // 길이만으로 끄면 안 된다 — 앞뒤(지시부)에 있으면 그대로 걸려야 한다.
    const 장문질문 = '지금 한반도 주변에 발달한 태풍이 있는지 궁금합니다. '
      + '지난주에 뉴스에서 얼핏 본 기억이 있어서 배경을 좀 적어봅니다. '.repeat(20);
    assert.ok(장문질문.length > 600);
    assert.equal(isLiveDataRequest(장문질문), true);

    const 끝에지시 = '아래는 제가 정리해둔 자료입니다.\n'
      + '작년에 다녀온 여행 기록을 옮겨 적었습니다.\n'.repeat(25)
      + '\n그건 그렇고 지금 서울 날씨 어때?';
    assert.ok(끝에지시.length > 600);
    assert.equal(isLiveDataRequest(끝에지시), true);
  });
});

// [2026-08-10] isLiveDataRequest의 인라인 재해 정규식을 분리한 것 — handle-chat.ts의 검색
// 리마인더가 재해 질문에도 news_search를 권하도록 재사용하기 위함. 실제 사고: "태풍 돌핀 지금
// 어디 있지?"에 web_search가 자체 생성한 "현재 위치 실시간 정보" 쿼리로 검색해 일반적인/내용없는
// 결과 3개만 받았고, 모델은 정직하게(수치를 지어내지 않고) "이미 소멸했을 가능성이 높다"고
// 추론했다 — 틀린 결론이었다. 같은 날 같은 사건을 다룬 국내 언론사 기사가 6개 이상 있었는데,
// "태풍 돌핀 중국 상륙 피해"처럼 상황어를 넣은 쿼리로는 바로 찾아졌다. 추론 자체는 멀쩡했지만
// 전제(검색해도 안 나온다)가 검색 실패 때문에 거짓이었다 — news_search(NewsData.io, 실제
// 발행일 보장)가 정확히 이런 "지금 벌어지고 있는 일" 질문을 위한 도구다.
describe('isDisasterRequest — 재해 질문을 news_search로 유도', () => {
  test('태풍/지진 등 재해 키워드를 잡는다', () => {
    assert.equal(isDisasterRequest('태풍 돌핀 지금 어디 있지?'), true);
    assert.equal(isDisasterRequest('방금 지진 났어?'), true);
    assert.equal(isDisasterRequest('산불 피해 상황 어때'), true);
  });

  test('재해 키워드 없는 일반 질문은 안 잡는다', () => {
    assert.equal(isDisasterRequest('오늘 서울 날씨 어때'), false);
    assert.equal(isDisasterRequest('파이썬 리스트 정렬법'), false);
  });

  test('긴 붙여넣기 문서 한가운데의 우연한 재해 키워드로는 안 잡힌다', () => {
    const doc = '회의록을 정리해주세요.\n'
      + '참석자 발언을 순서대로 기록했습니다.\n'.repeat(20)
      + '작년 태풍 피해 복구 예산 집행 내역을 참고자료로 첨부합니다.\n'
      + '이후 논의는 다음 안건으로 넘어갔습니다.\n'.repeat(20);
    assert.ok(doc.length > 600);
    assert.equal(isDisasterRequest(doc), false);
  });
});

describe('isUsableGroundingResult — 빈 검색결과 판별', () => {
  test('실제 내용이 있으면 사용 가능', () => {
    assert.equal(isUsableGroundingResult({ result: '[1] 어떤 기사 제목' }), true);
  });

  test('에러/빈문자/센티넬은 사용 불가 — 이게 false여야 정직한 재답변이 강제된다', () => {
    assert.equal(isUsableGroundingResult({ error: true, result: 'x' }), false);
    assert.equal(isUsableGroundingResult({ result: '' }), false);
    assert.equal(isUsableGroundingResult({ result: '   ' }), false);
    assert.equal(isUsableGroundingResult({ result: '(no articles found)' }), false);
    assert.equal(isUsableGroundingResult({ result: '에 대한 검색 결과가 없습니다.' }), false);
  });
});

describe('메시징 완료 주장 검증', () => {
  test('전송 요청을 잡는다', () => {
    assert.equal(isMessagingRequest('이메일 보내줘'), true);
    assert.equal(isMessagingRequest('카톡으로 전송해줘'), true);
    assert.equal(isMessagingRequest('이메일 읽어줘'), false);
  });

  test('보냈다는 주장을 잡는다 — 도구 호출 없이 이러면 재확인이 강제된다', () => {
    assert.equal(claimsMessageSent('메일 보냈습니다.'), true);
    assert.equal(claimsMessageSent('전송 완료했어요.'), true);
    assert.equal(claimsMessageSent('보낼까요?'), false);
  });
});

describe('의도 분류', () => {
  test('취소/재실행 의도', () => {
    assert.equal(isCancelIntent('취소해'), true);
    assert.equal(isCancelIntent('그만해'), true);
    assert.equal(isRerunIntent('다시 실행해줘'), true);
    assert.equal(isRerunIntent('안녕'), false);
  });
});

describe('보조 분류기', () => {
  test('실행형 요청 / 인사말', () => {
    assert.equal(isExecutionLikeRequest('파일 만들어줘'), true);
    assert.equal(isExecutionLikeRequest('오늘 날씨'), false);
    assert.equal(isGreetingLikeMessage('hello'), true);
    assert.equal(isGreetingLikeMessage('hello, search the web for X'), false);
  });
});