homeclaw/tests/dead-end-fallback.test.ts

/**
 * dead-end-fallback — 검색이 연달아 헛돌 때 지식으로 끊기
 *
 * 표본은 2026-09-04 메인챗 세션 0c367bd7의 "옵션 프리미엄" 스레드다. 5턴 · 검색 6회 · 답 0건.
 * 이 테스트가 고정하는 건 "언제 끊는가"이고, 두 방향 모두 중요하다:
 *   - 한 번 못 찾은 것으로는 끊지 않는다 (검색에 정말 없을 수 있고, 그때 정직하게 말하는 건 정답).
 *   - 두 번째부터는 끊는다 (검색 경로가 이 질문에 안 맞는다는 신호).
 */

import { test, describe } from 'node:test';
import assert from 'node:assert/strict';
import { decideDeadEndFallback, answerEndedInDeadEnd, deadEndFallbackPrompt } from '../src/gateway/chat/dead-end-fallback';

/** 실제 로그 그대로. 첫 턴부터 마지막 턴까지 시간순. */
const OPTION_THREAD = [
  '검색 결과에는 옵션 프리미엄(티켓값)이 실물 가격의 몇 퍼센트인지에 대한 구체적인 수치나 비율이 명시되어 있지 않아 정확한 값을 단정하기 어렵습니다.',
  '비슷한 느낌이지만, 성격은 조금 다릅니다. 계약금은 나중에 잔금을 치르고 물건을 가져가기 위해 걸어두는 돈이지만, 옵션 프리미엄은 소멸성 비용에 가깝습니다.',
  '검색 결과에는 옵션 프리미엄이 실물 가격의 몇 퍼센트인지에 대한 구체적인 수치가 포함되어 있지 않아, 계약금보다 적은지 여부를 수치로 단정하기 어렵습니다.',
];


describe('answerEndedInDeadEnd — 지난 턴이 결국 빈손이었나', () => {
  test('포기로 시작한 턴을 센다', () => {
    assert.equal(answerEndedInDeadEnd(OPTION_THREAD[0]), true);
  });

  test('발견을 말하고 빈 곳을 덧붙인 턴은 세지 않는다 — 일부러 좁게 잡은 지점', () => {
    // 이 답변과, 실제로 헛돌았던 "HTS/MTS로 확인 가능… 다만 수치는 없습니다" 턴은 텍스트로
    // 구별되지 않는다(둘 다 마지막이 "…있지 않습니다"). 후자를 놓치는 쪽을 택했다 — 놓치면
    // 가드가 한 턴 늦고, 반대로 넓히면 이 정상 답변에 재프롬프트가 붙는다.
    assert.equal(answerEndedInDeadEnd(
      '검색 결과에 따르면 제15호 태풍 찬홈은 일본 도쿄 동남동쪽 해상에 있습니다. 다만 정확한 좌표는 명시되어 있지 않습니다.',
    ), false);
  });

  test('제대로 답한 턴은 세지 않는다', () => {
    assert.equal(answerEndedInDeadEnd(OPTION_THREAD[1]), false);
  });
});

describe('decideDeadEndFallback — 언제 끊는가', () => {
  test('첫 빈손으로는 끊지 않는다', () => {
    const d = decideDeadEndFallback({
      answer: OPTION_THREAD[0],
      priorAssistantAnswers: ['선물은 의무이고 옵션은 권리입니다. 가장 핵심적인 차이는 그것입니다.'],
      abandonmentRetrying: false,
      calledGroundingTool: true,
    });
    assert.equal(d.fallback, false);
    assert.equal(d.deadEndStreak, 1);
  });

  test('두 번째 빈손에서 끊는다 — 실제 스레드에서는 여기서 3턴을 아낀다', () => {
    const d = decideDeadEndFallback({
      answer: OPTION_THREAD[2],
      priorAssistantAnswers: OPTION_THREAD.slice(0, 2),
      abandonmentRetrying: false,
      calledGroundingTool: true,
    });
    assert.equal(d.fallback, true);
    assert.equal(d.deadEndStreak, 2);
  });

  test('헛돈 턴이 붙어 있지 않아도 최근 창 안이면 센다', () => {
    // 실제 스레드가 이 모양이었다 — 중간에 절반짜리 답이 하나 끼어서 연속이 끊긴다.
    const d = decideDeadEndFallback({
      answer: OPTION_THREAD[2],
      priorAssistantAnswers: ['무관한 턴', OPTION_THREAD[0], OPTION_THREAD[1]],
      abandonmentRetrying: false,
      calledGroundingTool: true,
    });
    assert.equal(d.fallback, true);
  });

  test('SEARCH-ABANDONMENT가 가져가는 턴에서는 비켜선다', () => {
    const d = decideDeadEndFallback({
      answer: OPTION_THREAD[2],
      priorAssistantAnswers: OPTION_THREAD.slice(0, 2),
      abandonmentRetrying: true,
      calledGroundingTool: true,
    });
    assert.equal(d.fallback, false);
  });

  test('검색을 아예 안 한 턴은 대상이 아니다 — 검색 실패가 아니라 다른 문제다', () => {
    const d = decideDeadEndFallback({
      answer: OPTION_THREAD[2],
      priorAssistantAnswers: OPTION_THREAD.slice(0, 2),
      abandonmentRetrying: false,
      calledGroundingTool: false,
    });
    assert.equal(d.fallback, false);
  });

  test('이번 턴이 제대로 답했으면 지난 턴이 헛돌았어도 건드리지 않는다', () => {
    const d = decideDeadEndFallback({
      answer: OPTION_THREAD[1],
      priorAssistantAnswers: [OPTION_THREAD[0], OPTION_THREAD[0]],
      abandonmentRetrying: false,
      calledGroundingTool: true,
    });
    assert.equal(d.fallback, false);
  });

  test('오래된 헛턴은 창 밖으로 나간다', () => {
    const d = decideDeadEndFallback({
      answer: OPTION_THREAD[2],
      priorAssistantAnswers: [OPTION_THREAD[0], 'a', 'b', 'c', 'd'],
      abandonmentRetrying: false,
      calledGroundingTool: true,
    });
    assert.equal(d.fallback, false);
  });

  test('이력이 없어도 터지지 않는다', () => {
    const d = decideDeadEndFallback({
      answer: OPTION_THREAD[0], priorAssistantAnswers: [], abandonmentRetrying: false, calledGroundingTool: true,
    });
    assert.equal(d.fallback, false);
  });
});

describe('deadEndFallbackPrompt — 재프롬프트 문구', () => {
  test('숫자를 요구하지 않는다 — NUMERIC-GROUNDING과 부딪히면 안 된다', () => {
    const p = deadEndFallbackPrompt(2);
    assert.match(p, /mechanism/i);
    assert.match(p, /general knowledge that this turn's search did not confirm/i);
    assert.match(p, /never present it as something a tool returned/i);
    assert.match(p, /2th answer in a row/);
  });
});

/**
 * 2026-09-04 감사 회귀. SEARCH-ABANDONMENT에 관련성 관문이 붙으면서, 사전 뜻풀이처럼
 * "길이는 충분하지만 주제를 안 다룬" 결과에서 두 가드가 서로 비켜설 뻔했다:
 * abandonment는 주제 불일치로 서고, dead-end는 substantive>=3이라 "저쪽 몫"이라며 섰다.
 * 이제 dead-end는 abandonment의 판정 결과를 그대로 받으므로 그 구멍이 없다.
 */
describe('두 가드 사이에 빠지는 턴이 없어야 한다', () => {
  test('abandonment가 비켜서면 dead-end가 받는다 — 알맹이 수와 무관하게', () => {
    const d = decideDeadEndFallback({
      answer: '검색 결과에는 옵션 프리미엄 수치가 포함되어 있지 않습니다.',
      priorAssistantAnswers: ['검색 결과에는 관련 수치가 명시되어 있지 않습니다.'],
      abandonmentRetrying: false,   // 사전 뭉치 → 주제 불일치로 abandonment 비켜섬
      calledGroundingTool: true,
    });
    assert.equal(d.fallback, true);
  });
});