homeclaw/.smallclaw/databases/docs/image_source_candidates.md

이미지 소스 후보 조사 (2026-05-15)

현재 9개 소스로 4809 term 중 329개(6.8%) 매핑. 0% 카테고리는 치과마취학·치과 생체재료학. 추가 소스 6개를 조사·실측한 결과를 정리한다.

비교 요약

후보	통합 비용	예상 수율	라이선스 안전	0% 카테고리 도움	종합
NLM Open-i	낮음	높음	높음 (PMC OA)	부분	★★★★★
Tufts Dental	낮음 (1회 요청)	중	높음 (CC-BY)	영상의학만	★★★★
Wellcome Collection	낮음	낮음	중 (per-image)	해부만	★★★
Kaggle 타깃	낮음	중	데이터셋별	보철 X선만	★★★
figshare	중	불확실	필터 가능	불확실	★★
NCBI Bookshelf	중-높음	중	NC-ND 다수	마취 일부	★★

1. NLM Open-i — 1순위

• 엔드포인트: https://openi.nlm.nih.gov/api/search?query=<term>&m=<start>&n=<count> (인증 불필요)
• 규모: 370만 이미지 / 120만 PMC 기사 + 7,400 흉부 X선 + NLM History 67,500 + MedPix
• 실측 수율: "periodontitis" 검색 → 7,588 hits. 한 query당 결과 풍부.
• 응답 필드: uid, pmcid, pmid, title, journal_title, authors, MeSH terms (major/minor), Outcome 점수, image URL
• 이미지 URL 패턴: https://openi.nlm.nih.gov/imgs/{100|137|150|512}/{id}/{pmcid}/PMC{pmcid}_{imgid}.png
• 라이선스: PMC Open Access 기반 (CC-BY/CC0 등), 출처 표기로 재사용 가능
• 현 map_pmc_oa 대비 우위:
  • Figure-level 색인 (현재는 article HTML 스크레이프해서 그림 추출 → 노이즈 많음)
  • MeSH terms 포함 → 한글 용어 매핑에 도움 (영문 → MeSH 매칭 후 검색)
  • 유사 이미지 검색 (similarInCollection)
  • PMC와 같은 풀이지만 색인 품질 우수
• 통합 비용: workflow_images.py에 map_openi(conn, max_terms, delay) 함수 1개 추가. 기존 verify_updates 게이트 그대로 통과 가능. 약 2시간 작업.

2. Tufts Dental Database — 2순위

• URL: https://tdd.ece.tufts.edu/
• 규모: 파노라마 X선 1,000장, 전문가의 abnormality 레이블 + 치아 번호 주석 (multimodal)
• 라이선스: Creative Commons Attribution 4.0 — 재배포·재사용 OK
• 접근: 웹사이트에서 접근 요청 폼 작성 (즉시 다운로드 X)
• 적합 카테고리: 구강악안면영상의학 (현재 13.9%, 추가 보강 가능). 주석이 있어 단순 X선보다 매핑 가치 큼.
• 통합 비용: 다운로드 후 로컬 매핑 (기존 kaggle 패턴 동일). 30분 + 접근 승인 대기.
• 주의: 이미 영상의학은 비교적 잘 채워진 편 → ROI는 Open-i보다 낮음.

3. Wellcome Collection — 4순위

• 엔드포인트: https://api.wellcomecollection.org/catalogue/v2/images?query=<term>&pageSize=N (인증 불필요)
• 실측 수율: "periodontitis" → 단 7개. 임상 용어엔 낮음.
• 응답: IIIF URL, 작품 metadata, 이미지별 라이선스 (CC BY 4.0 / "In copyright" 혼재)
• 이미지 URL: https://iiif.wellcomecollection.org/image/{id}/info.json (IIIF Image API)
• 라이선스: per-image — 필터링 로직 필요
• 적합 카테고리: 해부·역사적 일러스트 (기초치의학 일부) — 임상·방사선엔 부적합
• 통합 비용: 낮음, 하지만 수율 대비 가치 낮음

4. Kaggle 추가 타깃 데이터셋

검색 결과 (보철·임플란트 관련):

• Dental Implant Dataset (Mendeley x4gr6mmwy4): 5,273 파노라마 X선, Endosteal/Transosteal/Subperiosteal/Zygomatic 4종 분류
• Prosthesis detection 데이터셋 (Nature Sci Rep 2021): 2,235 파노라마, 크라운/브릿지/임플란트
• 기타: Dental Cavity Detection, Panoramic Dental Xray TFRecords

한계: 대부분 파노라마 X선, 직접적인 크라운·틀니 임상 사진은 드묾. 보철(1.0%) 카테고리의 임상 사진 수요엔 부분적 해결.

• 통합 비용: 다운로드 + 기존 kaggle 패턴 적용 (각 1-2시간)
• 라이선스: 데이터셋별 확인 필요

5. figshare API — 보류

• 엔드포인트: https://api.figshare.com/v2/articles?search_for=<term> (인증 불필요)
• 라이선스 필터: :licence:CCBY 지원
• 레이트 리미트: ≤1 req/s 권장
• 실측 결과: "dental caries" 검색 → 무관한 결과 다수 (수질, 호텔 추천, 게놈 등). 검색 색인 품질이 의심스러움.
• 결론: 통합 전에 검색 query 형식·필터링 추가 조사 필요. 현 단계에선 우선순위 낮음.

6. NCBI Bookshelf — 보류

• 접근: https://www.ncbi.nlm.nih.gov/books/ + LitArch FTP for bulk
• 콘텐츠: StatPearls(2026), 치과마취·구강외과 chapter들 다수
• 라이선스: CC-BY-NC-ND가 다수 — Non-Commercial + No-Derivatives → DB에 그림 URL 임베드 가능하나 변형/상업적 재사용 금지. SmallClaw 용도에 따라 적합 여부 갈림.
• 적합 카테고리: 치과마취학(0%) 추상 개념 (작용 기전 도식 등)
• 통합 비용: Bookshelf XML 파싱·그림 추출 로직 필요 (PMC와 다른 포맷)
• 결론: NC-ND 비율 확인 + 라이선스 정책 결정 후 진행

핵심 인사이트

1. 0% 카테고리(치과마취학·치과생체재료학) 매핑은 본질적으로 어려움

   • "전도마취", "법랑질-상아질 접합부 미세구조" 같은 추상·미시 개념
   • 이미지로 직접 표현 가능한 비율이 낮음 — 어떤 소스로도 한계 존재
   • 현실적 목표: 0% → 10~20% 정도

2. 수율은 Open-i > Kaggle > Wellcome 순

   • Open-i 하나로 수백 term 추가 매핑 기대 (수율 추정 30-50%)
   • 나머지는 보조 역할

3. 검증 게이트(qwen3.5)가 노이즈를 잡아주므로 양 우선 소스 추가 후 verify로 거르는 전략이 효율적

추천 진행 순서

1. Open-i 통합 (2시간) — 즉시 착수 가능, ROI 최대
2. add-images --source openi --max-openi 500 후 verify --fix — 결과 평가
3. Tufts Dental 접근 요청 — 영상의학 보강용, 승인 대기 동안 1단계 진행
4. Kaggle 보철·임플란트 데이터셋 평가 — 다운로드 후 효용 확인
5. Wellcome Collection — 시간 여유 있으면 추가
6. figshare / Bookshelf — 별도 라이선스·검색 품질 조사 후 결정

출처

• NLM Open-i FAQ — API 안내
• Open-i (data.gov) — 데이터셋 메타
• Wellcome Collection Developers — Catalogue + IIIF API
• Tufts Dental Database — 접근 요청
• NIDCR DDSHub — Tufts 메타
• figshare API docs — Search/license/files
• NCBI Bookshelf - Information for Authors and Publishers — 라이선스