BVM 환기 데이터 수집 SOP

0. 개요 (Purpose & Scope)

본 SOP는 BreathAI 프로젝트의 BVM 환기 품질 분석 모델 학습용 데이터 수집 절차를 표준화한다. 멀티카메라(최소 3대) 영상과 마네킹/돼지/사람의 ground-truth 환기량 데이터를 동시 수집하여, 흉부 시각 정보로부터 환기 깊이·유량·일관성을 추정하는 모델 학습에 활용한다.

적용 범위

• 1차: 마네킹(Manikin) 데이터 — 알고리즘 PoC 및 모델 baseline
• 2차: 돼지(Porcine) 데이터 — 생체 도메인 시프트 1단계 검증
• 3차: 사람(Human, in vivo) — 임상 검증 및 최종 배포

변경 이력

1. 용어집 (Glossary)

본 SOP에서 "혼란변수"라는 표현은 통계/ML 용어로 정확히 다음 다섯 가지로 분리된다. 변수마다 어느 분류인지 §2에서 일관되게 표기한다.

의학·생리 용어

2. 영향 변수 분류 (Variable Inventory)

각 변수마다 분류 / 통제 방식 / 사람 transfer 영향을 명시한다. 통제 방식은 fix(세션 내 고정), randomize(셀 간 랜덤화), measure(매 세션 측정), log(manifest 기록).

3. 카메라 셋업 (Hardware SOP)

3.1 카메라 구성 (액션캠 기반, RGB only)

3.1.1 시점 다양성 설계 (Stratified Multi-View)

각 사이트가 같은 표준 위치 + 의도적 변형 시점을 모두 수집하도록 설계한다. 이렇게 하면 site 효과와 viewpoint 효과를 분리 가능하면서, 모델은 다양한 viewpoint를 학습 → invariance 획득.

3.1.2 예산 현실 (액션캠 30대 vs 순회 키트)

50만원 × 3대 × (9사이트 + 본사) = 약 1,500만원의 카메라 예산이 비현실적인 경우 다음 절감 전략:

3.1.3 Fallback (천장 마운트 불가)

천장 ≤2.2m 사이트는 P1을 환자 발치쪽 2m wide로 대체. manifest의 p1_mount에 "foot_wide" 명시. 변경 자체가 또 하나의 의도된 시점 변형이므로 invariance 학습에 오히려 기여.

3.2 배치 도식 (Top view + Side view)

치수 가이드

• 천장 높이 2.5m 기준, Cam A는 흉부에서 1.2~1.5m 떨어진 천장에 설치 (너무 가까우면 화각에 흉부 다 안 들어옴)
• Cam B는 환자 어깨 옆 0.8~1m, 삼각대 기준 카메라 높이 1.2m 정도, 흉부를 30° 내려다보게
• Cam C 헤드마운트는 술자 모자/안경에 GoPro 마운트 부착, 발쪽으로 30~45° 기울임
• ArUco 마커: 흉부 정중앙(흉골 위), 5×5cm 또는 7×7cm. 양면테이프 또는 옷에 핀.
• LED sync: 모든 카메라 시야 안에 들어오는 위치(예: 침대 발치 끝). 세션 시작 시 1초 동안 깜빡.

3.3 Optical Flow가 카메라에 요구하는 것

현재 파이프라인은 Farneback dense optical flow로 흉부 ROI 내부 수직 움직임(`flow_dy`)을 추출하고, ConvLSTM은 그 위에 학습한다. Optical flow 알고리즘은 다음 가정을 깔고 동작하므로, 이를 깨는 카메라 설정이면 데이터 자체가 오염된다.

3.4 액션캠 기종 비교 (Optical Flow 관점)

권장 (Optical Flow 최우선)

1. 1순위 — DJI Osmo Action 5 Pro: 큰 센서로 저조도 노이즈 적음, D-Log M 10bit가 ML 전처리에 가장 깨끗, 수동 노출 가장 직관적, 1080p240 고프레임 옵션. 약점: GoPro 대비 마운트 액세서리 작음.
2. 2순위 — GoPro Hero 13: 액세서리 생태계 최강, ProTune Flat color profile, GoPro Labs precision time으로 멀티캠 sync 정식 지원 (큰 장점), Linear 렌즈 dewarp 우수.
3. 최저선 — Logitech Brio 4K: 1080p30 한계로 PoC 수준만. 학습엔 부적합.

3.4.1 헤드마운트 전용 비교 (Cam C / P2 / P3)

술자 헤드/어깨 마운트 시점은 일반 액션캠 외에 무게·배터리·마운트 편의가 핵심 추가 요건. 긴 세션에서 술자 피로와 마운트 안정성을 고려.

헤드마운트 권장 순위

1. GoPro Hero 10/11 중고 (25~35만원) — 실전 검증 ProTune 수동 제어 + 240fps + 헤드 스트랩 생태계 풍부 + 가성비 최고. Pilot·양산 모두 대응.
2. Insta360 GO 3S (중고 40만원) — 39g 초경량. 긴 세션에서 술자 피로 최소. 단 배터리 45분 제약 (action pod 연결 시 170분).
3. DJI Action 2 중고 (20만원대) — 최저가. 단종이라 A/S 어려움.

3.5 액션캠 왜곡 처리 (Distortion Handling)

액션캠 기본 광각(170° HFOV)은 fish-eye 왜곡이 매우 강해 optical flow와 ArUco 평면 환산에 치명적이다. 단순 dewarp 외에도 학습 단계에서 활용 가능한 기법들을 함께 검토.

3.6 카메라 캘리브레이션 (Multiple Methods)

3.6.1 Intrinsic 캘리브레이션 (단일 카메라)

3.6.2 Extrinsic 캘리브레이션 (멀티캠 상대 위치)

3.6.3 Scale Reference (px↔mm 환산용, 도메인 공통)

흉부 ΔZ를 mm 단위로 환산하려면 매 세션 또는 매 프레임 px↔mm 환산 기준이 필요. 마네킹·돼지·사람 모두 동일한 방식 사용 권장 (학습 파이프라인 일관성).

3.6.4 Online Calibration (세션 중 자동 보정)

• 흉부 위 ArUco 마커가 매 프레임 픽셀 좌표 + 알려진 실제 크기를 제공 → 매 세션 자동 px↔mm 환산 (이미 구현)
• ArUco 가려지면 마지막 valid 환산값 hold (이미 구현)
• 정식 캘리브레이션 결과(K, dist)는 변하지 않으므로 사이트 등록 시 1회 + 6개월마다 재확인

3.6.4 권장 워크플로

1. 사이트 등록 시 1회: 체커보드 50장 → cv2.fisheye.calibrate (Wide 모드). 검증: reprojection error < 1.5 px
2. 사이트 셋업 시 1회: A2 ChArUco 환자 자리 → multical 또는 cv2.stereoCalibrate. 검증: 페어 reprojection error < 2.0 px
3. 매 세션 자동: ArUco online scale 환산
4. 저장: calib/<site_id>_v<date>/calib.yaml (K, dist, R, t per camera, 렌즈 모드, 캘리브 일자). manifest에 calib_version 기록
5. 헤드마운트(P3): 매 세션 1회 재캘리브 (술자 머리 각도 매번 바뀜). ChArUco 1장 빠르게 잡고 PnP 풀기

3.7 멀티캠 동기화 (액션캠 대응)

액션캠은 하드웨어 트리거 입력이 없으므로 산업캠 GenICam 방식 불가. 다음 방법으로 sync.

GT 센서 sync

• 마네킹 SkillGuide raw USB 패킷의 PC 수신 timestamp 기준
• 세션 시작 시 LED 점멸 + 키보드 enter (또는 별도 트리거 신호) 동시 발생 → 카메라 영상의 LED frame과 패킷 timestamp를 align
• 측정한 sync_offset_ms를 manifest에 기록 (§4 참고)

3.8 환경 측정 (조명·배경)

3.8.1 조명 lux 측정 방법

3.8.2 측정 절차

1. 센서를 환자 흉부 위치(마네킹 가슴 위)에 둠
2. 센서 면을 카메라 방향으로 향함 (카메라가 보는 빛의 양)
3. 3회 측정 후 평균 → manifest lighting_lux에 기록
4. 세션 중간 조명 변화 있으면 (커튼/창문) 재측정 + log

3.9 멀티사이트 운영 (9개 교육장)

본 프로젝트는 9개 교육장에서 분산 데이터 수집한다. 이는 도메인 일반화에 핵심적 자산(조명·배경·술자·장비 다양성)이지만, 동시에 SOP 일관성을 가장 도전적으로 만든다. 각 사이트가 다음 규약을 따른다.

3.9.0 P1-P5 시점 사이트 분담표

9사이트가 모두 P1+P2 의무, variant(P3~P5)는 3사이트씩 분담. 같은 P 시점이 여러 사이트에서 수집되어야 site/viewpoint 분리 가능.

본사는 모든 시점 수집(검증·개발용). 분담은 사이트 환경/예산 따라 조정 가능. 핵심은 각 P 시점이 최소 3사이트에서 수집되는 것 (시점-사이트 교차 데이터로 invariance 학습 가능).

3.9.1 사이트 등록 절차 (1회, 사이트 셋업 시)

1. 본 SOP 전체 검토 → 사이트 환경에 맞는 카메라 옵션(A/B/C) 결정
2. 사이트 카탈로그에 다음 정보 등록 (별도 site_catalog.html 또는 같은 manifest 내):
   • site_id: 예 SITE_01_SEOUL_BORAMAE
   • 천장 높이, 카메라 옵션(A/B/C), 보유 마네킹·BVM 모델 리스트
   • 조명 종류·평균 lux, 배경 색상, 공간 크기
   • 담당자 연락처, IRB·IACUC 권한 여부
3. 카메라 캘리브레이션 1회 수행 후 calib/<site_id>_v<date>/calib.yaml 저장
4. 1회 dry-run 세션 (30초) 후 본 SOP §12 자동 품질 리포트로 셋업 검증

3.9.2 세션 운영 규칙

• 모든 manifest에 site_id 의무 기록
• 같은 세션 안에서 카메라 옵션 변경 금지 (§6.5와 동일)
• 사이트 간 데이터 교환은 raw + manifest 단위 (정제본은 중앙에서 일괄 처리)
• 각 사이트가 LED+오디오 sync 자체 보유 — 사이트 간 sync 불필요 (학습 단위는 세션이지 사이트가 아님)

3.9.3 학습 시 활용 (data partitioning)

3.9.4 사이트 카탈로그 (9-site)

각 사이트의 카메라 옵션·보유 장비·환경 정보는 site_catalog.html 별도 문서에서 관리한다. 사이트 등록 시 카탈로그에 row를 추가하고, 본 SOP가 항상 최신 카탈로그를 reference로 가리킨다.

4. 세션 메타데이터 스키마

data/<subject_id>/<session_YYYYMMDD_HHMMSS>/manifest.json:

{
  "session_id": "session_20260415_143022",
  "domain": "manikin",                       // manikin | porcine | human

  "operator_id": "OP003",
  "operator_hand_length_cm": 18.5,
  "operator_grip_type": "E-C two-hand",
  "operator_skill": "nurse",

  "manikin_model": "Laerdal_SimMan_3G",
  "manikin_compliance_mL_per_cmH2O": 50,
  "manikin_resistance": "normal",
  "manikin_age_group": "adult",

  "bvm_brand": "Ambu",
  "bvm_size_mL": 1500,
  "bvm_lot": "LOT-2026Q1-A",
  "mask_size": 4,
  "reservoir_attached": true,
  "peep_valve_attached": false,

  "ground_truth_source": "SimMan_internal_flow",
  "gt_sampling_hz": 100,
  "gt_dead_space_mL": 75,

  "camera_setup_id": "setup_v2_2026Q2",
  "camera_calib_version": "calib_20260410",
  "camera_count": 4,

  "lighting_lux": 800,
  "lighting_type": "LED_diffuse",
  "clothing": "thin_cotton",
  "head_tilt_deg": 15,
  "jaw_thrust": false,

  "session_start_iso": "2026-04-15T14:30:22+09:00",
  "sync_method": "LED+timestamp",
  "sync_offset_ms": -23.5,

  // 돼지 도메인 시 추가 필드
  "porcine_protocol_iacuc": null,
  "porcine_weight_kg": null,
  "porcine_anesthesia": null,

  // 사람 도메인 시 추가 필드
  "human_irb_id": null,
  "human_consent_id": null,
  "human_bsa_m2": null,

  "notes": "백 새것, 마스크 실링 양호"
}

5. 프레임 단위 데이터 스키마

현 analyzers/data_recorder.py는 11컬럼(timestamp + 10 features + label), ArUco 모드 시 13컬럼(+ bbox_height_px, chest_rise_mm). GT 통합을 위해 다음 확장:

timestamp,
flow_dy_mean, flow_dy_top, flow_dy_bottom, flow_mag_mean, flow_mag_std,
area_change, centroid_dy, bg_flow_dy, subject_motion, time_since_squeeze,
bbox_height_px, bbox_width_px, chest_rise_mm,
gt_flow_mL_s, gt_volume_mL, gt_pressure_cmH2O,    [추가: GT 스트림]
label_squeezing, leak_estimate                     [추가: 라벨]

→ data_recorder.py에 GT 센서 스트림을 받아 카메라 timestamp에 align해서 같은 row에 기록하는 헬퍼 추가 필요 (구현은 SOP 승인 후 별도 작업).

6. 실험 설계 (Experimental Design)

6.1 데이터 단위 위계

6.2 시험 시나리오 (Ventilation Scenarios)

모델이 정상만 학습하면 이상치를 못 잡으므로, 의도적 변형 시나리오를 cell마다 분배 수집한다.

6.3 셀(Cell) 정의 (장비 조합)

한 셀 = (BVM 종류) × (마네킹 종류) × (마스크 사이즈) 의 하나의 조합.

6.2 1차 그리드 (마네킹)

• BVM: 3종 (Ambu adult / Laerdal adult / 국산 adult)
• 마네킹: 2종 (SimMan 3G / Resusci Anne)
• 마스크: 1종 (사이즈 4 고정)
• → 6 셀

6.3 셀당 수집량

• 술자 5명 × 60초 × 3 반복 = 15분/셀 raw
• 6셀 × 15분 = 1.5시간 raw → 정제 후 ~1시간 학습 가능

6.4 Transfer Test 셋

• 학습에 안 본 BVM × 마네킹 조합 1셀 hold-out → 일반화 평가
• Subject hold-out: 술자 1명 전체 hold-out (subject-level CV)

6.5 세션 진행 규칙

7. 세션 절차 (Step-by-step)

8. 캘리브레이션 (소프트웨어)

8.1 적응형 baseline (이미 구현)

• 90 frames (3s) 초기 캘리브레이션 → baseline + noise floor
• EMA: α_baseline = 0.01 (느림, 드리프트), α_noise = 0.05
• IDLE 구간에서만 갱신, RISING 중에는 정지
• 임계값: rise = baseline_ema + max(0.3, noise_ema × 3); idle = baseline_ema − max(0.2, noise_ema × 1.5)

8.2 ArUco px↔cm 환산 (이미 구현)

• 세션 시작 시 마커 크기/각도 검증 (왜곡 5% 이내)
• 세션 중간 마커 가려지면 마지막 valid 환산값 hold
• EMA 평활화 α = 0.3 (ARUCO_EMA_ALPHA)

8.3 마스크 안정성

• BVM mask bbox IoU(직전 vs 현재) < 0.7이면 측정 일시 중단 (마네킹/BVM 이동)
• 5초 이상 회복 안 되면 세션 자동 일시정지

9. Ground Truth 정렬 (Alignment)

• 카메라 timestamp 기준으로 GT를 nearest-neighbor 또는 선형 보간
• 동기 오프셋 sync_offset_ms는 manifest에 기록, 후처리 시 보정
• 사후 검증: GT volume 사이클 정점 vs 카메라 chest_rise_mm 정점이 < 100ms 이내인지 → 초과 시 세션 폐기

10. 도메인 전이 — Manikin → Porcine → Human

10.1 Transfer-friendly feature 우선

• 텍스처 의존 feature(마네킹 표면 무늬 학습) 회피
• 물리적 기하 feature 위주: ΔZ (mm), ROI 면적 변화율, 사이클 주기/지속시간

10.2 모델 출력 권장

• 절대 mL 회귀보다 상대 지표 (% predicted, 환기 일관성 score)
• uncertainty 출력 (도메인 OOD 감지)

10.3 임상 단계 보정

• 환자별 초기 5~10회 환기에서 spirometer로 calibration anchor 측정 (가능한 환경)
• 또는 BSA / 체중 기반 사전 조정

10.4 마네킹 단계에서 미리 할 일

• 학습 데이터에 BVM·마네킹 ID를 입력 또는 임베딩으로 포함 → mixed-effects 또는 multi-task 모델
• 사람 전이 시 새 도메인 임베딩만 fine-tune

11. 체크리스트 (인쇄용 1쪽)

• 카메라 4대 전원 / 네트워크 / timestamp sync
• 캘리브레이션 파일 일치 (setup_id)
• 조명 lux 측정값 800±100 범위
• 마네킹 모델 / compliance 설정 manifest 일치
• BVM 신품 / 사용기간 표시 (lot 번호 기록)
• 마스크 실링 사전 점검 (수동 압축 시 leak <10%)
• GT 센서 영점, 샘플링 Hz 확인
• LED sync trigger 작동 확인
• ArUco 마커 부착 + 카메라 시야에서 인식
• 술자 동의서 / hand_length 측정
• manifest.json 사전 입력
• 데이터 수집 모드 ON, 빈 세션 30초 dry-run
• (돼지 세션) IACUC protocol 번호 + 수의사 동석 확인
• (사람 세션) IRB 승인 + 동의서 서명 확인

12. 데이터 품질 검수 (사후)

각 세션 자동 리포트 생성:

• 총 프레임 수, 라벨 분포 (1/0)
• 캘리브레이션 정상 종료 여부
• GT-카메라 sync residual (median ms)
• 사이클 검출 수 vs GT 사이클 수 일치
• 마스크 안정성 (IoU < 0.7 발생 횟수)

13. 버전 관리 / 감사 추적

• SOP 자체 버전 (현재 v1.0)
• 카메라 캘리브레이션 버전, BVM lot 번호, 마네킹 시리얼 등 추적 가능 항목 manifest에 모두 기록
• 변경 이력 표 (날짜 / 변경자 / 사유) — §0 참고
• raw 데이터 + manifest는 NAS의 breath_data/raw/에 immutable 저장 (수정 금지, 정제본은 별도 폴더)

14. Continuous Learning Pipeline (야간 학습 루프)

9사이트에서 매일 수집되는 데이터를 중앙 서버(H100)에서 야간 학습하여 모델을 지속 개선하고, OTA로 재배포하는 full pipeline. 수집 → 학습 → 배포가 사람 개입 없이 야간에 자동 순환.

14.1 아키텍처

14.2 Nightly Data Sync (사이트 → NAS)

• 도구: rsync (Linux) / rclone (Windows/Mac 크로스플랫폼)
• 주기: 매일 02:00 KST cron
• 프로토콜: SSH + rsync, 또는 S3 호환 (NAS에 MinIO 띄우면 사이트들이 S3 SDK로 PUT)
• 재시도: 실패 시 지수 백오프 3회 재시도, 실패는 Slack/메일 알림
• 체크섬: SHA256 검증, 전송 무결성 확인
• 증분 전송만: 이미 업로드된 세션은 스킵 (sync timestamp 기반)

14.3 Auto QC & Data Versioning

• NAS에 도착한 세션에 §12 자동 품질 리포트 적용
• pass: training_pool/v<YYYYMMDD>/로 이동
• fail: quarantine/로 이동, 원인 기록, 사이트 담당자에게 알림
• Data versioning: DVC 또는 날짜 기반 스냅샷 (dataset_2026-04-17_v42). 학습된 모델이 어떤 데이터 버전인지 추적

14.4 학습 트리거 (3가지 옵션)

14.4.1 Hyperparameter Optimization — Optuna

Optuna는 Python 오픈소스 하이퍼파라미터 자동 최적화 라이브러리. PyTorch·sklearn·XGBoost 등과 쉽게 결합해서 learning rate, hidden dim, dropout 같은 수치를 자동으로 탐색한다. 본 프로젝트의 ConvLSTM·Optical flow 파라미터 튜닝에 활용.

샘플링 전략 (Sampler)

코드 예시 (ConvLSTM 튜닝)

import optuna

def objective(trial):
    lr      = trial.suggest_float('lr', 1e-5, 1e-2, log=True)
    hidden  = trial.suggest_int('hidden', 32, 256, step=32)
    dropout = trial.suggest_float('dropout', 0.0, 0.5)
    window  = trial.suggest_categorical('window', [60, 90, 120])
    model = train_convlstm(lr=lr, hidden=hidden, dropout=dropout, window=window)
    return model.val_f1       # 최대화할 지표

study = optuna.create_study(direction='maximize', sampler=optuna.samplers.TPESampler())
study.optimize(objective, n_trials=100)
print(study.best_params)      # {'lr': 3e-4, 'hidden': 128, 'dropout': 0.2, 'window': 90}

주요 기능

• Pruning — 학습 도중 성능 나쁜 trial을 조기 중단해서 H100 GPU 시간 절약 (MedianPruner, SuccessiveHalving 등)
• Distributed search — H100 여러 대 또는 DGX Cloud로 분산 실행 가능
• MLflow 연동 — 모든 trial이 MLflow Tracking에 자동 기록 (§14.5)
• Storage 백엔드 — SQLite/PostgreSQL에 study 영속화 → 중단 후 재개 가능
• Visualization — optuna.visualization.plot_param_importances()로 어떤 파라미터가 중요한지 자동 분석
• 무료 오픈소스 — pip install optuna

본 프로젝트 활용 방안

• ConvLSTM 하이퍼파라미터 — hidden, num_layers, dropout, lr, window_size, batch
• Optical flow 파라미터 — Farneback의 pyr_scale, levels, winsize, iterations, poly_n, poly_sigma
• 데이터 증강 확률 — p_flip, p_crop, p_color_jitter
• Loss 가중치 — multi-view consistency loss vs supervised loss 비율

학습 트리거 확장 (§14.4 보강)

14.5 Model Registry (MLflow 권장)

학습된 모델을 버전 관리하는 시스템. Git이 코드를 관리하듯, registry는 모델 파일 + 학습 메타데이터 + 성능 지표 + stage(staging/production/archived)를 묶어 관리.

각 모델 entry가 기록하는 내용: 모델 파일 (.pth) / 학습일자 / 데이터 버전 / site-level F1 / subject-level F1 / transfer F1 / 하이퍼파라미터 / stage.

14.6 Evaluation Gate (배포 승격 기준)

새 모델이 production 승격되려면 다음 모두 통과:

• Site-level hold-out F1 ≥ 이전 production 모델 F1 − 1%p (유의미 하락 없음)
• Subject-level hold-out F1 ≥ 이전 − 1%p
• Transfer test (학습 안 본 BVM×마네킹 조합) F1 ≥ 이전 − 2%p
• 타이밍 오차 (환기 감지 시점) median < 100ms
• False positive rate (자발 호흡/카메라 흔들림) < 5%

하나라도 실패 시 staging에 보류, 슬랙 알림 → 사람이 리뷰.

14.7 OTA 배포 (Canary → Full Rollout)

1. Canary: 본사에만 먼저 배포 (30분 모니터링)
2. Partial rollout: 1사이트 선택 배포 → 24시간 성능 모니터링
3. Full rollout: 모든 사이트에 배포
4. 롤백: 단계별 drift/error 감지 시 즉시 이전 버전으로 복귀

OTA 구현 방식

• 각 사이트 PC는 기동 시 registry에 "production 모델 버전" 쿼리 → 로컬 버전과 다르면 다운로드
• 또는 MQTT/webhook으로 registry가 사이트에 "v42 available" 푸시 → 사이트가 업데이트
• 모델 파일 체크섬 검증 후 로드
• 업데이트 실패 시 이전 버전 유지, 다음 기동 시 재시도

14.8 Monitoring & Drift Detection

• 사이트별 실시간 지표: 추론 confidence 분포, flow_dy 분포, 사이클 수/분
• Drift 알림: 평균값이 이전 주 대비 ±3σ 벗어나면 Slack 알림
• 활용 로그: 각 세션의 예측 결과와 (가능하면) 사후 피드백을 NAS로 수집 → 다음 학습 데이터로 재사용
• Active learning: 모델이 낮은 confidence로 예측한 세션을 우선 재라벨링 대상으로 표시

14.9 인프라 현황 & 로드맵

15. 추가 아이디어 — 구조대원을 위한 스마트 헬멧 제품 비전

15.1 제품 비전 — "구조대원을 도와주는 스마트 헬멧"

BVM 환기 품질 분석 AI 모델을 탑재한 스마트 헬멧·캡을 구조대원·EMS·응급의료 교육기관에 공급한다. 카메라 + 실시간 추론 + 피드백(오디오/HUD) 일체형. 단순 녹화 도구가 아니라 현장에서 처치자에게 즉시 피드백을 주는 어시스턴스 장치.

15.2 스마트 헬멧 기능 스택

MVP 최소 구성: 레이어 1 + 2 + 3. 나머지는 시장 확장 옵션.

15.3 제품 형태 3가지 변주

15.4 경쟁/참고 제품

• C-Thru Smart Helmet (미국, 소방) — HUD 내장, 열화상
• WeaRobot Smart Helmet (중국, 소방)
• Cairns XF1 — Bluetooth 통신
• Galvion Caiman — 군용 ballistic + 센서 확장
• PlanarLabs (한국) — 군용 스마트 헬멧

대부분 소방·군용이며 EMS 교육·현장 피드백 특화 제품은 틈새 시장. BreathAI의 "환기 품질 실시간 분석 + 피드백"은 경쟁 제품과 중복되지 않는 고유 포지션.

15.5 데이터 수집 측면 이득

소프트웨어·SOP로 맞춰야 할 일관성 문제 상당수가 하드웨어 설계 단계에서 해결됨. 이게 핵심 이득.

15.6 단계별 로드맵

15.7 기술적 고려사항

Phase 1~2에서 결정해야 할 것

• 카메라 위치 — 이마 정중앙 위 3cm, 발쪽 30° 가정 (pilot에서 최적값 검증)
• 시야각 — 술자가 흉부를 자연스럽게 내려다볼 때 흉부 전체 + 손 그립 모두 프레임 안
• 배선/전원 — Phase 1: 외부 배터리 팩 + 케이블, Phase 2~3: 내장 리튬 폴리머 (안전 인증 필요)
• 열 관리 — 헬멧 안 밀폐 공간 → 방열 설계 필수 (특히 Phase 3 SoC)
• 통신 — USB-C 유선 / Wi-Fi / 5G. 교육용은 유선도 OK, 실전용은 무선

인증·규제

• 의료기기 분류 — "교육·피드백 장치"로 positioning하면 인증 회피 가능. "진단·치료"로 규정되면 KFDA/FDA class II 이상 (수개월~수년)
• EMS 헬멧 안전 기준 — EN 443 (유럽), KC (한국). 카메라 내장으로 기존 헬멧 개조 시 충격 인증 재취득 필요 가능
• 전자파 인증 — CE / FCC / KC (Wi-Fi 있으면 추가)
• 배터리 안전 — UN 38.3 (운송), KC 61960 (국내)

15.8 비즈니스 관점

• 타깃 시장 — EMS 교육기관, 병원 시뮬레이션센터, 군 의무부대, 응급의학 학회
• 경쟁 제품 — SkillReporter 마네킹(수천만원)·Laerdal SimMan 3G(2~3억) 대비 저가 교육 솔루션으로 포지션
• 예상 가격대 — 교육용 200~500만원/대 (BOM 대비 4~10배 마진)
• 수익 모델 — 하드웨어 판매 + SaaS (분석 대시보드, 교육 리포트) + OTA 모델 구독

15.9 다음 의사결정 항목 (대표님/팀 협의)

1. 현 pilot 단계부터 prototype 헬멧으로 수집할지, 기존 SOP 대로 범용 액션캠으로 수집할지
2. Phase 2 MVP 진행 여부 — 개발 리소스 투입 판단
3. 의료기기 인증 트랙 결정 — "교육 장치" vs "의료기기"
4. 양산 파트너 (EMS 헬멧 제조사와 협업 vs 자체 설계)

16. 가림 처리 & Multi-modal Fusion 설계

BVM 환기는 본질적으로 술자 손이 환자 얼굴·턱·때로 흉부 위에 올라간 상태에서 진행된다. 세그멘테이션·optical flow만으론 가려진 영역의 움직임을 직접 관측할 수 없다. 이 섹션은 가림 상황을 다루는 설계 원칙을 정리한다.

16.1 문제 정의

16.2 잘못된 접근 — 단순 마스크 차감

이 방식이 의미 있는 경우:

• 손이 torso의 <20% 만 가림 (정상 BVM)
• 가시 영역만으로도 방사형 팽창 관측 가능
• noise 필터링 목적으로만 제한 사용

16.3 올바른 접근 — Multi-modal Fusion

손 가림으로 얻지 못하는 정보는 다른 독립 신호로 보완. BVM 환기에는 손 가림과 무관한 여러 신호가 존재한다.

16.4 ConvLSTM 입력 설계

위 신호들을 매 프레임 feature vector로 묶어 ConvLSTM에 입력. 모델이 시간 축으로 신호 신뢰도를 학습.

feature_t = [
    # 1. 흉부 관련 (가림 시 신뢰도↓)
    flow_dy_mean,        # 마스크 내부 평균 수직 flow
    flow_dy_top,         # 상단 30% (흉부 상부)
    flow_dy_bottom,      # 하단 30% (복부)
    area_change,         # 마스크 면적 변화율
    valid_chest_ratio,   # 가시 영역 비율 (신뢰도 지표)

    # 2. 손 관련 (가림 시 오히려 유효)
    hand_y_delta,        # 손 중심 Y 이동 (흉부 위면 흉부 Y 근사)
    finger_squeeze_angle,# 4-finger MCP-PIP-DIP 각도 (squeeze 깊이)

    # 3. BVM 관련 (가림 무관, 환기 본질)
    bvm_bbox_area,       # 백 크기 (squeeze로 줄어듦)
    bvm_squeeze_rate,    # 백 bbox 변화율

    # 4. 보조
    bg_flow_dy,          # 카메라 흔들림 보정
    head_tilt_angle,     # 얼굴 각도 (마스크 seal 관련)
]                          # 11차원 × T 프레임 → ConvLSTM

ConvLSTM이 학습 중 자동 발견할 규칙 (예시):

• "valid_chest_ratio 가 낮을 때 flow_dy 무시하고 bvm_squeeze_rate 에 가중치"
• "손이 흉부 위에 있으면 hand_y_delta = 흉부 움직임 근사로 간주"
• "bvm_squeeze_rate 와 flow_dy 시차 있으면 leak 있음 (seal 불량)"

16.5 왜 ConvLSTM이 가림을 해결하는가

시간 축 reasoning

ConvLSTM은 T 프레임(90개, 3초) 윈도우로 과거·현재 신호를 종합한다. 현재 프레임이 가려졌어도:

• 직전 10 프레임의 패턴 → 다음 움직임 예측
• 주기적 호흡 패턴 학습 → 가림 구간 보간
• 다른 신호(BVM, 손가락)에서 현재 상태 추론

Confidence-weighted fusion

모델이 각 신호의 "현재 유효성"을 암묵적으로 학습. valid_chest_ratio 가 0.2면 flow_dy 신뢰도 낮다고 판단 → 다른 신호에 의존.

GT pair 기반 end-to-end 학습

입력(카메라 영상, 가림 포함) + 출력(SkillGuide 정확한 V_T) 페어 수천 쌍 → 모델이 "어떤 가림 상황에서도 V_T 맞추는 법"을 스스로 학습. 사람이 가림별 로직 작성 불필요.

16.6 구현 단계

1. 데이터 수집 단계 (현재)
   • 손 가림 상황 포함한 raw 영상 + SkillGuide V_T 페어 수집
   • 가림 "제거" 시도 금지 — 학습 재료로 사용
   • 목표: 가림 있는 세션 vs 없는 세션 섞어서 수천 개
2. Feature 추출 단계
   • 매 프레임 11차원 feature 계산
   • valid_chest_ratio, bvm_squeeze_rate, hand_y_delta 추가 구현
   • 기존 feature_extractor.py 확장
3. ConvLSTM 학습
   • 입력: (T=90, 11) feature 시퀀스
   • 출력: V_T (mL) 회귀 또는 환기 품질 score
   • Loss: MSE 또는 MAE (mL 단위)
4. 배포 추론
   • 카메라만 입력 (SkillGuide 없음)
   • Feature 계산 → ConvLSTM → V_T 예측
   • 가림 상황 자동 처리 (학습에서 이미 경험)

16.7 단기·장기 지표

부록 A. 변수-분류 매트릭스

전체 변수를 한 눈에 보는 요약 표. 인쇄해서 데이터 수집 현장 벽에 부착 권장.

부록 B. 참고 문헌

• AHA BLS/ACLS 2020 Guidelines — 환기 속도/부피 기준 (성인 10/min, V_T 6~8 mL/kg)
• Baskett P, Nolan J, Parr M. Tidal volumes which are perceived to be adequate for resuscitation. Resuscitation 1996;31(3):231-4.
• European Resuscitation Council Guidelines 2021 — Adult Basic Life Support
• Manikin compliance specifications: Laerdal SimMan 3G Technical Manual; Ambu Man W Specifications
• OpenCV multi-camera calibration: cv2.stereoCalibrate, multical 라이브러리
• Domain Adaptation references: Ganin Y et al., Domain-Adversarial Training of Neural Networks, JMLR 2016

Egocentric / 스마트글라스 시점 (Cam D 관련)

아래 4편은 사내 토론 자료 (Desktop/대표님_내부토론_기술문서/)에 보관되어 있으며, 향후 헤드마운트 / 스마트글라스 기반 배포의 광학 시점 설계에 참고한다. 단계별 활용도:

• Ego-Exo4D: Understanding Skilled Human Activity from First- and Third-Person Perspectives, CVPR 2024 — 같은 동작을 egocentric + exocentric 다중 시점으로 동시 수집하는 데이터셋·학습 프레임워크. 본 SOP의 Cam A/B/C(외부) + Cam D(자기 시점) 멀티뷰 설계 근거.
• Estimating Egocentric 3D Human Pose in the Wild with External Weak Supervision, CVPR 2022 — 헤드마운트 카메라의 fish-eye 왜곡과 자기 신체 부분 가림 문제 해결 기법. Cam D 광각 렌즈 사용 시 calibration / pose 추정 참고.
• Mobile Egocentric Body Motion Reconstruction Using Eyeglasses-Mounted Cameras, IEEE VR 2021 — 안경 카메라로 전신 모션 복원. 술자 손/마스크 그립 추적의 baseline 방법론.
• EgoAdapt: Adaptive Multisensory Distillation for Egocentric Perception, ICCV 2025 — 자기 시점 도메인 적응 (multi-sensor distillation). Manikin/돼지에서 수집한 외부 시점 데이터를 스마트글라스 도메인으로 transfer할 때 참고.

관련 사내 문서: BVM_스마트글라스_내부기술토론문서.docx

이 문서 공유 방법

1. 파일로 공유: 이 HTML 파일을 메일/Slack/공유드라이브로 전달. self-contained라 받는 사람이 브라우저로 더블클릭만 하면 열림.
2. 인쇄: Chrome/Edge에서 Ctrl+P → "PDF로 저장" 또는 종이 인쇄. 좌측 TOC는 인쇄 시 자동 숨김.
3. 로컬망 호스팅 (선택):

   cd Breath_demo/program_demo/docs
   python -m http.server 8000 --bind 0.0.0.0

   같은 망 사람들에게 http://<본인 LAN IP>:8000/SOP_data_collection.html 안내.
   네트워크 주의 localhost / 127.0.0.1은 본인 PC만 접근 가능하다. 외부 노출에는 0.0.0.0 바인딩 필수. Windows 방화벽에서 inbound 8000 포트 허용 필요. 사내망 정책에 따라 차단될 수 있음.

© 2026 (주)달구 BreathAI · BVM Ventilation Data Collection SOP v1.0 · 문의: dallgoo119@gmail.com