An Interpersonal Dynamics Analysis Procedure with Accurate Voice Activity Detection Using Low-cost Recording Sensors

Dongcheol Lim, Hyewon Kang, Beomseok Choi, Woonki Hong, 이정혜 (2024) · ieee-access · DOI ↗

조직행동 (organizational behavior) 연구의 interpersonal dynamics 분석을 비싼 sociometric badge (Olguin-Pentland 2008, Lederman et al. 2018 Rhythm) 가 아닌 low-cost commercial recording sensor (100Hz × 12bit) 로 가능하게 하는 3단계 procedure. (i) 5종 window filter 로 multivariate 변수 derive, (ii) random forest/GBM/MLP/LSTM/logistic regression 5종 classifier 비교, (iii) p1·p2·d_threshold 의 voice activity smoothing algorithm 후처리. 15개 3인 그룹 = 45명 대학생의 3 시나리오 (순차/2쌍/3인 동시) 데이터에서 random forest + multivariate 가 AUC 0.9986 달성 — 기존 Ovaska et al. (2021) 의 sociometric badge 기반 CNN-LSTM (AUC 0.800) 와 Kayhan et al. (2018) decision tree (정확도 0.97 ; TTS 합성음 기준) 를 크게 상회. Turn-taking / silence-breaking / self-turn 의 3 종 대화 특성이 거의 정확하게 복원되어 조직행동 연구의 data collection 비용 장벽 을 해소.

RQ: 비싼 sociometric badge 대신 low-cost commercial recording sensor (100 Hz, 12-bit) 로 VAD 정확도와 conversational feature (turn-taking, silence-breaking, self-turn) 추출의 신뢰성을 동시에 확보할 수 있는가?
방법론: 3단계 pipeline — (1) signal preprocessing (normalization + 절댓값) + 5종 window filter 로 derived variable 생성 (gaussian-window-filter, savitzky-golay-filter 1차/2차, moving-average-filter, moving SD filter), (2) random-forest·그래디언트 부스팅·LSTM·mlp·로지스틱 회귀 5 classifier, (3) voice activity smoothing algorithm (hyperparameters p1, p2, d_threshold)
데이터: 15개 3인 그룹 = 45명 대학생 (성비 균형), 100 Hz × 12-bit 상용 녹음 sensor, 3 시나리오 transcript (Scenario 1 = 순차 발화 / Scenario 2 = 2쌍 동시 / Scenario 3 = 3인 동시). 45 verbal activity dataset 을 binary label (1=발화, 0=무발화) 로 수작업 라벨링. GitHub 공개 (Interpersonal-Dynamics/VOICE-ACTIVITY-DETECTION-DATASET)
주요 발견: (1) Multivariate (5 filter derived) + random forest 가 AUC 0.9985, accuracy 0.9986, sensitivity 0.9999, specificity 0.9971. (2) 모든 classifier 에서 multivariate > univariate 의 F1 score 가 t-test p<0.0001 로 유의 (RF: 0.8038 → 0.9985, GBM: 0.6973 → 0.9324, MLP: 0.6918 → 0.9345, LSTM: 0.8178 → 0.9168, LR: 0.7217 → 0.9214). (3) Hyperparameter 최적: 100 trees, p1=0.8, p2=0.5, d_threshold=150. (4) Conversational feature 복원: turn-taking Scenario 1·2 완전 일치, silence-breaking Scenario 3 만 1건 over/under estimate, self-turn Scenario 2·3 완전 일치
시사점: (a) 조직행동 연구의 데이터 수집 비용 장벽 완화 — sociometric badge (수십만 원/대) 가 아닌 일반 commercial sensor 로 reproducibility 확보. (b) Self-report 의 주관 bias 대안. (c) Multivariate derived variable + voice activity smoothing 의 paired contribution 이 핵심 — single technique 만으로는 부족

음성 활성 탐지 모형 본 paper 의 architecture 도식.

요약

조직행동 (organizational behavior) 연구는 self-report 의 subjective bias 한계를 wearable sensor + objective 데이터 로 극복하려는 흐름이 있다 (Pentland 2008 Honest Signals, Lazer et al. 2009 Science “Computational Social Science”). 그 중 voice data 는 leader identification (Silber-Varod et al. 2020), disagreement 신호 (Roberts et al. 2006), team productivity 정량화 (Kim et al. 2012, Chaffin et al. 2017) 등 풍부한 information source 다. 그러나 기존 VAD 연구는 (i) sociometric badge (Olguín & Pentland 2008) 라는 비싼 전용 기기 의존, (ii) Ovaska et al. (2021) 의 CNN-LSTM 마저 AUC 0.800 에 머묾, (iii) Kayhan et al. (2018) decision tree 는 TTS 합성음 검증이라 인간 음성 generalizability 미확보, (iv) conversational feature extraction algorithm 의 신뢰성 검증 부재의 4 한계가 있었다.

Dongcheol Lim 외 5인은 100 Hz × 12-bit 상용 녹음 sensor 로 15개 3인 그룹 (45명 대학생) 의 3 시나리오 (순차/2쌍/3인 동시) 대화를 수집하고, voice-activity-detection 의 3단계 procedure 를 제안한다. Stage 1: signal preprocessing — standard scaler + 절댓값 정규화. Stage 2: data-derived generation — 5종 window filter (gaussian-window-filter, savitzky-golay-filter 1차/2차, moving-average-filter, moving SD) 로 univariate 신호를 multivariate 데이터로 derive. 윈도우 크기 변화로 다양한 시간 척도의 정보 포착. Stage 3: ML classification + smoothing — random-forest (100 trees), 그래디언트 부스팅, LSTM, mlp, 로지스틱 회귀 5종 classifier 비교 + voice activity smoothing algorithm 으로 fragmentation 제거. Smoothing 의 hyperparameter (p1, p2, d_threshold) 는 grid search 로 (0.8, 0.5, 150) 선택.

검증 결과 random forest + multivariate 가 AUC 0.9985 (±0.0010), accuracy 0.9986 으로 최고 성능. 모든 classifier 에서 multivariate > univariate 의 F1 score 가 t-test p<0.0001 로 유의 — 가장 큰 gap 은 RF (0.8038 → 0.9985), 가장 작은 gap 은 LSTM (0.8178 → 0.9168). Confusion matrix 의 FP·FN rate 가 매우 낮음. Conversational feature 추출은 (i) turn-taking: Scenario 1·2 완전 일치, Scenario 3 (모두 동시 발화) 에서 turn-taking 자체가 0건이라 trivial, (ii) silence-breaking: Scenario 3 에서 Person 1 underestimate 1건, Person 2 overestimate 1건, (iii) self-turn (3초 이상 끊김 없는 발화): Scenario 1 의 Person 1 만 4→3 으로 1건 누락, 나머지 모두 일치. 이 결과로 leadership (silence-breaking 빈도), 적극성 (self-turn 빈도), 상호작용 패턴 (turn-taking 행렬) 의 objective indicator 가 확보된다.

이 paper 는 이정혜 의 제2기 (2019-2025) 응용 다변화 라인에서 조직행동 도메인으로의 진입점. 자매작 A Multi-stage Data Mining Approach for Liquid Bulk Cargo Volume Analysis based on Bill of Lading Data 가 헬스케어 LBC 도메인의 ML 응용이라면, 본 paper 는 조직행동의 인간 음성 도메인. 한계는 (i) basic ML approach 만 사용 (CNN-LSTM 같은 advanced architecture, 또는 vector score 통합 ensemble 미적용), (ii) pre-fixed 시나리오의 대학생 표본 — 4인 이상이나 real-world 자유 토론의 scalability 검증 미진, (iii) silence-breaking 정의 (“긴 침묵 깨기”) 의 임계 시간 의존성. GitHub 공개 데이터셋이 후속 연구의 reproducibility 기반.

핵심 결과

Classifier	Univariate F1	Multivariate F1	t-stat	AUC (multi, RF 기준)
Logistic regression	0.7217	0.9214	21.00	0.9213
Gradient boosting	0.6973	0.9324	24.83	0.9324
Random forest	0.8038	0.9985	73.74	0.9985
MLP	0.6918	0.9345	23.94	0.9315
LSTM	0.8178	0.9168	13.10	0.9201

모든 classifier 의 multi vs uni F1 t-test p < 0.0001. RF 최적 hyperparameter: 100 trees, p1=0.8, p2=0.5, d_threshold=150 (AUC 0.9986).

비교 (선행 연구 vs 본 연구)	Subjects	VAD accuracy	Public data
Ovaska et al. (2021) — Sociometric + CNN-LSTM	14	0.800	No
Tuesta et al. (2019) — Omni mic + custom formula	50	0.875	No
Kayhan et al. (2018) — Decision tree, TTS 합성음	2	0.970	No
Kim et al. (2012) — Sociometric badge built-in	40	(미보고)	No
본 연구 — 상용 sensor + RF + multivariate	45	0.9986	Yes

Conversational feature 복원: turn-taking 완전 일치 (Sc 1·2), silence-breaking 의 Scenario 3 에서 Person 1 underestimate 1건 (4→0) + Person 2 overestimate 1건 (4→5), self-turn 의 Sc 1 Person 1 만 1건 누락 (4→3).

방법론 노트

핵심 아이디어는 단일 신호를 multi window 의 filter bank 로 multivariate signature 로 derive 한 뒤 random forest 의 feature importance 가 어느 window 의 어느 filter 가 음성/무음 분류에 기여하는지 자동 식별하게 하는 것. Larger window size 의 derived variable 이 일반적으로 high importance 를 보여 temporal smoothing 자체 가 VAD 의 핵심 신호.

gaussian-window-filter 의 정의:

x'_k = \sum_{i \in S_m} \frac{1}{\sqrt{2\pi}\sigma} \exp(i - k) \cdot x_i

여기서 $S_m$ 은 윈도우 크기 $m$ 안의 인덱스 집합, $\sigma$ 는 Gaussian SD. savitzky-golay-filter 는 local polynomial 적합으로 잡음 제거 + 미분 보존. Voice activity smoothing algorithm 의 hyperparameter 의미: $p_1$ = 단일 비음성 fragment 를 무시할 확률 threshold, $p_2$ = 단일 음성 fragment 를 유지할 확률 threshold, $d_{threshold}$ = 인접 fragment 병합의 시간 거리 (samples). $(p_1, p_2, d_{threshold})$ 의 grid (3×3×3 = 27) 에서 AUC 가 highest 인 (0.8, 0.5, 150) 선택. Identification 핵심: derived variable + smoothing 의 paired ablation — univariate-only 또는 smoothing-off 시 모두 성능 하락. 한계는 (i) basic classifier 만 사용 (Safont et al. 2020 vector score 통합 등 미적용), (ii) 4인+ 그룹의 cross-talk 처리, (iii) 시나리오 transcript 기반이라 자유 발화의 표현력 미검증.

연구 계보

이정혜 의 제2기 (2019-2025) 응용 다변화 라인의 조직행동 진입점. 직접 sibling 은 A Multi-stage Data Mining Approach for Liquid Bulk Cargo Volume Analysis based on Bill of Lading Data (의료영상 도메인 ML 응용) 의 방법론 transfer 사례. 이론적 뿌리는 (a) Olguin & Pentland (2008) IEEE Trans SMC 의 sociometric badge — organizational behavior 의 wearable sensor 정초, (b) Kim, McFee, Olguin, Waber & Pentland (2012) J Organ Behav 의 turn-taking 분석, (c) Chaffin et al. (2017) Organ Res Methods 의 wearable sensor 의 promise and perils 비판, (d) Kayhan et al. (2018) Behav Res Methods 의 decision tree VAD, (e) Lederman, Mohan, Calacci & Pentland (2018) IEEE Multimedia 의 Rhythm sensor, (f) Ovaska et al. (2021) arXiv 의 deep neural network VAD. Signal processing 측면에서 (g) Harris (1978) Proc IEEE 의 gaussian-window-filter, (h) Savitzky & Golay (1964) Anal Chem 의 polynomial filter, (i) Sohn et al. (1999) IEEE SP Letters 의 statistical model VAD. ML side: (j) Breiman (2001) Mach Learn 의 random-forest, (k) Hochreiter & Schmidhuber (1997) Neural Comput 의 LSTM, (l) Friedman (2001) Ann Stat 의 그래디언트 부스팅. 후속 작업 (descendant) 은 본 paper 의 single-paper ingest 시점에 검증 불가 이므로 ingest 하지 않는다.

인접 그래프

1-hop 이웃 11개

인물 5
방법론 4
분류 1
논문 1

휠 = 확대/축소 · 드래그 = 이동 · hover = 강조 · 클릭 = 페이지 이동

이 문서를 가리키는 페이지

인물 (1)

이정혜