---
type: paper
slug: dongcheol-lim-2024-voice-activity-detection
title: >-
  An Interpersonal Dynamics Analysis Procedure with Accurate Voice Activity
  Detection Using Low-cost Recording Sensors
authors:
  - '[[dongcheol-lim]]'
  - '[[hyewon-kang]]'
  - '[[beomseok-choi]]'
  - '[[woonki-hong]]'
  - '[[junghyelee]]'
year: 2024
venue: '[[ieee-access]]'
doi: 10.1109/ACCESS.2024.3387279
categories:
  - '[[organizational-learning]]'
  - '[[machine-learning]]'
methods:
  - '[[voice-activity-detection]]'
  - '[[random-forest]]'
  - '[[gradient-boosting]]'
  - '[[lstm]]'
  - '[[mlp]]'
  - '[[logistic-regression]]'
  - '[[gaussian-window-filter]]'
  - '[[savitzky-golay-filter]]'
  - '[[moving-average-filter]]'
  - '[[signal-preprocessing]]'
themes:
  - '[[interpersonal-dynamics]]'
  - '[[organizational-behavior]]'
  - '[[wearable-recording-sensor]]'
  - '[[conversational-features]]'
aliases: []
last_updated: '2026-05-20T01:44:41+09:00'
---
# An Interpersonal Dynamics Analysis Procedure with Accurate Voice Activity Detection Using Low-cost Recording Sensors

*[[dongcheol-lim]], [[hyewon-kang]], [[beomseok-choi]], [[woonki-hong]], [[junghyelee]] (2024)* · [[ieee-access]] · [DOI ↗](https://doi.org/10.1109/ACCESS.2024.3387279)

> 조직행동 (organizational behavior) 연구의 *interpersonal dynamics* 분석을 비싼 sociometric badge (Olguin-Pentland 2008, Lederman et al. 2018 Rhythm) 가 아닌 *low-cost commercial recording sensor* (100Hz × 12bit) 로 가능하게 하는 3단계 procedure. (i) 5종 window filter 로 multivariate 변수 derive, (ii) random forest/GBM/MLP/LSTM/logistic regression 5종 classifier 비교, (iii) p1·p2·d_threshold 의 voice activity smoothing algorithm 후처리. 15개 3인 그룹 = 45명 대학생의 *3 시나리오 (순차/2쌍/3인 동시)* 데이터에서 random forest + multivariate 가 AUC **0.9986** 달성 — 기존 Ovaska et al. (2021) 의 sociometric badge 기반 CNN-LSTM (AUC 0.800) 와 Kayhan et al. (2018) decision tree (정확도 0.97 ; TTS 합성음 기준) 를 크게 상회. Turn-taking / silence-breaking / self-turn 의 3 종 대화 특성이 거의 정확하게 복원되어 조직행동 연구의 *data collection 비용 장벽* 을 해소.

- **RQ**: 비싼 sociometric badge 대신 *low-cost commercial recording sensor (100 Hz, 12-bit)* 로 VAD 정확도와 *conversational feature* (turn-taking, silence-breaking, self-turn) 추출의 신뢰성을 동시에 확보할 수 있는가?
- **방법론**: 3단계 pipeline — (1) signal preprocessing (normalization + 절댓값) + 5종 window filter 로 derived variable 생성 ([[gaussian-window-filter]], [[savitzky-golay-filter]] 1차/2차, [[moving-average-filter]], moving SD filter), (2) [[random-forest]]·[[gradient-boosting]]·[[lstm]]·[[mlp]]·[[logistic-regression]] 5 classifier, (3) voice activity smoothing algorithm (hyperparameters p1, p2, d_threshold)
- **데이터**: 15개 3인 그룹 = 45명 대학생 (성비 균형), 100 Hz × 12-bit 상용 녹음 sensor, 3 시나리오 transcript (Scenario 1 = 순차 발화 / Scenario 2 = 2쌍 동시 / Scenario 3 = 3인 동시). 45 verbal activity dataset 을 binary label (1=발화, 0=무발화) 로 수작업 라벨링. GitHub 공개 (Interpersonal-Dynamics/VOICE-ACTIVITY-DETECTION-DATASET)
- **주요 발견**: (1) Multivariate (5 filter derived) + random forest 가 AUC **0.9985**, accuracy 0.9986, sensitivity 0.9999, specificity 0.9971. (2) 모든 classifier 에서 multivariate > univariate 의 F1 score 가 t-test p<0.0001 로 유의 (RF: 0.8038 → 0.9985, GBM: 0.6973 → 0.9324, MLP: 0.6918 → 0.9345, LSTM: 0.8178 → 0.9168, LR: 0.7217 → 0.9214). (3) Hyperparameter 최적: 100 trees, p1=0.8, p2=0.5, d_threshold=150. (4) Conversational feature 복원: turn-taking Scenario 1·2 완전 일치, silence-breaking Scenario 3 만 1건 over/under estimate, self-turn Scenario 2·3 완전 일치
- **시사점**: (a) 조직행동 연구의 *데이터 수집 비용 장벽* 완화 — sociometric badge (수십만 원/대) 가 아닌 일반 commercial sensor 로 reproducibility 확보. (b) Self-report 의 *주관 bias* 대안. (c) Multivariate derived variable + voice activity smoothing 의 *paired contribution* 이 핵심 — single technique 만으로는 부족

![음성 활성 탐지 모형 본 paper 의 architecture 도식.](/papers/202400_LimD_An_Interpersonal_Dynamics_Analysis_Procedure_With_Accurate_Voice_Activity_Detection_Using_Low_Cost_Recording_Sensors/fig1.png)

## 요약

조직행동 (organizational behavior) 연구는 self-report 의 subjective bias 한계를 *wearable sensor + objective 데이터* 로 극복하려는 흐름이 있다 (Pentland 2008 *Honest Signals*, Lazer et al. 2009 *Science* "Computational Social Science"). 그 중 voice data 는 leader identification (Silber-Varod et al. 2020), disagreement 신호 (Roberts et al. 2006), team productivity 정량화 (Kim et al. 2012, Chaffin et al. 2017) 등 풍부한 information source 다. 그러나 기존 VAD 연구는 (i) sociometric badge (Olguín & Pentland 2008) 라는 비싼 전용 기기 의존, (ii) Ovaska et al. (2021) 의 CNN-LSTM 마저 AUC 0.800 에 머묾, (iii) Kayhan et al. (2018) decision tree 는 TTS 합성음 검증이라 인간 음성 generalizability 미확보, (iv) conversational feature extraction algorithm 의 신뢰성 검증 부재의 4 한계가 있었다.

[[dongcheol-lim]] 외 5인은 100 Hz × 12-bit 상용 녹음 sensor 로 15개 3인 그룹 (45명 대학생) 의 3 시나리오 (순차/2쌍/3인 동시) 대화를 수집하고, [[voice-activity-detection]] 의 *3단계 procedure* 를 제안한다. Stage 1: signal preprocessing — standard scaler + 절댓값 정규화. Stage 2: data-derived generation — 5종 window filter ([[gaussian-window-filter]], [[savitzky-golay-filter]] 1차/2차, [[moving-average-filter]], moving SD) 로 univariate 신호를 *multivariate* 데이터로 derive. 윈도우 크기 변화로 다양한 시간 척도의 정보 포착. Stage 3: ML classification + smoothing — [[random-forest]] (100 trees), [[gradient-boosting]], [[lstm]], [[mlp]], [[logistic-regression]] 5종 classifier 비교 + voice activity smoothing algorithm 으로 fragmentation 제거. Smoothing 의 hyperparameter (p1, p2, d_threshold) 는 grid search 로 (0.8, 0.5, 150) 선택.

검증 결과 random forest + multivariate 가 AUC 0.9985 (±0.0010), accuracy 0.9986 으로 최고 성능. 모든 classifier 에서 multivariate > univariate 의 F1 score 가 t-test p<0.0001 로 유의 — 가장 큰 gap 은 RF (0.8038 → 0.9985), 가장 작은 gap 은 LSTM (0.8178 → 0.9168). Confusion matrix 의 FP·FN rate 가 매우 낮음. Conversational feature 추출은 (i) turn-taking: Scenario 1·2 완전 일치, Scenario 3 (모두 동시 발화) 에서 turn-taking 자체가 0건이라 trivial, (ii) silence-breaking: Scenario 3 에서 Person 1 underestimate 1건, Person 2 overestimate 1건, (iii) self-turn (3초 이상 끊김 없는 발화): Scenario 1 의 Person 1 만 4→3 으로 1건 누락, 나머지 모두 일치. 이 결과로 leadership (silence-breaking 빈도), 적극성 (self-turn 빈도), 상호작용 패턴 (turn-taking 행렬) 의 *objective indicator* 가 확보된다.

이 paper 는 [[junghyelee]] 의 *제2기 (2019-2025) 응용 다변화* 라인에서 조직행동 도메인으로의 진입점. 자매작 [[suhyeon-kim-2021-lbc-data-mining]] 가 헬스케어 LBC 도메인의 ML 응용이라면, 본 paper 는 조직행동의 인간 음성 도메인. 한계는 (i) basic ML approach 만 사용 (CNN-LSTM 같은 advanced architecture, 또는 vector score 통합 ensemble 미적용), (ii) pre-fixed 시나리오의 대학생 표본 — 4인 이상이나 real-world 자유 토론의 scalability 검증 미진, (iii) silence-breaking 정의 ("긴 침묵 깨기") 의 임계 시간 의존성. GitHub 공개 데이터셋이 후속 연구의 reproducibility 기반.

## 핵심 결과

| Classifier | Univariate F1 | Multivariate F1 | t-stat | AUC (multi, RF 기준) |
|---|---:|---:|---:|---:|
| Logistic regression | 0.7217 | 0.9214 | 21.00 | 0.9213 |
| Gradient boosting | 0.6973 | 0.9324 | 24.83 | 0.9324 |
| **Random forest** | 0.8038 | **0.9985** | 73.74 | **0.9985** |
| MLP | 0.6918 | 0.9345 | 23.94 | 0.9315 |
| LSTM | 0.8178 | 0.9168 | 13.10 | 0.9201 |

모든 classifier 의 multi vs uni F1 t-test p < 0.0001. RF 최적 hyperparameter: 100 trees, p1=0.8, p2=0.5, d_threshold=150 (AUC 0.9986).

| 비교 (선행 연구 vs 본 연구) | Subjects | VAD accuracy | Public data |
|---|---|---|---|
| Ovaska et al. (2021) — Sociometric + CNN-LSTM | 14 | 0.800 | No |
| Tuesta et al. (2019) — Omni mic + custom formula | 50 | 0.875 | No |
| Kayhan et al. (2018) — Decision tree, TTS 합성음 | 2 | 0.970 | No |
| Kim et al. (2012) — Sociometric badge built-in | 40 | (미보고) | No |
| **본 연구 — 상용 sensor + RF + multivariate** | **45** | **0.9986** | **Yes** |

Conversational feature 복원: turn-taking 완전 일치 (Sc 1·2), silence-breaking 의 Scenario 3 에서 Person 1 underestimate 1건 (4→0) + Person 2 overestimate 1건 (4→5), self-turn 의 Sc 1 Person 1 만 1건 누락 (4→3).

## 방법론 노트

핵심 아이디어는 단일 신호를 multi window 의 filter bank 로 *multivariate signature* 로 derive 한 뒤 random forest 의 *feature importance* 가 어느 window 의 어느 filter 가 음성/무음 분류에 기여하는지 자동 식별하게 하는 것. Larger window size 의 derived variable 이 일반적으로 high importance 를 보여 *temporal smoothing 자체* 가 VAD 의 핵심 신호.

[[gaussian-window-filter]] 의 정의:

$$
x'_k = \sum_{i \in S_m} \frac{1}{\sqrt{2\pi}\sigma} \exp(i - k) \cdot x_i
$$

여기서 $S_m$ 은 윈도우 크기 $m$ 안의 인덱스 집합, $\sigma$ 는 Gaussian SD. [[savitzky-golay-filter]] 는 local polynomial 적합으로 잡음 제거 + 미분 보존. Voice activity smoothing algorithm 의 hyperparameter 의미: $p_1$ = 단일 비음성 fragment 를 무시할 확률 threshold, $p_2$ = 단일 음성 fragment 를 유지할 확률 threshold, $d_{threshold}$ = 인접 fragment 병합의 시간 거리 (samples). $(p_1, p_2, d_{threshold})$ 의 grid (3×3×3 = 27) 에서 AUC 가 highest 인 (0.8, 0.5, 150) 선택. *Identification 핵심*: derived variable + smoothing 의 *paired ablation* — univariate-only 또는 smoothing-off 시 모두 성능 하락. 한계는 (i) basic classifier 만 사용 (Safont et al. 2020 vector score 통합 등 미적용), (ii) 4인+ 그룹의 cross-talk 처리, (iii) 시나리오 transcript 기반이라 자유 발화의 표현력 미검증.

## 연구 계보

[[junghyelee]] 의 *제2기 (2019-2025) 응용 다변화* 라인의 조직행동 진입점. 직접 sibling 은 [[suhyeon-kim-2021-lbc-data-mining]] (의료영상 도메인 ML 응용) 의 *방법론 transfer* 사례. 이론적 뿌리는 (a) Olguin & Pentland (2008) IEEE Trans SMC 의 sociometric badge — *organizational behavior 의 wearable sensor* 정초, (b) Kim, McFee, Olguin, Waber & Pentland (2012) J Organ Behav 의 turn-taking 분석, (c) Chaffin et al. (2017) Organ Res Methods 의 wearable sensor 의 promise and perils 비판, (d) Kayhan et al. (2018) Behav Res Methods 의 decision tree VAD, (e) Lederman, Mohan, Calacci & Pentland (2018) IEEE Multimedia 의 Rhythm sensor, (f) Ovaska et al. (2021) arXiv 의 deep neural network VAD. Signal processing 측면에서 (g) Harris (1978) Proc IEEE 의 [[gaussian-window-filter]], (h) Savitzky & Golay (1964) Anal Chem 의 polynomial filter, (i) Sohn et al. (1999) IEEE SP Letters 의 statistical model VAD. ML side: (j) Breiman (2001) Mach Learn 의 [[random-forest]], (k) Hochreiter & Schmidhuber (1997) Neural Comput 의 [[lstm]], (l) Friedman (2001) Ann Stat 의 [[gradient-boosting]]. 후속 작업 (descendant) 은 본 paper 의 *single-paper ingest 시점에 검증 불가* 이므로 ingest 하지 않는다.

## See also

- [[junghyelee]]
- [[dongcheol-lim]]
- [[hyewon-kang]]
- [[woonki-hong]]
- [[voice-activity-detection]]
- [[random-forest]]
- [[lstm]]
- [[gradient-boosting]]
- [[gaussian-window-filter]]
- [[savitzky-golay-filter]]
- [[organizational-behavior]]
- [[conversational-features]]
- [[ieee-access]]
- [[suhyeon-kim-2021-lbc-data-mining]]