Multi-task Deep Learning for Human Activity, Speed, and Body Weight Estimation using Commercial Smart Insoles

Jaeho Kim, Hyewon Kang, Jaewan Yang, Haneul Jung, Seulki Lee, 이정혜 (2023) · ieee-iot-journal

상용 smart insole 의 sensor 데이터를 multi-task-learning (MTL) 으로 3 task 동시 학습 — Activity Classification (AC), Speed Estimation (SE), Body Weight Estimation (BWE). 시계열 → recurrence plot 변환 + modified MobileNetV2 backbone (<100K params). 72 명 user × 16 experiments — 최대 규모 smart insole MTL 데이터셋. MTL 이 single-task model 대비 동등 또는 우수 성능. Uncertainty weighting loss balancing + RP-based image representation. 이정혜 의 3 기 IoT + healthcare AI 응용.

RQ: Commercial smart insole sensor 데이터로 Activity, Speed, Body Weight 3 task 를 동시 학습할 수 있는가? Time series → image 변환의 효과는?
방법론: multi-task-learning + recurrence-plot 변환 + Modified mobilenetv2 + uncertainty-weighting loss balancing
데이터: 72 명 user × 16 experiments — multi-task smart insole MTS dataset
주요 발견: (1) MTL > 또는 = single-task models. (2) Recurrence plot > raw time series — BWE 에 특히 효과. (3) Modified MobileNetV2 < 100K params, 0.34G MAC operations — lightweight. (4) Uncertainty weighting 이 3 task loss balance.
시사점: 일상 활동의 다중 healthcare metric 동시 추정 — gym, 재활, 질병 탐지 등 활용. Lightweight model 로 on-device deployment 가능.

smart insole 의 시계열 센서 데이터를 활용한 multi-task deep learning 구조

요약

이 paper 는 이정혜 의 3 기 SNU TEMEP 의 IoT + healthcare AI 응용. Jaeho Kim (제 1 저자) + UNIST 동료 + Seulki Lee (UNIST CSE) 와의 협업.

방법론적 핵심:

(i) Recurrence Plot 변환: time series $\{x_t\}$ 를 $\{(t_i, t_j)\}$ 의 2D image 로 변환 — $\text{RP}(i,j) = \Theta(\epsilon - \|x_i - x_j\|)$ . 시간 similarity pattern 이 image 로 시각화 → CNN 적용 가능.

(ii) mobilenetv2 backbone (modified): mobile-optimized. < 100K params, 0.34G MAC. Lightweight → on-device deployment.

(iii) Multi-task heads: 같은 backbone 위에 3 head — AC (classification), SE (regression), BWE (regression).

(iv) uncertainty-weighting loss:

\mathcal{L} = \sum_t \frac{1}{2\sigma_t^2} \mathcal{L}_t + \log \sigma_t

각 task 의 학습 가능 uncertainty $\sigma_t$ 가 loss weight 자동 조정.

핵심 발견: MTL framework 가 single-task 대비 동등 또는 우수 성능. 특히 RP 변환 + BWE — body weight 가 시간 pattern (걸음 dynamics) 에 강하게 의존. 72 user 데이터셋이 현존 최대 smart insole MTL.

이정혜 의 연구 궤적 안에서 이 paper 는 실타래 3 (Healthcare AI) + 실타래 5 (Graph-based / Time series) 의 합류. RP 가 3 기 (2024-2025) 시계열 라인 의 출발점.

핵심 결과

Task	Single-task	MTL
Activity Classification (AC)	baseline	비등 또는 우수
Speed Estimation (SE)	baseline	비등 또는 우수
Body Weight Estimation (BWE)	baseline	개선 (RP 효과 특히)

72 명 × 16 experiments
Modified MobileNetV2: <100K params, 0.34G MAC
Uncertainty weighting loss

방법론 노트

recurrence-plot: $\text{RP}(i,j) = \Theta(\varepsilon - \|x_i - x_j\|)$ , $\Theta$ = Heaviside, $\varepsilon$ = threshold. 시간 recurrence 의 2D 시각화.

multi-task-learning uncertainty weighting (Kendall et al. 2018):

\mathcal{L}_{\text{MTL}} = \sum_t \frac{1}{2\sigma_t^2} \mathcal{L}_t + \log \sigma_t

$\sigma_t$ = task $t$ 의 학습 가능 uncertainty.

식별 가정: (i) RP 의 time series 정보 보존, (ii) shared backbone 의 cross-task feature, (iii) uncertainty weighting 의 loss balance 적합성.

연구 계보

이 paper 는 (i) Eckmann et al. (1987) recurrence plot 본가, (ii) Sandler et al. (2018) MobileNetV2 정통, (iii) Kendall et al. (2018) uncertainty MTL — 의 결합. 이정혜 의 연구 궤적 3 기 IoT + healthcare AI 응용.

인접 그래프

1-hop 이웃 9개

인물 6
방법론 2
논문 1

휠 = 확대/축소 · 드래그 = 이동 · hover = 라벨 · 클릭 = 페이지 이동

이 문서를 가리키는 페이지

논문 (1)

A graph convolutional network for time series classification using recurrence plots

인물 (1)

이정혜