---
type: paper
slug: jaeho-kim-2023-smart-insoles-multitask
title: >-
  Multi-task Deep Learning for Human Activity, Speed, and Body Weight Estimation
  using Commercial Smart Insoles
authors:
  - '[[jaeho-kim]]'
  - '[[hyewon-kang]]'
  - '[[jaewan-yang]]'
  - '[[haneul-jung]]'
  - '[[seulki-lee]]'
  - '[[junghyelee]]'
year: 2023
venue: '[[ieee-iot-journal]]'
categories:
  - '[[ict-industries]]'
  - '[[machine-learning]]'
methods:
  - '[[multi-task-learning]]'
  - '[[recurrence-plot]]'
  - '[[mobilenetv2]]'
  - '[[uncertainty-weighting]]'
themes:
  - '[[smart-insole]]'
  - '[[human-activity-recognition]]'
  - '[[wearable-ai]]'
  - '[[body-weight-estimation]]'
aliases: []
last_updated: '2026-05-20T02:01:15+09:00'
---
# Multi-task Deep Learning for Human Activity, Speed, and Body Weight Estimation using Commercial Smart Insoles

*[[jaeho-kim]], [[hyewon-kang]], [[jaewan-yang]], [[haneul-jung]], [[seulki-lee]], [[junghyelee]] (2023)* · [[ieee-iot-journal]]

> 상용 *smart insole* 의 sensor 데이터를 [[multi-task-learning]] (MTL) 으로 *3 task 동시* 학습 — *Activity Classification (AC), Speed Estimation (SE), Body Weight Estimation (BWE)*. **시계열 → recurrence plot 변환 + modified MobileNetV2 backbone (<100K params)**. 72 명 user × 16 experiments — *최대 규모 smart insole MTL 데이터셋*. MTL 이 single-task model 대비 *동등 또는 우수 성능*. *Uncertainty weighting loss balancing* + RP-based image representation. [[junghyelee]] 의 *3 기 IoT + healthcare AI 응용*.

- **RQ**: Commercial smart insole sensor 데이터로 *Activity, Speed, Body Weight* 3 task 를 *동시* 학습할 수 있는가? Time series → image 변환의 효과는?
- **방법론**: [[multi-task-learning]] + [[recurrence-plot]] 변환 + Modified [[mobilenetv2]] + [[uncertainty-weighting]] loss balancing
- **데이터**: 72 명 user × 16 experiments — multi-task smart insole MTS dataset
- **주요 발견**: (1) **MTL > 또는 = single-task models**. (2) **Recurrence plot > raw time series** — BWE 에 특히 효과. (3) Modified MobileNetV2 < 100K params, 0.34G MAC operations — *lightweight*. (4) Uncertainty weighting 이 3 task loss balance.
- **시사점**: 일상 활동의 다중 healthcare metric *동시 추정* — *gym, 재활, 질병 탐지* 등 활용. Lightweight model 로 *on-device deployment* 가능.

![smart insole 의 시계열 센서 데이터를 활용한 multi-task deep learning 구조](/papers/202309_KimJ_Multitask_Deep_Learning_for_Human_Activity_Speed_and_Body_Weight_Estimation_Using_Commercial_Smart_Insoles/fig1.png)

## 요약

이 paper 는 [[junghyelee]] 의 *3 기 SNU TEMEP 의 IoT + healthcare AI 응용*. [[jaeho-kim]] (제 1 저자) + UNIST 동료 + [[seulki-lee]] (UNIST CSE) 와의 협업.

방법론적 핵심:

(i) **Recurrence Plot 변환**: time series $\{x_t\}$ 를 $\{(t_i, t_j)\}$ 의 *2D image* 로 변환 — $\text{RP}(i,j) = \Theta(\epsilon - \|x_i - x_j\|)$. 시간 *similarity pattern* 이 image 로 시각화 → CNN 적용 가능.

(ii) **[[mobilenetv2]] backbone** (modified): mobile-optimized. < 100K params, 0.34G MAC. Lightweight → on-device deployment.

(iii) **Multi-task heads**: 같은 backbone 위에 3 head — AC (classification), SE (regression), BWE (regression).

(iv) **[[uncertainty-weighting]] loss**: 

$$
\mathcal{L} = \sum_t \frac{1}{2\sigma_t^2} \mathcal{L}_t + \log \sigma_t
$$

각 task 의 *학습 가능 uncertainty* $\sigma_t$ 가 loss weight 자동 조정.

핵심 발견: MTL framework 가 single-task 대비 동등 또는 우수 성능. *특히 RP 변환 + BWE* — body weight 가 *시간 pattern* (걸음 dynamics) 에 강하게 의존. 72 user 데이터셋이 *현존 최대 smart insole MTL*.

[[junghyelee]] 의 *연구 궤적* 안에서 이 paper 는 *실타래 3 (Healthcare AI) + 실타래 5 (Graph-based / Time series)* 의 합류. RP 가 *3 기 (2024-2025) 시계열 라인* 의 출발점.

## 핵심 결과

| Task | Single-task | **MTL** |
|---|---|---|
| Activity Classification (AC) | baseline | 비등 또는 우수 |
| Speed Estimation (SE) | baseline | 비등 또는 우수 |
| **Body Weight Estimation (BWE)** | baseline | **개선 (RP 효과 특히)** |

- 72 명 × 16 experiments
- Modified MobileNetV2: <100K params, 0.34G MAC
- Uncertainty weighting loss

## 방법론 노트

[[recurrence-plot]]: $\text{RP}(i,j) = \Theta(\varepsilon - \|x_i - x_j\|)$, $\Theta$ = Heaviside, $\varepsilon$ = threshold. 시간 *recurrence* 의 *2D 시각화*.

[[multi-task-learning]] uncertainty weighting (Kendall et al. 2018):

$$
\mathcal{L}_{\text{MTL}} = \sum_t \frac{1}{2\sigma_t^2} \mathcal{L}_t + \log \sigma_t
$$

$\sigma_t$ = task $t$ 의 학습 가능 uncertainty.

식별 가정: (i) RP 의 *time series 정보 보존*, (ii) shared backbone 의 *cross-task feature*, (iii) uncertainty weighting 의 *loss balance 적합성*.

## 연구 계보

이 paper 는 (i) Eckmann et al. (1987) recurrence plot 본가, (ii) Sandler et al. (2018) MobileNetV2 정통, (iii) Kendall et al. (2018) uncertainty MTL — 의 결합. [[junghyelee]] 의 *연구 궤적* *3 기 IoT + healthcare AI 응용*.

## See also

- [[junghyelee]]
- [[jaeho-kim]]
- [[multi-task-learning]]
- [[recurrence-plot]]
- [[mobilenetv2]]
- [[smart-insole]]
- [[human-activity-recognition]]
- [[ieee-iot-journal]]