--- type: paper slug: yingxiang-huang-2018-harmonization-contextual-embeddings title: >- Privacy-Preserving Predictive Modeling: Harmonization of Contextual Embeddings From Different Sources authors: - '[[yingxiang-huang]]' - '[[junghyelee]]' - '[[shuang-wang]]' - '[[jimeng-sun]]' - '[[hongfang-liu]]' - '[[xiaoqian-jiang]]' year: 2018 venue: '[[jmir-medical-informatics]]' volume: '6' issue: '2' pages: e33 doi: 10.2196/medinform.9455 categories: - '[[privacy-preserving-ml]]' - '[[medical-ai]]' methods: - '[[word2vec]]' - '[[procrustes-analysis]]' - '[[contextual-embedding]]' - '[[federated-learning]]' themes: - '[[harmonization]]' - '[[contextual-embedding]]' - '[[ehr-interoperability]]' aliases: - Huang & Lee 2018 last_updated: '2026-05-17T21:30:00+09:00' --- # Privacy-Preserving Predictive Modeling: Harmonization of Contextual Embeddings From Different Sources *[[yingxiang-huang]], [[junghyelee]], [[shuang-wang]], [[jimeng-sun]], [[hongfang-liu]], [[xiaoqian-jiang]] (2018)* · [[jmir-medical-informatics]] 6(2):e33 · [DOI ↗](https://doi.org/10.2196/medinform.9455) > [[junghyelee]] author page 의 *"맥락적 임베딩의 조화 (Huang & Lee 2018): 다소스 임베딩 조화의 씨앗. HarmoAE의 전신"* — **HarmoAE 의 직접 선행 paper**. 병원별로 *Word2Vec contextual embedding* 학습 → *[[procrustes-analysis]]* 으로 *anchor pair* 통한 *공유 공간 정렬*. MIMIC-III 의 *구조화 + 비구조화* 데이터 모두 검증. **Naive pooling 또는 local-only 보다 우수한 prediction**. *"공유 데이터 없이 공유 표현"* 의 핵심 idea — *Junghye Lee 와 Yingxiang Huang 공동 저자 (\* equal contribution)*. - **RQ**: 다기관 *contextual embedding (Word2Vec)* 이 *서로 다른 공간* 에 학습되어 *naive pooling 불가능* 한 한계를 어떻게 극복할 것인가? Raw data 공유 없이 *모델 공유* 로 *global model* 구축 가능한가? - **방법론**: [[word2vec]] (skip-gram, CBOW, GloVe 비교) + [[procrustes-analysis]] (orthogonal alignment with anchor pairs) + federated framework - **데이터**: MIMIC-III (Medical Information Mart for Intensive Care III) — *structured* (lab tests, diagnoses, prescriptions, etc.) + *unstructured* (clinical notes via Metamap) - **주요 발견**: (1) **Local Word2Vec → Procrustes 정렬 → global harmonized model**. (2) Harmonized model 이 *naive pooling + local-only 모두 outperform*. (3) Skip-gram > CBOW > GloVe. (4) *Anchor pair* 가 정렬의 핵심 — common medical events 활용. (5) Privacy 보호 — patient-level data 미공유, *embedding (집계) 만 공유*. - **시사점**: *공유 데이터 없이 공유 표현* — 의료 federated learning 의 *new paradigm*. HIPAA deidentification (5000+ hours, $500k for MIMIC-III) 의 *비싼 대안* 제공. 다기관 다른 specialty 의 *heterogeneous EHR* 환경에 적용 가능. ![](/papers/201805_HuangY_Privacy_preserving_predictive_modeling_Harmonization_of_contextual_embeddings_from_different_sources/_page_2_Figure_15.jpeg) *Fig. 2 — Contextual embedding + Procrustes harmonization 의 architecture.* ## 요약 이 paper 는 [[junghyelee]] 의 *1 기 UCSD 포닥 시기 의 대표 작업* — *HarmoAE 직접 전신*. [[yingxiang-huang]] (UCSD 학부) 와 [[junghyelee]] 의 *공동 제 1 저자 (\* equal contribution)*. [[xiaoqian-jiang]] (UCSD 지도) + [[jimeng-sun]] (Georgia Tech) + [[shuang-wang]] (UCSD) + [[hongfang-liu]] (Mayo Clinic) — *국제 + 다기관 collaboration*. [[junghyelee]] author page 의 *전환점 1 (UCSD 포닥)* 의 핵심 paper 중 하나. 방법론적 핵심: *3 단계 framework*. (i) **Local Word2Vec**: 각 병원이 *자체 EHR* 에서 *Word2Vec contextual embedding* 학습. Skip-gram (선호) / CBOW / GloVe 비교. Structured data 는 *prefix-added codes* (l_=lab, c_=condition, s_=symptom, d_=diagnosis, p_=prescription) 의 시간 순서 sequence. Unstructured data 는 *Metamap* 으로 의료 concepts 추출. (ii) **Procrustes harmonization**: 각 embedding 의 *방향 차이* (random sampling 때문) 가 *naive pooling 의 한계* — 한 embedding 의 "heart attack" 이 다른 embedding 의 "elephantiasis" 와 closest 가능. [[procrustes-analysis]] 으로 *orthogonal transformation* 추정 → 공유 공간 정렬. *Anchor pair* (common medical events across hospitals) 가 정렬의 reference. (iii) **Predictive modeling**: Harmonized embeddings 사용 → 환자 다음 진단 예측. 핵심 발견: MIMIC-III 의 *next diagnosis prediction* 에서: - **Local-only**: 자기 병원 데이터만 — 작은 sample. - **Naive pooling**: 정렬 안 된 embedding 합산 — *오히려 성능 저하*. - **Harmonized (Procrustes)**: *최고 성능*. Skip-gram > CBOW > GloVe 일관 우위. *Code embedding (structured)* 와 *concept embedding (unstructured)* 모두 작동. [[junghyelee]] 의 *연구 궤적* 안에서 이 paper 는 [[junghye-lee-2018-privacy-patient-similarity]] (federated patient hashing) 의 자매 + *HarmoAE (2021) 의 직접 전신*. *전환점 1 UCSD 포닥 시기* 의 *2 paper duo* — 동시기 시작된 *privacy-preserving ML* 시그니처 영역의 *두 출발점*. 특히 *Word2Vec + Procrustes* 결합이 [[suhyeon-kim-2020-w2v-lsa-blockchain]] (2020 W2V-LSA), [[myounghoon-lee-2022-tod-knowledge-graph]] (2022 Doc2Vec + KG), [[taek-ho-lee-2021-harmoae]] (2021 HarmoAE — *autoencoder 로 Procrustes 대체*), [[taek-ho-lee-2023-fed-recommendation-w2v]] (2023 Federated Word2Vec) 의 *모든 Word2Vec / 임베딩 라인의 시조*. ## 핵심 결과 | 방법 | Prediction 성능 | |---|---| | Local-only (per hospital) | 작은 sample 한계 | | **Naive pooling** | **저하 (방향 misalignment)** | | **Harmonized (Procrustes)** | **최고** | | Embedding 비교 | 우열 | |---|---| | **Skip-gram** | **최고** | | CBOW | 중간 | | GloVe | 낮음 | - MIMIC-III, structured + unstructured 모두 검증 - *Patient-level data 미공유* — privacy 보호 - HIPAA deidentification (5000+ hours, $500k) 의 *비싼 대안* ## 방법론 노트 [[word2vec]] skip-gram loss: $$ \mathcal{L} = -\sum_{(w_c, w_o)} \log \sigma(v_{w_o}^\top v_{w_c}) - \sum_n \log \sigma(-v_{w_n}^\top v_{w_c}) $$ [[procrustes-analysis]] orthogonal alignment: 두 embedding $A, B \in \mathbb{R}^{N \times d}$ 에서 *anchor pair* (공통 events) 가 *대응 rows*. $$ R^* = \arg\min_{R: R^\top R = I} \|AR - B\|_F^2 = UV^\top, \quad \text{where } A^\top B = U\Sigma V^\top $$ $R^*$ 적용으로 $A$ 가 $B$ 의 공간으로 정렬. SVD 로 closed-form 해. 식별 가정: (i) Anchor pair 의 *충분한 수* + *의미 일관성*, (ii) Word2Vec 임베딩의 *orthogonal transformation 으로 정렬 가능* (linear isometry 가정), (iii) MIMIC-III 의 *다른 병원 모방* (실제로는 단일 source). ## 연구 계보 이 paper 는 (i) Mikolov et al. (2013) Word2Vec 본가, (ii) Schönemann (1966) Procrustes 정통, (iii) Choi et al. (2016) Med2Vec — medical Word2Vec — 의 결합. [[junghyelee]] 의 *연구 궤적* *전환점 1 (UCSD 포닥) 의 핵심*, *HarmoAE (2021) 의 직접 전신*. ## See also - [[junghyelee]] - [[yingxiang-huang]] - [[xiaoqian-jiang]] - [[word2vec]] - [[procrustes-analysis]] - [[contextual-embedding]] - [[harmonization]] - [[medical-ai]] - [[jmir-medical-informatics]] - [[junghye-lee-2018-privacy-patient-similarity]] - [[taek-ho-lee-2021-harmoae]]