---
type: paper
slug: suhyeon-kim-2020-w2v-lsa-blockchain
title: >-
  Word2vec-based latent semantic analysis (W2V-LSA) for topic modeling: A study
  on blockchain technology trend analysis
authors:
  - '[[suhyeon-kim]]'
  - '[[haecheong-park]]'
  - '[[junghyelee]]'
year: 2020
venue: '[[expert-systems-with-applications]]'
volume: '152'
pages: '113401'
doi: 10.1016/j.eswa.2020.113401
categories:
  - '[[text-mining-methods]]'
methods:
  - '[[word2vec]]'
  - '[[spherical-k-means]]'
  - '[[latent-semantic-analysis]]'
  - '[[topic-modeling]]'
  - '[[silhouette-measure]]'
  - '[[umass-coherence]]'
  - '[[npmi-coherence]]'
themes:
  - '[[topic-modeling]]'
  - '[[blockchain]]'
  - '[[technology-trend-analysis]]'
  - '[[industry-4-0]]'
  - '[[skip-gram]]'
  - '[[contextual-embedding]]'
aliases: []
last_updated: '2026-05-20T02:01:15+09:00'
---
# Word2vec-based latent semantic analysis (W2V-LSA) for topic modeling: A study on blockchain technology trend analysis

*[[suhyeon-kim]], [[haecheong-park]], [[junghyelee]] (2020)* · [[expert-systems-with-applications]] 152:113401 · [DOI ↗](https://doi.org/10.1016/j.eswa.2020.113401)

> *Word2vec-based Latent Semantic Analysis (W2V-LSA)* — [[word2vec]] (skip-gram) 의 *contextual embedding* + [[spherical-k-means]] 의 *cosine-similarity clustering* 결합 새 topic modeling 기법. 블록체인 논문 abstract 231 편 (6 DB: Scopus, ScienceDirect, WoS, IEEE Xplore, Google Scholar, KCI; 2014-2018.8) 의 *국가 (Korea, US, China, etc.) × 연도별 기술 트렌드* 분석. PLSA baseline 과 정량·정성 비교. 정량: UMass + NPMI topic coherence + Keyword Matching Score (KMS) 모두 *W2V-LSA > PLSA*. 정성: PLSA 가 "Service/Trade" 로 잘못 분류한 healthcare 논문을 W2V-LSA 가 "Healthcare" 로 정확 분류. 발견: Korea = *Fintech + Regulation* 집중, US = *Healthcare/Privacy + Cryptocurrency*, China = *Storage/Cloud → Transaction/Bitcoin → Healthcare*, etc. = *Real Estate* 등 다양. [[junghyelee]] 의 *2 기 UNIST 시기* 가장 많이 인용된 작업 중 하나 (150+ cite) — *기술경영* 도메인 본격 진입 + TEMEP 이동의 지적 준비.

- **RQ**: (1) 적은 documents (231 편) 환경에서 *기술 트렌드 분석* 에 PLSA 대비 더 정확한 topic model 은? (2) [[word2vec]] 의 *contextual embedding* 을 *topic modeling* 에 어떻게 활용? (3) 블록체인 기술 트렌드의 *국가별 + 시간별* 패턴은 무엇이며, [[industry-4-0]] 의 응용 영역 (cryptocurrency → healthcare/IoT) 변화는?
- **방법론**: **W2V-LSA** 4-step 알고리즘 — (i) Word2vec ([[skip-gram]], $m$=100 dim, window $\delta$=12) 로 단어 → vector $\mathbf{x}_i \in R^{100}$, (ii) [[spherical-k-means]] 로 word clustering ($k$ = silhouette-optimal), (iii) Document vector $\mathbf{l}_j$ = term-document matrix × word vectors, (iv) Document-topic assignment = cosine similarity (top-$t$=3 words). 평가: [[umass-coherence]] (Mimno et al 2011), [[npmi-coherence]] (Lau-Newman-Baldwin 2014), Keyword Matching Score (KMS) — 새 metric 제안. Baseline: PLSA (Hofmann 1999), BIC 의 topic 수 선택
- **데이터**: 6 DB (Scopus, ScienceDirect, Web of Science, IEEE Xplore, Google Scholar, Korean Citation Index) 의 *Blockchain · Block chain · Block-chain* keyword 검색, 2014-2018.8, conference 제외, *abstract char > 180*. 총 763 abstract → 231 abstract 사용. Preprocessing: number + basic verb 제외, stemming, lemmatization, "Blockchain" + "Technology" stopword, Zipf's Law 의 빈도 filter. 국가별 vocabulary: 60-100 unique words. *Top-3 국가* (Korea, US, China) = 총 논문의 69%
- **주요 발견**: (i) **PLSA topic 수**: Korea 7, US 9, China 6, etc. 9 (BIC 최소화). W2V-LSA topic 수 ([[silhouette-measure]] 최적): Korea 6, US 6, China 7, etc. 7. (ii) **국가별 트렌드** — *Korea*: Fintech (cryptocurrency) + Regulation dominant. *US*: Healthcare/Privacy + Bitcoin/Cryptocurrency. *China*: Healthcare/Privacy + Storage/Cloud. *etc.*: Real Estate (unique). (iii) **시간 변동** (W2V-LSA) — 2015 = Bitcoin/Cryptocurrency dominant (US). 2016 = Healthcare/Privacy + IoT 부상 (US, China). 2017-2018 = diverse application (energy, smart contract). (iv) **W2V-LSA > PLSA 정량 우위** — UMass + NPMI 둘 다 모든 $T$ ∈ [3, 14] 에서 W2V-LSA 높음, NPMI gap 최대는 $T$=3. KMS 도 top-4 미만 + top-12 이상에서 W2V-LSA 우위. (v) **W2V-LSA 정성 우위** — PLSA 의 *high-frequency word bias* (예: 한국 healthcare 논문 → "Service/Trade" 오분류); W2V-LSA 의 *cosine similarity* 가 low-frequency 의 정확 topic 식별 (→ "Healthcare")
- **시사점**: (a) ***Contextual embedding* + *spherical clustering* 의 시너지** — uni-gram bag-of-words 기반 PLSA 의 sparseness 문제를 word semantic vector 로 해결. n-gram 의 *curse of dimensionality* 회피. (b) **기술 트렌드 분석의 *data-driven* 도구화** — full-text review 없이 abstract 만으로 *country × time* 트렌드 추출. NTBF (new technology-based firms) + VC + crowdfunding 의 *blockchain investment direction* 의사결정 지원. (c) **확장성** — BERT, GloVe 등 *advanced embedding* 으로 W2V 대체 가능. Patent 분석, 고객 review, recommendation 등 다양한 text 응용. (d) Blockchain 의 *Blockchain 1.0 → 2.0 → 3.0* (currency → finance → application) 진화의 *정량 evidence*

![Fig. 3 의 W2V-LSA 4-step 파이프라인: Word2vec (skip-gram) → word vector $\mathbf{x}_i$ → spherical k-means clustering → topic clusters → document vector $\mathbf{l}_j$ (term-document matrix × word vectors) → cosine similarity 기반 topic assignment. Contextual embedding + cosine clustering 의 *harmonized* 결합.](/papers/202008_KimS_Word2vec_based_latent_semantic_analysis_W2V_LSA_for_topic_modeling_A_study_on_blockchain_technology_trend_analysis/fig1.png)

## 요약

이 paper 는 [[junghyelee]] 의 *2 기 UNIST 시기* (Department of Business Analytics, Graduate School of Interdisciplinary Management) 의 *방법론 + 기술경영 도메인* 결합 작업. [[suhyeon-kim]] (제 1 저자, *suhyeon-kim author page* 의 *W2V-LSA → LBC → RSAE-BA → TMF-GNN* 4 연속작 의 출발점) 의 *블록체인 trend* domain 관심과 [[junghyelee]] 의 *machine learning 방법론* (chemometrics 기반 multivariate calibration) 의 결합으로 *Industry 4.0 의 핵심 기술* 인 [[blockchain]] 트렌드 분석. 동기: (i) Lu (2019), Zheng et al (2017) 등의 *screening review* — 노동집약 + scope 제한. (ii) Dabbagh et al (2019), Miau-Yang (2018), Zeng-Ni (2018) 등의 *bibliometrics* — frequency 기반, 의미 부재. (iii) Hofmann (1999) PLSA / Blei et al (2003) LDA 의 *uni-gram representation* — 문맥 무시. *Mikolov et al (2013) Word2vec + Dhillon-Modha (2001) spherical k-means* 의 결합 가능성을 *처음 본격 활용*.

방법론은 4 단계 명료. **Step 1** — Skip-gram Word2vec 로 corpus 의 단어를 $m$-dim vector $\mathbf{x}_i \in R^{100}$ 로 임베딩 (window $\delta$=12). **Step 2** — Spherical k-means clustering 으로 word vector grouping. Cosine similarity 기반 objective:

$$
\min \sum_{i,q} \sigma_{iq} (1 - \cos(\mathbf{x}_i, \mathbf{p}_q))
$$

$k$ optimal 은 silhouette measure (Rousseeuw 1987). Cluster 의 *characteristic word* 들이 *topic* 정의. **Step 3** — Document vector $\mathbf{l}_j$ 생성: term-document matrix ($N \times D$) × word vectors. **Step 4** — Document-topic assignment: 각 cluster 의 top-$t$=3 word 와 $\mathbf{l}_j$ 의 cosine similarity 평균이 *final similarity*; 가장 높은 cluster 가 document topic. 평가는 **(i) Topic coherence** — UMass (Mimno et al 2011): 같은 document 안에서의 word co-occurrence; NPMI (Lau et al 2014): pointwise mutual information의 normalized version; 둘 다 $T$ ∈ [3, 14] 에서 W2V-LSA > PLSA. **(ii) Keyword Matching Score (KMS)** — 새 metric: document keyword 와 topic top-$T$ word 의 *exact match* 횟수. Weighted KMS 는 top-rank word 에 weight 부여. **(iii) Qualitative** — 두 case (한국 healthcare 논문, US cryptocurrency 논문) 에서 PLSA 의 *high-frequency bias* vs W2V-LSA 의 *semantic accuracy* 비교.

결과 — *국가별 차이의 명확한 식별*. **Korea** (Table 3): Fintech + Regulation + Economy + Virtual Currency 가 dominant — 한국의 *2017 cryptocurrency 규제 논쟁* 의 학술적 반영. **US**: Healthcare/Privacy + Bitcoin/Cryptocurrency + IoT/Smart Contract. **China**: Healthcare/Privacy + Smart Contract/Energy/Trade + Security/Signature. **etc.** (영국, 호주 등): Real Estate (unique) + Distributed Ledger + Healthcare/Privacy. *시간 변동* (Table 4): 2015 Bitcoin dominant → 2016 Healthcare/Privacy + IoT 부상 → 2017-2018 diverse application — *Blockchain 1.0 → 2.0 → 3.0* 진화 (Swan 2015 의 prediction) 의 정량 evidence. 한계: (i) 231 abstract 의 *small sample* — proof of concept, (ii) Word2vec hyperparameter ($m$, $\delta$, $k$, $t$) 의 *data-dependent* — a priori 선택 어려움, (iii) PLSA 외 LDA, BERT 등과 비교 부재, (iv) abstract-only — full-text 미사용. [[junghyelee]] author page 의 *제3기 TEMEP 이동의 지적 준비* — *기술경영 도메인* 본격 진입의 *intellectual seed*.

## 핵심 결과

**Topic 수 (BIC / Silhouette 최적)**

| 국가 | PLSA topic 수 | W2V-LSA topic 수 |
|---|---:|---:|
| Korea | 7 | 6 |
| US | 9 | 6 |
| China | 6 | 7 |
| etc. | 9 | 7 |

**Top topic by country (W2V-LSA, Table 3)**

| 국가 | Top topics | 특징 |
|---|---|---|
| Korea | Virtual Currency, Regulation, Economy, Fintech | *Financial sector* 집중 |
| US | Healthcare, Cloud, IoT, Cryptocurrency | *다양화* |
| China | Healthcare, Smart Contract, Energy, Trade | *Application 영역* |
| etc. | Real Estate, Distributed Ledger | *Unique topics* |

**정량 평가 (PLSA vs W2V-LSA)**

| Metric | 결과 |
|---|---|
| UMass coherence ($T$=3 to 14) | **W2V-LSA > PLSA** (모든 $T$) |
| NPMI coherence ($T$=3 to 14) | **W2V-LSA > PLSA** (모든 $T$; gap 최대 @ $T$=3) |
| Keyword Matching Score (top-4 미만, top-12 이상) | **W2V-LSA > PLSA** |
| Weighted KMS (top-5) | **W2V-LSA >> PLSA** (모든 $T$) |

> **정량 결론.** W2V-LSA 가 PLSA 대비 *모든 coherence + KMS 지표* 에서 우위. Word2vec 의 *contextual embedding* + spherical k-means 의 *cosine clustering* 이 적은 sample (231 docs) 환경에서 *sparse data 문제* 해결. Healthcare/Privacy 같은 *low-frequency* 의 정확한 topic 식별 — PLSA 의 frequency bias 극복.

## 방법론 노트

[[word2vec]] (Mikolov et al 2013) — Skip-gram: 중심 단어 → 주변 단어 예측, CBOW: 주변 단어 → 중심 단어 예측. 본 paper 는 *Skip-gram* 채택 (적은 데이터에 강건). Output: 단어 → $m$-dim vector $\mathbf{x}_i$, 비슷한 의미 단어는 비슷한 vector 위치.

[[spherical-k-means]] (Dhillon-Modha 2001) — Euclidean k-means 와 달리 *cosine similarity* 기반. *방향성 클러스터링*. Objective:

$$
\min \sum_{i,q} \sigma_{iq} (1 - \cos(\mathbf{x}_i, \mathbf{p}_q)) \quad \text{s.t.} \ \sigma_{iq} = \mathbb{1}[c(i) = q]
$$

여기서 $\mathbf{p}_q$ = cluster $q$ 의 centroid (unit norm), $\sigma_{iq}$ = $\mathbf{x}_i$ 의 cluster 할당 indicator.

**Document vector 생성** ($\mathbf{l}_j$): term-document matrix $T$ ($N \times D$) 와 word vectors $X$ ($N \times m$) 의 matrix multiplication:

$$
\mathbf{l}_j = \sum_{i=1}^{N} t_{ij} \cdot \mathbf{x}_i \in R^m
$$

여기서 $t_{ij}$ = document $j$ 의 word $i$ frequency.

**Document-topic similarity**: cluster $q$ 의 top-$t$=3 word 와 $\mathbf{l}_j$ 의 *cosine similarity 평균*:

$$
\text{sim}(j, q) = \frac{1}{t} \sum_{i \in \text{top-}t(q)} \cos(\mathbf{x}_i, \mathbf{l}_j)
$$

Document $j$ → $\arg\max_q \text{sim}(j, q)$ topic.

**Keyword Matching Score** (KMS, 본 paper 제안):

$$
\text{KMS} = \sum_{t=1}^{T} u_t, \quad \text{weighted KMS} = \frac{\sum_{t=1}^{T} w_t u_t}{\sum_{t=1}^{T} t}
$$

여기서 $u_t$ = top-$t$ word 중 document keyword 와 *exact match* 수, $w_t$ = top-rank weight.

식별은 (i) 231 abstract 의 cross-sectional + temporal variation, (ii) Word2vec 의 *semantic embedding* 가 PLSA 의 *frequency-only* 한계 극복, (iii) spherical (unit norm) cosine 가 *direction-based* clustering 으로 *magnitude bias* 제거, (iv) silhouette measure 의 데이터-주도 $k$ 선택. *Limitation*: hyperparameter 의 data-dependent + 작은 sample.

## 연구 계보

본 paper 의 *Word2vec* lineage: Mikolov-Chen-Corrado-Dean (2013a *Workshop at ICLR*, *Word2vec*), Mikolov-Yih-Zweig (2013b *NAACL-HLT*, *linguistic regularities*). *Spherical k-means*: Dhillon-Modha (2001 *Machine Learning*). *Topic modeling*: Hofmann (1999 *SIGIR*, PLSA), Blei-Ng-Jordan (2003 *JMLR*, LDA), Newman-Block (2006 *JASIST*, *PLSA superior over k-means/LSA*), Alghamdi-Alfalqi (2015 *IJACSA* survey). *Topic coherence*: Mimno-Wallach-Talley-Leenders-McCallum (2011 *EMNLP*, UMass), Lau-Newman-Baldwin (2014 *EACL*, NPMI), Aletras-Stevenson (2013), Li et al (2016). *Blockchain trend literature*: Nakamoto (2008, *Bitcoin*), Swan (2015) *Blockchain 1.0/2.0/3.0*, Zheng et al (2017), Yli-Huumo-Ko-Choi-Park-Smolander (2016 PLOS ONE, systematic mapping), Dabbagh-Sookhak-Safa (2019). *Word embedding 응용*: Asghari-Sierra-Sosa-Elmaghraby (2018), Van Hooland et al (2017), Zhang-Xu-Su-Xu (2015).

TEMEP 내 sibling: [[junghyelee]] 의 *3 기 TEMEP* 의 *기술경영 + 의료 AI* 라인의 *intellectual seed*. [[suhyeon-kim]] 의 4 연속작 (suhyeon-kim author page 의 *방법론 연속성*) 중 첫 번째 — 본 paper (W2V-LSA topic modeling 2020) → [[suhyeon-kim-2021-lbc-data-mining]] (LBC 항만 물류 data mining 2021) → [[suhyeon-kim-2022-rsae-biological-age]] (RSAE-BA 생물학적 나이 2022) → [[suhyeon-kim-2025-tmf-gnn]] (TMF-GNN 시계열 결측 2025). 방법론 진화: text embedding → multistage segmentation → autoencoder embedding → graph neural network. [[joong-min-lee-2022-tod-knowledge-graph]] (TOD knowledge graph) 와 함께 [[junghyelee]] 의 *기술경영 + 정량 방법론* 라인의 anchor.

## See also

- [[word2vec]]
- [[spherical-k-means]]
- [[latent-semantic-analysis]]
- [[topic-modeling]]
- [[skip-gram]]
- [[blockchain]]
- [[technology-trend-analysis]]
- [[industry-4-0]]
- [[silhouette-measure]]
- [[umass-coherence]]
- [[npmi-coherence]]
- [[junghyelee]]
- [[suhyeon-kim]]
- [[haecheong-park]]
- [[suhyeon-kim-2021-lbc-data-mining]]
- [[suhyeon-kim-2022-rsae-biological-age]]
- [[suhyeon-kim-2025-tmf-gnn]]
- [[expert-systems-with-applications]]