Jun-Hyun Bae, Wonyong Jo, Jaehyup Lee, Heechul Jung
Kyungpook National University
Presentation
Abstract
Text-to-image diffusion models utilize cross-attention to integrate textual information into the visual latent space, yet the transformation from text embeddings to latent features remains largely unexplored. We provide a mechanistic analysis of the output-value (OV) circuits within cross-attention layers through spectral analysis via singular value decomposition. Our analysis demonstrates that semantic concepts are encoded in low-dimensional subspaces spanned by singular vectors in OV circuits across cross-attention heads. To verify this, we intervene on concept-related components in the diffusion process, demonstrating that intervention on identified spectral components affects conceptual changes. We further validate these findings by examining visual outputs of isolated subspaces and their alignment with text embedding space. Through this mechanistic understanding, we demonstrate that simply nullifying these spectral components can achieve targeted concept removal with performance comparable to existing methods while providing interpretability. Our work reveals how cross-attention layers encode semantic concepts in spectral subspaces of OV circuits, providing mechanistic insights and enabling precise concept manipulation without retraining.
Overview
Stable Diffusion์ cross-attention์์ Van Gogh, Monet, Picasso๋ ๊ฐ์ head๋ฅผ ๊ณต์ ํ๋ฉด์๋ ์๋ก ๋ค๋ฅธ singular vector์ ๋์ ๊ธฐ์ฌ๋๋ฅผ ๋ณด์๋ค. ์ด ๋ ผ๋ฌธ์ head ๋ด๋ถ์ OV ๋ณํ์ ๋ถํดํด ์ด๋ฐ ๊ฐ๋ ๋ณ ์ฐจ์ด๋ฅผ ๋ถ์ํ๋ค.
OV ํ๋ ฌ์ SVD๋ก ๋ถํดํ๊ณ , โa mountainโ๊ณผ โa mountain in Van Gogh styleโ์ฒ๋ผ ๊ฐ๋ ์ ๋ฌด๋ง ๋ค๋ฅธ prompt ์์ ๋น๊ตํ๋ค. ๋ prompt ์ฌ์ด์์ ๋ฐ์์ด ํฌ๊ฒ ๋ฌ๋ผ์ง๋ ์ฑ๋ถ์ ๊ณจ๋ผ ์ค์ด๊ฑฐ๋ ์ฆํญํ๋ฉด, ์์ฑ ์ด๋ฏธ์ง์ ํํ๋ ๋ฌ๋ผ์ง๋ค. ํํ ๊ด๋ จ OV ์ฑ๋ถ๋ง ๋จ๊ธฐ๋ ์คํ์์๋ ์ฅ๋ฉด์ ์ธ๋ถ ๋ด์ฉ์ด ์ฌ๋ผ์ง ๋ค์๋ ๋ถ์ง๊ณผ ํํ๊ฐ ๋จ์๋ค. Nudity ๊ด๋ จ ์ฑ๋ถ์ ์ ๊ฑฐํ๋ ๋ฐ๋ ๊ฐ์ ๋ถ์์ ์ ์ฉํ๋ค.

๊ฐ๋ ๋ณ spectral isolation. ๊ฐ ๊ฐ๋ ๋ง๋ค ์์ค์ ๊ฐ๋ ๊ด๋ จ component๋ฅผ ์ ๊ฑฐํ ๊ฒฐ๊ณผ, ์๋ซ์ค์ ๊ทธ component๋ง ๋จ๊ธด ๊ฒฐ๊ณผ๋ค(์์ k%). ์คํ์ผ ๊ฐ๋ (Van Gogh, Picasso)์ ์ฅ๋ฉด ๋ด์ฉ๊ณผ ๋ถ๋ฆฌ๋ ๋ถ์งยท์ ์ฒดํ ํํ ๊ฐ์ ์คํ์ผ ํจํด๋ง ๋จ๋ ๋ฐ๋ฉด, ์ฝํ ์ธ ๊ฐ๋ (nudity)์ ์ธ์ฒด ํํ๋ฅผ ํต์งธ๋ก ์ฌ๊ตฌ์ฑํ๋ holisticํ ํํ์ ๋ณด์ธ๋ค. ์ด๋ ๋ชจ๋ธ์ด ๊ฐ๋ ์ ํ์ ๋ฐ๋ผ ์ง์ ์ผ๋ก ๋ค๋ฅธ ์ธ์ฝ๋ฉ ๋ฐฉ์์ ์ฌ์ฉํจ์ ์์ฌํ๋ค.
Method
Cross-attention์ด residual stream์ ๋ํ๋ ์ถ๋ ฅ์ ๋ ํ๋ก๋ก ๋ถํด๋๋ค. QK circuit์ attention ๊ฐ์ค์น๋ฅผ ๊ณ์ฐํด ๊ฐ ์์น๊ฐ ์ด๋ค ํ ์คํธ ํ ํฐ์ ์ฐธ์กฐํ ์ง ์ ํ๊ณ , OV circuit \(\mathbf{W}_{\text{OV}} = \mathbf{W}_{\text{V}}\mathbf{W}_{\text{O}}\)๋ ์ฐธ์กฐํ ํ ํฐ์ ์๋ฏธ๋ฅผ ์ด๋ค ์๊ฐ ํน์ง์ผ๋ก ๋ฐ๊ฟ์ง ์ ํ๋ค. Attention ํจํด์ denoising ๊ณผ์ ์์ ๊ณ์ ๋ฐ๋์ง๋ง OV ๋ณํ์ ๊ณ ์ ๋ ์ ํ ์ฌ์์ด์ด์, ํ ์คํธ๊ฐ ์๊ฐ ํน์ง์ผ๋ก ๋ฒ์ญ๋๋ ๊ณผ์ ์ ์ ์ ์ผ๋ก ๋ถ์ํ๊ธฐ์ ์ ํฉํ๋ค.
Text embedding์ ์๋ฏธ ์ ๋ณด๋ฅผ ๊ณ ์ ํ ์ถ(semantic axes)์ ๋ฐ๋ผ ์กฐ์งํ๋ค๊ณ ์๋ ค์ ธ ์๋ค. ๋ฐ๋ผ์ ์ด ๊ณต๊ฐ์ ์๊ฐ ํน์ง์ผ๋ก ์ ํ ๋ณํํ๋ \(\mathbf{W}_{\text{OV}}\) ์ญ์ ๊ทธ ์ถ์ ์ ๋ ฌ๋ subspace๋ฅผ ํ์ตํ์ ๊ฒ์ด๋ผ๋ ๊ฐ์ค์์ ์ถ๋ฐํ๋ค. ๊ฐ head \(h\)์ OV ํ๋ ฌ์ SVD๋ก ๋ถํดํ๋ฉด ๋ค์๊ณผ ๊ฐ๋ค.
\[\mathbf{W}_{\text{OV}}^{(h)} = \sum_{i=1}^{r} \sigma_i^{(h)} \mathbf{u}_i^{(h)} (\mathbf{v}_i^{(h)})^\top\]๊ฐ rank-1 ์ฑ๋ถ(spectral component)์ text embedding ๊ณต๊ฐ์ ๋ฐฉํฅ \(\mathbf{u}_i\)๋ฅผ head ์ถ๋ ฅ ๊ณต๊ฐ์ ๋ฐฉํฅ \(\mathbf{v}_i\)๋ก ์ธ๊ธฐ \(\sigma_i\)๋งํผ ์ฎ๊ธฐ๋, ๋ ๋ฆฝ๋ text-to-visual ๋ณํ ๊ฒฝ๋ก๋ค. โVan Gogh ์คํ์ผโ์ด๋ โnudityโ ๊ฐ์ ์๋ฏธ ๊ฐ๋ ์ ์ ์ฒด spectrum ์ค ์์์ component์ ์ง์ค๋์ด ์๋ค.
๊ฐ๋ ๊ธฐ์ฌ๋ ์ธก์
๊ฐ๋ ์ด ์ด๋์ ์ธ์ฝ๋ฉ๋๋์ง ์ฐพ๊ธฐ ์ํด, ๊ฐ๋ ์ ๋ฌด๋ง ๋ค๋ฅธ prompt ์(์: โa mountainโ๊ณผ โa mountain in Van Gogh styleโ)์ ๋น๊ตํ๋ค. ๊ฐ prompt์ token embedding์ ํ๊ท ํ \(\bar{\mathbf{c}}\)๋ฅผ head \(h\)์ singular vector์ ํฌ์ํ๊ณ singular value๋ฅผ ๊ณฑํด \(\mathbf{s}^{(h)}(\bar{\mathbf{c}}) = \bar{\mathbf{c}}\,\mathbf{U}^{(h)}\mathbf{\Sigma}^{(h)}\)๋ฅผ ์ป๋๋ค. ๋ prompt ์ฌ์ด์์ ์ด ๊ฐ์ด ํฌ๊ฒ ๋ฌ๋ผ์ง๋ ์ฑ๋ถ์ ๊ฐ๋ ์ ๋ง์ด ๊ธฐ์ฌํ๋ ํ๋ณด๋ก ๋ณธ๋ค. ์ค์ ์์น๋ณ head ์ถ๋ ฅ์๋ ํ ํฐ๋ณ attention ๊ฐ์ค์น๋ ๋ฐ์๋๋ฏ๋ก, ์ด ํ๊ท ์๋ฒ ๋ฉ ๊ธฐ๋ฐ ์ ์๋ ๊ฐ๋ ์ฑ๋ถ์ ์ฐพ๊ธฐ ์ํ ์ธก์ ๊ฐ์ด๋ค.
\[\Delta\mathbf{s}^{(h)} = \mathbf{s}^{(h)}(\bar{\mathbf{c}}_{\text{concept}}) - \mathbf{s}^{(h)}(\bar{\mathbf{c}}_{\text{base}}), \qquad [\Delta\mathbf{s}^{(h)}]_i = \sigma_i^{(h)} \langle \bar{\mathbf{c}}_{\text{concept}} - \bar{\mathbf{c}}_{\text{base}},\, \mathbf{u}_i^{(h)} \rangle\]๋ฒกํฐ ์ ์ฒด์ ํฌ๊ธฐ \(\|\Delta\mathbf{s}^{(h)}\|_2\)๋ head์ ๊ฐ๋ ๊ธฐ์ฌ๋์ด๊ณ , ๊ฐ ์์์ ํฌ๊ธฐ \(|[\Delta\mathbf{s}^{(h)}]_i|\)๋ ๊ฐ๋ณ spectral component์ ๊ธฐ์ฌ๋๋ค.
๋จผ์ head ๋จ์๋ก ๋ณด๋ฉด, ๊ฐ๋ ๊ธฐ์ฌ๋๊ฐ ๊ฐ์ฅ ๋์ ์์ 20๊ฐ head(SD v2.1 ์ ์ฒด 195๊ฐ ์ค ์ฝ 10%)์ ์ถ๋ ฅ๋ง ์ค์ผ์ผ๋งํด๋ ๊ฐ๋ ์ ๊ฐ๋๊ฐ ์กฐ์ ๋๋ค.

"Van Gogh" ๊ฐ๋ ๊ธฐ์ฌ๋ ์์ 20๊ฐ head(์ ์ฒด 195๊ฐ ์ค ์ฝ 10%)์ ์ถ๋ ฅ์ $\alpha$๋ฐฐ๋ก ์ค์ผ์ผ๋งํ ๊ฒฐ๊ณผ.
Head์์ subspace๋ก
Head ๋จ์ ๋ถ์์ ์ด๋ค head๊ฐ ๊ฐ๋ ์ ๊ธฐ์ฌํ๋์ง๋ ์๋ ค์ฃผ์ง๋ง, ๊ฐ๋ ์ด head ์์์ ์ด๋ป๊ฒ ์กฐ์ง๋๋์ง๋ ๋ณด์ฌ์ฃผ์ง ์๋๋ค. ์ ๊ฒฝ๋ง์ ํ ๊ตฌ์ฑ ์์๊ฐ ์ฌ๋ฌ ํน์ง์ ํจ๊ป ์ธ์ฝ๋ฉํ๋ polysemanticity๋ฅผ ๊ณ ๋ คํ๋ฉด, ๊ฐ๋ ์ด head ์ ์ฒด๋ฅผ ์ฐ๋์ง ์๋๋ฉด head ์์ ํน์ spectral component์ ๊ตญํ๋๋์ง๊ฐ ์ง๋ฌธ์ด ๋๋ค. ์ด๋ฅผ ๋ณด๊ธฐ ์ํด ๋ชจ๋ head์ ๋ชจ๋ component๋ฅผ ๊ธฐ์ฌ๋ \(|[\Delta\mathbf{s}^{(h)}]_i|\)๋ก ์ ๋ ฌํ๊ณ , ์์ \(k\)%๋ฅผ ๊ทธ ๊ฐ๋ ์ spectral signature \(\mathcal{S}_c\)๋ก ์ผ์ ์ด component๋ง ์ค์ผ์ผ๋งํ๋ค.
\[\widetilde{\mathbf{W}}_{\text{OV}}^{(h)} = \mathbf{W}_{\text{OV}}^{(h)} + (\alpha - 1) \sum_{i:\,(h,i) \in \mathcal{S}_c} \sigma_i^{(h)} \mathbf{u}_i^{(h)} (\mathbf{v}_i^{(h)})^\top\]\(\alpha = 0\)์ด๋ฉด ์ ํํ component๋ฅผ ์ง์ฐ๊ณ (Spectral Nullification), \(\alpha = 1\)์ด๋ฉด ์๋ ๋ชจ๋ธ ๊ทธ๋๋ก์ด๋ฉฐ, \(\alpha > 1\)์ด๋ฉด ํด๋น component์ ๊ธฐ์ฌ๋ฅผ ํค์ด๋ค. SD v2.1์ ์ ์ฑ ์คํ์์๋ ๊ฐ๋ ๊ธฐ์ฌ๋ ์์ 15โ20%๋ฅผ ์ ๊ฑฐํ์ ๋ ๋ชฉํ ๊ฐ๋ ์ด ์ต์ ๋๋ ์์๋ฅผ ํ์ธํ๋ค. ๋ฐ๋ฉด 30% ์ด์ ์ ๊ฑฐํ๋ฉด ์ ๋ฐ์ ์ธ ์์ฑ ํ์ง๋ ๋จ์ด์ง ์ ์์๋ค.
์๋ ๊ทธ๋ฆผ์ ๊ธฐ์ฌ๋๊ฐ ๋์ head ์ ์ฒด๋ฅผ ์กฐ์ ํ๋ ๊ฒฝ์ฐ์, head ๋ด๋ถ์ spectral component๋ฅผ ๊ณจ๋ผ ์กฐ์ ํ๋ ๊ฒฝ์ฐ๋ฅผ ๋น๊ตํ๋ค. ๊ฐ๊ฐ ์ ์ฒด head์ 10%์ ์ ์ฒด component์ 10%๋ฅผ ์ ํํ๋ฏ๋ก, ๋ โ10%โ์ ๊ธฐ์ค์ ๋ค๋ฅด๋ค. ์ด ๋น๊ต๋ head ๋ด๋ถ๋ฅผ ๋ ์ธ๋ฐํ๊ฒ ๋๋์์ ๋ ๊ฐ๋ ์ ์กฐ์ ํ๋ ๋ฐฉ์์ด ์ด๋ป๊ฒ ๋ฌ๋ผ์ง๋์ง ๋ณด์ฌ์ค๋ค.

Spectral modulation(์, ์ ์ฒด component ์ค ๊ฐ๋ ๊ธฐ์ฌ๋ ์์ 10%)๊ณผ head-level modulation(์๋, ๊ธฐ์ฌ๋ ์์ 10% head)์ ฮฑ๋ฅผ ๋ฐ๊ฟ ๊ฐ๋ฉฐ ๋น๊ตํ ๊ฒฐ๊ณผ.
์๋ ๊ทธ๋ฆผ์ Van Gogh, Monet, Picasso ์ธ ๊ฐ๋ ๋ชจ๋์์ ๊ธฐ์ฌ๋๊ฐ ๋์ head๋ค์ ๊ณจ๋ผ, head ์์ singular vector๋ณ ๊ธฐ์ฌ๋๋ฅผ ๋ํ๋ธ ๊ฒ์ด๋ค. ๊ฐ์ head ์์์๋ ์ธ ๊ฐ๋ ์ ์๋ก ๋ค๋ฅธ singular vector๋ฅผ ํ์ฑํํ๋ฉฐ, ๋์ ๊ธฐ์ฌ๋ฅผ ํ๋ singular vector๊ฐ ๋ฐ๋์ singular value๊ฐ ํฐ ๊ฒ(๋ฎ์ ์ธ๋ฑ์ค)์ ์๋๋ค. ์ฆ ๊ฐ๋ ๋ค์ head๋ฅผ ๊ณต์ ํ๋ฉด์๋, ๋ถ๋ถ์ ์ผ๋ก ๊ฒน์น์ง๋ง ๊ตฌ๋ณ๋๋ ๊ณ ์ ํ ํ์ฑํ ํจํด์ ๊ฐ์ง๋ค.

์ธ ํํ ๊ฐ๋ ์์ ๊ณตํต์ผ๋ก ๊ธฐ์ฌ๋๊ฐ ๋์ head๋ค์ singular vector๋ณ ๊ธฐ์ฌ๋. ๊ฐ์ head ์์์๋ ๊ฐ๋ ๋ง๋ค ์๋ก ๋ค๋ฅธ singular vector๊ฐ ํ์ฑํ๋๋ค.
Results
Concept Removal Benchmark
Spectral Nullification(SN)์ nudity ๊ฐ๋ ์ ๊ฑฐ ์ฑ๋ฅ์ SD v1.4์์ 5๊ฐ adversarial prompt ๋ฒค์น๋งํฌ๋ก ํ๊ฐํ๋ค. ๋ฒค์น๋งํฌ๋ Ring-A-Bell(K16, K38, K77)๊ณผ I2PยทMMAยทP4DยทUnLearnDiffAtk์ด๊ณ , SN์ ์์ ๊ด์ฐฐ์ ๋ฐ๋ผ ๊ฐ๋ ๊ด๋ จ spectral component ์์ 20%๋ฅผ ์ ๊ฑฐํ๋ค. ํ๊ฐ ์งํ๋ NudeNet์ผ๋ก ์ธก์ ํ Attack Success Rate(ASR, ๋ฎ์์๋ก ์ข์)์ด๋ค.
Nudity ๊ด๋ จ ์ฝํ ์ธ ์ ๋ํ adversarial benchmark๋ณ Attack Success Rate (%, โ). ์ด๋ณ ์ต์ ๊ฐ์ bold, 2์๋ underline. ๋ฐฉ๋ฒ ์ ํ์ ๋ฐฐ๊ฒฝ์์ผ๋ก ๊ตฌ๋ถํ๋ค โ ํ์: training-based, ํ๋: closed-form, ์ด๋ก: inference-time, ์งํ ํ๋: spectral.
| Method | Ring-A-Bell | I2P | MMA | P4D | UnLearn | ||
|---|---|---|---|---|---|---|---|
| K16 | K38 | K77 | |||||
| SD v1.4 | 97.89 | 94.74 | 87.37 | 25.03 | 68.10 | 69.76 | 50.70 |
| ESD | 76.84 | 78.95 | 74.74 | 13.04 | 24.80 | 50.24 | 26.06 |
| CA | 88.42 | 88.42 | 84.21 | 19.30 | 58.50 | 63.41 | 44.37 |
| MACE | 89.47 | 95.79 | 93.68 | 25.56 | 66.00 | 68.29 | 50.70 |
| SDID | 95.79 | 91.58 | 84.21 | 23.12 | 62.00 | 66.83 | 48.59 |
| UCE | 22.11 | 18.95 | 21.05 | 8.06 | 41.00 | 38.05 | 21.13 |
| RECE | 10.53 | 9.47 | 7.37 | 4.24 | 25.00 | 21.46 | 9.15 |
| SLD-Medium | 68.42 | 60.00 | 50.53 | 8.38 | 48.70 | 43.90 | 23.94 |
| SLD-Strong | 18.95 | 10.53 | 6.32 | 2.33 | 7.70 | 11.71 | 7.04 |
| SAFREE | 65.26 | 55.79 | 45.26 | 6.26 | 29.90 | 38.54 | 14.79 |
| SN (Ours) | 41.05 | 35.79 | 30.53 | 4.24 | 17.60 | 18.54 | 8.45 |
SN์ I2P์์ RECE์ ๊ณต๋ 2์(4.24%), MMAยทP4DยทUnLearnDiffAtk์์ ๊ฐ๊ฐ 2์๋ฅผ ๊ธฐ๋กํ๋ค. ํ์ ํฌํจ๋ training-based ๋ฐฉ๋ฒ(ESD, CA, MACE, SDID)๋ณด๋ค ๋ชจ๋ ๋ฒค์น๋งํฌ์์ ASR์ด ๋ฎ์ง๋ง, Ring-A-Bell์์๋ UCEยทRECEยทSLD-Strong๋ณด๋ค ๋๋ค. ๋ฐ๋ผ์ ์ฑ๋ฅ์ ๊ณต๊ฒฉ ํ๋กฌํํธ์ ๊ตฌ์ฑ์ ๋ฐ๋ผ ๋ฌ๋ผ์ง๋ค.
SN์ ์์ ๋ถ์ํ ๊ฐ๋ ๋ณ ์ฑ๋ถ์ OV ํ๋ ฌ์์ ์ ๊ฑฐํ๋ฉฐ, ์ถ๊ฐ ํ์ต์ ํ์ง ์๋๋ค. ์ ๊ฑฐ ์ฑ๋ฅ๊ณผ ํ ์คํธโ์ด๋ฏธ์ง ์ผ์น๋์ ๊ด๊ณ๋ COCO ์บก์ 1,000๊ฐ์ ๋ํ CLIP score๋ก ํ๊ฐํ๋ค. CLIP score๋ ์๋ฏธ์ ์ผ์น๋๋ฅผ ์ธก์ ํ๋ฏ๋ก ์๊ฐ์ ํ์ง์ ๋ชจ๋ ์ธก๋ฉด์ ํฌํจํ์ง๋ ์๋๋ค.

Concept removal ์ฑ๋ฅ(P4D ASR)๊ณผ ํ ์คํธโ์ด๋ฏธ์ง ์ผ์น๋(CLIP score)์ ๊ด๊ณ. SN์ ์ฌํ์ต ์์ด ๊ฒฝ์๋ ฅ ์๋ ๊ท ํ์ ๋ณด์ธ๋ค. SLD-Strong์ ASR์ด ๊ฐ์ฅ ๋ฎ์ง๋ง CLIP score๋ ๋ฎ์์ง๋ค.
Spectral Subspace์ ์๋ฏธ ๊ฒ์ฆ
์๋ณ๋ spectral subspace๊ฐ ์ค์ ๋ก ํด๋น ๊ฐ๋ ์ ์๋ฏธ๋ฅผ ํฌ์ฐฉํ๊ณ ์๋์ง๋ฅผ ๋ ๊ฐ์ง ๋ฐฉ์์ผ๋ก ๊ฒ์ฆํ๋ค.
ํ ์คํธ ๊ณต๊ฐ ์ ๋ ฌ: ๊ฐ๋ prompt์ base prompt์ text embedding ์ฐจ์ด ๋ฒกํฐ๋ฅผ concept-specific spectral component์ ์ ๋ ฅ ๋ฐฉํฅ์ผ๋ก ์ฌ๊ตฌ์ฑํ ๋ค, CLIP ์ดํ 49,408๊ฐ ํ ํฐ ์ ์ฒด์์ cosine similarity๋ฅผ ๊ณ์ฐํ๋ค. Nudity ๊ฐ๋ ์ ๊ธฐ์ฌ๋ ์์ 2๊ฐ head๋ฅผ ๋ณด๋ฉด, ํ head์์๋ โnudesโ, โnsfwโ, โnakedโ๊ฐ, ๋ค๋ฅธ head์์๋ โtoplessโ, โlingerieโ, โeroticaโ, โnudeโ๊ฐ ์ ์ฌ๋ ์์ 16๊ฐ์ ํฌํจ๋๋ค. Head๋ง๋ค ๋ชฉ๋ก์ ๋ค๋ฅด์ง๋ง ๋ชจ๋ ๊ฐ๋ ๊ณผ ๊ด๋ จ๋ ํ ํฐ์ด ๋ํ๋๋ค. ๋์์ ๋ฌด๊ดํ ํ ํฐ๋ ์์ฌ ์์ด, ๊ฐ๋ ์ด ์์ ํ ๋ถ๋ฆฌ๋์ด ์์ง๋ ์์์ ๋ณด์ฌ์ค๋ค.

Nudity ๊ด๋ จ spectral component๋ก ์ฌ๊ตฌ์ฑํ ๋ฒกํฐ์ cosine similarity๊ฐ ๊ฐ์ฅ ๋์ 16๊ฐ ํ ํฐ(๊ธฐ์ฌ๋ ์์ 2๊ฐ head). ์์ ํ์๋ ํ ํฐ์ด nudity์ ์ง์ ๊ด๋ จ๋ ํ ํฐ์ด๋ค.
๊ฐ์ ์ ํ์ ํํ(t-SNE)๊ณผ ๊ฐ๋ ๊ฐ ๊ฒน์นจ(Jaccard): ๊ฐ๋ ๊ด๋ จ component๋ฅผ ์ ๊ฑฐํ๋ฉด, head output์ t-SNE์์ base/concept prompt ํด๋ฌ์คํฐ๊ฐ ๋ ๋ง์ด ๊ฒน์น๋ค. ์ด ์๊ฐํ๋ ์์ ์ฑ๋ถ์ ์ง์ ์กฐ์ ํ์ ๋ ์์ฑ ๊ฒฐ๊ณผ๊ฐ ๋ฌ๋ผ์ง ์คํ์ ๋ณด์ํ๋ค. t-SNE๋ง์ผ๋ก ์ธ๊ณผ๊ด๊ณ๋ฅผ ์ ์ฆํ๋ ๊ฒ์ ์๋๋ค. Jaccard similarity์์๋ Van Gogh์ Monet์ฒ๋ผ ์ ์ฌํ ๊ฐ๋ ๋ค์ด ์ฑ๋ถ์ ๋ ๋ง์ด ๊ณต์ ํ๋ฉด์๋ ์๋ก ๊ตฌ๋ณ๋๋ spectral signature๋ฅผ ๊ฐ๋ ๋ชจ์ต์ ํ์ธํ๋ค.

(a) ๊ฐ๋ ๊ธฐ์ฌ๋ ์์ 10% component ์ ๊ฑฐ ์ ํ์ head output t-SNE. ์ ๊ฑฐ ํ base/concept ํด๋ฌ์คํฐ์ ๊ฒน์นจ์ด ๋์ด๋๋ค. (b) ๊ฐ๋ ๊ฐ Jaccard similarity. ์ ์ฌํ ๊ฐ๋ ๋ผ๋ฆฌ ๊ฒน์น์ง๋ง, ์๋ก ๊ตฌ๋ณ๋๋ signature๋ฅผ ๋ณด์ธ๋ค.
Qualitative
์๋ I2P adversarial prompt ์์์์๋ SN์ด ์ฅ๋ฉด ๊ตฌ์ฑ์ ์ ์งํ๋ฉด์ ๋ชฉํ ์ฝํ ์ธ ๋ฅผ ์ต์ ํ๋ ๋ชจ์ต์ ๋ณผ ์ ์๋ค. ์ ๋ ํ์์ ๋ณด์๋ฏ ๋ชจ๋ ํ๋กฌํํธ์์ ์ ๊ฑฐ๊ฐ ์ฑ๊ณตํ๋ ๊ฒ์ ์๋๋ค.

I2P adversarial prompt์ ๋ํ ์์ฑ ๊ฒฐ๊ณผ ๋น๊ต. ์ผ์ชฝ๋ถํฐ SD v1.4(์๋ณธ), CA, RECE, SLD-Medium, SLD-Strong, SAFREE, SN(Ours).