Spaces:
Runtime error
Runtime error
File size: 2,585 Bytes
59e5930 |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 |
### ๊ธฐ์ ์ค๋ช
๋ฌธ์์์ฝ(text summarization)์ ์์ฐ์ด์ฒ๋ฆฌ(natural language processings) ๋ถ์ผ์ ์๋นํ ์ฌ๋ฏธ์๋ ๊ณผ์ ์ค ํ๊ฐ์ง,
๊ทธ๋ฆฌ๊ณ ์ผ์์ํ์๋ ์๋นํ ์ ์ฉํ๋ฐ๋ ๋ถ๊ตฌํ๊ณ
ํ๊ตญ์ด ๋ฌธ์์์ฝ์ ํ๋ ํ๋ก์ ํธ๋ฅผ ์ฝ๊ฒ ์ฐพ์ง ๋ชปํด ์ฌ๊ธฐ์ ๊ฐ๋จํ๊ฒ ์๋ํด๋ดค์ต๋๋ค.
๊ธฐ๋ณธ ๊ฐ๋
์ ๋ฌธ์์์ ๊ฐ์ฅ ์ค์ํ N๊ฐ์ ๋ฌธ์ฅ์ ์ ํํด์ ๊ฐ์๋ฅผ ์์ฑํ๋ ์ถ์ถ์ ์์ฝ(extractive summarization)์ธ๋ฐ์
๋ฌธ์ฅ์ ์ ํํ๋ ๊ธฐ์ค์ ๋ฐ๋ผ ๋ค์ํ ๊ธฐ๋ฒ์ด ์์ฃ .
ํํ ์ฌ์ฉํ๋ TextRank ์๊ณ ๋ฆฌ์ฆ์ ๋ฌธ์ฅ ์ฌ์ด์ ์ํธ๊ด๊ณ๋ฅผ ํตํด ๊ทธ์ค ๊ฐ์ฅ ํต์ฌ์ ์ธ ๋ฌธ์ฅ์ ์ฐพ๋ graph-based ๊ธฐ๋ฒ์
๋๋ค.
์ด ํ๋ก์ ํธ๋ ๋ฌธ์ฅ์๋ฒ ๋ฉ(sentence embedding)์ ํตํด ๋ฌธ์ฅ์ ์๋ฏธ๋ฅผ ๋ฒกํฐ๋ก ๋ํ๋ด๊ณ ,
ํด๋ฌ์คํฐ๋ง(clustering)์ผ๋ก ๋น์ทํ ์๋ฏธ๋ฅผ ๊ฐ์ง๊ณ ์๋ ๋ฌธ์ฅ์ ์ฐพ์,
์ฌ๋ฌ ํด๋ฌ์คํฐ ์ค์์ ๊ฐ๊ฐ 1๊ฐ์ ํต์ฌ ๋ฌธ์ฅ์ ์ ํํด์ ๊ฐ์๋ฅผ ๋ง๋๋ ๊ธฐ๋ฒ์ ์ฌ์ฉํฉ๋๋ค.
๋ฌธ์ฅ์๋ฒ ๋ฉ์ ์ฐพ๋๋ฐ์ [Sentence-BERT](https://www.sbert.net/)๋ผ๋ ๋ชจ๋ธ๋ก ์๋ํ์๋๋ฐ์ ๊ธฐ์กด ๋ชจ๋ธ์ BERT ๊ธฐ๋ฐ์ด๋ผ์
ํ๊ตญ์ด ๋ฌธ์์์ฝ ์ฑ๋ฅ์ด ์ข์ง ์์์ต๋๋ค.
๊ทธ๋์ ํ๊ตญ์ด ์๋ฒ ๋ฉ์ ํธ๋ ์ด๋์ด๋ [KoBERT](https://github.com/SKTBrain/KoBERT)๋ฅผ ๋ท๋ฐ์นจ์ผ๋ก Sentence-BERT ๋ชจ๋ธ์ ์ฌ์ฉํฉ๋๋ค.
๋ฌธ์ฅ์๋ฒ ๋ฉ์ ๊ตฌํ๊ณ ๊ฐ์๋ฅผ ์์ฑํ๋ ๊ณผ์ ์์ ํ์ด์ฌ [Summarizer](https://github.com/dmmiller612/bert-extractive-summarizer) ํจํค์ง๋ฅผ ์ฌ์ฉํ๊ณ
๋ฌธ์ฅ๊ฒฝ๊ณ์๋ณ(sentence boundary detection) ๋ฑ ์ ์ฒ๋ฆฌ ๋ฐ ํ์ฒ๋ฆฌ๋ฅผ ์ํด [Spacy](https://spacy.io/) ๋ผ์ด๋ฒ๋ฆฌ๋ฅผ ํ์ฉํ์ต๋๋ค.
๋ค์ด๋ฒ ๋ด์ค ๊ธฐ์ฌ ๋งํฌ๋ฅผ ์
๋ ฅํ๋ ๊ฒฝ์ฐ [BeautifulSoup](https://beautiful-soup-4.readthedocs.io/en/latest/)๋ก ๋จผ์ ํด๋น ํ์ด์ง์์ ๊ธฐ์ฌ๋ณธ๋ฌธ์ ์ถ์ถํ ํ ๊ฐ์๋ฅผ ์์ฑํฉ๋๋ค.
ํ๋ก์ ํธ์ ์์ผ๋ก ๊ฐ์ ํด์ผ ํ ์ ์ด ์์ง ๋ง์ต๋๋ค.
๋ง์กฑ์ค๋ฌ์ด ํ๊ธ ๋ฌธ์ ์์ฝ ๋ฐ์ดํฐ์
์ด ์์ด fine-tuning ํ์ต์ด ๋ถ๊ฐ๋ฅํ๊ณ
์ข
์ข
๊ธ์ ๊ฐ์ฅ ํต์ฌ์ ์ธ ๋ฌธ์ฅ์ด ๊ฐ์์์ ๋๋ฝ๋๋ ๊ฒฝ์ฐ๊ฐ ์๊ณ context๊ฐ ์์ด ์ดํดํ๊ธฐ ์ด๋ ค์ด ๋ฌธ์ฅ์ด ํฌํจ๋๋ ๊ฒฝ์ฐ๊ฐ ์์ฃ .
์ธ์ด๋ชจ๋ธ์ ํฌ๊ธฐ๊ฐ ์๋นํด์ CPU ์ฑ๋ฅ๋ ๋ง์กฑ์ค๋ฝ์ง ์์
๋ ์์ ๋ชจ๋ธ๋ก ์คํํด๋ณด๋ ๊ฒ๋ ์ข์๊ฒ ๊ฐ์ต๋๋ค.
๋ํ ๋ค์ด๋ฒ๋ด์ค ๋ฟ๋ง์ด ์๋๋ผ ๋ค๋ฅธ ์ฌ์ดํธ์์๋ ๋ฌธ์ ๋ณธ๋ฌธ์ ์ถ์ถํ๋ web scraping ์ฝ๋๋ฅผ ์ถ๊ฐํ๋ฉด ์ฌ์ฉํ๊ธฐ ํธํ๊ฒ ์ฃ . |