머신러닝 & 딥러닝/자연어처리 33 원-핫 표현, TF 표현, TF-IDF 표현 원-핫 표현 (one-hot representation) 원 핫 표현은 0벡터에서 시작해 주어진 문장에 대해서 등장하는 단어가 있으면 값을 1로 설정하는 것. 다음의 문장들을 예시로 들겠습니다. Time flies like an arrow. Fruit flies like a banana. 위의 문장을 토큰(token)으로 나누고 모두 소문자로 바꾸면 다음과 같이 나타낼 수 있습니다. { time, fruit, flies, like, a, an, arrow, banana } 이처럼 각 단어를 원-핫 벡터로 표현할 수 있고 다음과 같이 나타낼 수 있습니다. TF 표현 TF 표현은 단순히 원-핫 표현을 합해 만듭니다. 앞의 문장을 예시로 들어 'Fruit flies like time flies a fruit'.. 머신러닝 & 딥러닝/자연어처리 2021. 11. 25. 이전 1 2 3 4 5 다음
