머신러닝/Natural Language Processing

edit distance 는 단순하게 두 문장 or 단어가 얼마나 다르냐를 평가하는 값으로 아래와 같이 nltk에서 제공하는 함수를 import하면 바로 사용할 수 있다. # 단순한 ED score >>> from nltk.metrics.distance import edit_distance >>> edit_distance("바나나", "가나나") # 가-바 -> 한 글자 차이 1 >>> edit_distance("바나나", "가나다") # 가-바, 나-다 -> 두 글자 차이 2 이 edit distance를 정규화(ICDAR2019 평가 방식 참고)해서 표현해주면 아래와 같다. norm_ED += 1 - edit_distance("바나나", "가나나") / max(len("바나나"), len("가나나")..