Python/NLP 자연어처리

자연어 처리(NLP)는 컴퓨터 과학, 인공지능, 언어학이 합쳐진 분야이다. 자연어 처리 업무 난이도 쉬움: 스펠링 체크, 키워드 검사, 유사어 감지 난이도 중간: 웹사이트 및 서류의 형태 해석, 구문해석 ​ ex) 영수증 해석 난이도 어려움:기계번역, 감정분석, 질의응답 시스템 자연어 처리의 어려움 언어,상황,환경,지각 지식의 학습 및 표현의 복잡함 -> Rule 기반만으로는 무리인가? 영상은 벡터로 분석, 수치화 가능했다. 그런데 언어는? 기존의 알고리즘을 적용하기 어렵다. DNN은 분산표현의 장점으로 인해 모호하지만 풍부한 정보를 얻을 수 있다. -> 단어의 벡터화로부터 시작 언어 데이터의 특성 불연속적인 심볼의 sequence (영상, 음성은 연속적이다. Text는 불연속적) 계열 길이가 샘플에 따..