머신러닝 & 딥러닝/논문 리뷰 13 [ML 논문 공부 - 14] Hidden Technical Debt in Machine Learning Systems MLOps란 키워드로 공부를 하다보면 접할 수 있는 논문 제목입니다. 머신러닝 시스템에서 CI/CD 과정을 공부하면서 접하게 된 논문입니다. 해당 논문은 2015년 구글에서 발표한 내용입니다. 논문 링크 : https://proceedings.neurips.cc/paper/2015/file/86df7dcfd896fcaf2674f757a2463eba-Paper.pdf 논문을 읽어 보며, 각 단락 별로 간단하게 요약해 정리했습니다. 0. Abstract 논문의 요약 부분입니다. 해당 부분에서 머신러닝이라는 것은 복잡한 예측 시스템을 만드는 것에 엄청난 강점을 지니고 있지만, 단순히 그냥 사용하는 것은 매우 위험하며 기술적 부채(technical debt)가 존재한다고 주장합니다. 그리고 구체적인 머신러닝 위.. 머신러닝 & 딥러닝/논문 리뷰 2023. 1. 1. [ML 논문 공부 - 013] Character-Level Feature Extraction with Densely Connected Networks 이번에 공부할 논문은 "Character-Level Feature Extraction with Densely Connected Networks" 입니다. 본 논문은 고려대학교의 임희석 교수님과 자연어처리 연구실의 이찬희, 이동엽 연구원님과 Amazon Alexa의 김용범 연구원님이 저술하신 논문입니다. 논문에서는 Densely Connected Networks를 사용해 Feature Extraction을 수행하는 방법을 제안합니다. 실험에서는 Slot tagging, POS tagging, NER의 총 세가지 task를 수행하고 성능을 측정했습니다. 논문을 꼼꼼히 읽어보며 공부해보도록 하겠습니다. 논문 링크 : https://arxiv.org/abs/1806.09089 Abstract 논문의 요약 부분입.. 머신러닝 & 딥러닝/논문 리뷰 2022. 6. 5. [ML 논문 공부 - 012] Enhanced Sequential Representation Augmented with Utterance-level Attention for Response Selection 이번에 공부할 논문은 "Enhanced Sequential Representation Augmented with Utterance-level Attention for Response Selection" 입니다. 본 논문은 고려대학교의 임희석 교수님과 자연어처리 연구실의 황태선, 이동엽, 이찬희 연구원님들이 저술한 논문입니다. NLP의 Response Selection task에 있어 utterance-level attention을 제안한 논문입니다. 논문 링크 : http://workshop.colips.org/dstc7/papers/15.pdf About DSTC7 논문에서 언급된 DSTC7에 관한 내용입니다. http://workshop.colips.org/dstc7/workshop.html DSTC.. 머신러닝 & 딥러닝/논문 리뷰 2022. 5. 31. [ML 논문 공부 - 010] Neural Machine Translation by Jointly Learning to Align and Translate (ICLR 2015) 본 논문은 ICLR 2015에서 발표된 논문입니다. Seq2Seq에서 Encoder-Decoder의 구조가 처음 등장하게 되고, 이 구조에서 Encoder부분에서 Fixed-Length Vector를 추출하고 이 벡터를 사용해 다시 Decoder부분의 작업을 수행하는데, 본 논문에서는 Fixed-Length Vector의 한계점에 대해 언급하고 극복하려는 접근법을 제시합니다. 기계 번역 분야에서 처음으로 어텐션의 개념이 도입된 논문이면서 Seq2Seq와 마찬가지로 NLP분야를 공부함에 있어 반드시 읽어봐야하는 논문이라고 생각합니다. 논문 저자의 이름을 따 바다나우 어텐션이라고도 잘 알려져 있습니다. 논문의 저자를 보면 조경현 교수님이 저술한 논문으로도 잘 알려져 있습니다. 논문 링크 : https://a.. 머신러닝 & 딥러닝/논문 리뷰 2022. 5. 12. [ML 논문 공부 - 009] Sequence to Sequence Learning with Nueral Networks (NIPS 2014) 본 논문은 NIPS 2014에서 발표된 논문입니다. 자연어 처리에 관심을 가지고 공부하면서, 꼭 읽어 봐야 할 논문이라고 생각을 하기 때문에 읽으면서 공부하게 되었습니다. 해당 논문에서는 LSTM을 활용해 효율적인 Seq2Seq 기계 번역 아키텍쳐를 제안합니다. 어텐션과 트랜스포머의 개념이 등장할 수 있는 계기가 된 중요한 논문이 아닌가 생각합니다. 해당 논문을 잘 공부하고 이해해야 후에 나오는 개념인 어텐션, 트랜스포머, BERT, GPT 등을 잘 이해할 수 있을것이라 생각했습니다. 요약, 서론, 본문, 결론까지 천천히 살펴보며 공부해보도록 하겠습니다. 논문의 다운로드 링크는 다음과 같습니다. : https://arxiv.org/abs/1409.3215 Abstract 논문의 요약 부분입니다. 핵심 내.. 머신러닝 & 딥러닝/논문 리뷰 2022. 5. 11. [ML 논문 공부 - 008] 딥러닝을 이용한 법률 분야 한국어 의미 유사판단에 관한 연구 이번에 읽고 공부하게 된 논문은 "딥러닝을 이용한 법률 분야 한국어 의미 유사판단에 관한 연구" "Deep Learning Based Semantic Similarity for Korean Legal Field" 입니다. 논문은 KCI를 통해 원문을 내려받을 수 있습니다. (KCI링크 바로가기) 본 논문은 한국과학기술원의 김성원 연구원님과 인하대학교 박광렬 연구원님이 정보처리학회논문지에 등재하여 발간된 논문입니다. Abstract 논문의 요약 부분입니다. 본 논문은 기존의 전문적인 용어가 많이 쓰이는 법률 분야의 검색방법을 개선했다는 내용입니다. 법률 도메인의 문장에 자연어 처리 기술을 적용해 문장 간의 유사성을 판단하는 데 최적화된 임베딩 방법을 제시합니다. Introduction 논문의 서론 부분입니.. 머신러닝 & 딥러닝/논문 리뷰 2022. 4. 25. [ML 논문 공부 - 007] 유튜브 악성 댓글 탐지를 위한 LSTM 기반 기계학습 시스템 설계 및 구현 이번에 읽고 공부하게 된 논문은 "유튜브 악성 댓글 탐지를 위한 LSTM 기반 기계학습 시스템 설계 및 구현" "Design and Implementation of a LSTM-based YouTube Malicious Comment Detection System" 입니다. 논문은 KCI를 통해 원문을 내려받을 수 있습니다. (KCI링크 바로가기) 본 논문은 상명대학교의 김정민 연구원과 국중진 교수님이 스마트미디어저널에 등재하여 발간된 논문입니다. 논문은 유튜브라는 매체에서의 악성 댓글을 탐지하는 시스템을 설계, 구현, 성능 평가하는 내용을 담고 있습니다. LSTM 기반의 자연어 처리를 통해 악성 댓글을 판별하고 최종적으로 악성 댓글에 대한 통계를 시각화하는 방법까지 제안합니다. Abstract 논문의 .. 머신러닝 & 딥러닝/논문 리뷰 2022. 4. 13. [ML 논문 공부 - 006] BERT 기반의 속성기반 감성분석을 활용한 다기준 영화 추천 모형 이번에 읽고 공부하게 된 논문은 "BERT 기반의 속성기반 감성분석을 활용한 다기준 영화 추천 모형" "Multicriteria Movie Recommendation Model Combining Aspect-based Sentiment Classification Using BERT" 입니다. 논문은 KCI를 통해 원문을 내려받을 수 있었습니다. (KCI링크 바로가기) 본 논문은 국민대학교의 이유린 연구원과 안현철 교수님이 한국컴퓨터정보학회에 등재하여 발간된 논문입니다. 해당 논문은 기존의 정량 데이터(평점 혹은 구매 여부)를 활용해 제공하던 추천 시스템의 한계를 벗어나 정성 데이터 또한 활용해 더욱 개인화된 추천을 제공하는 방법을 제안합니다. 방법론으로는 BERT 모델의 사용, 협업 필터링(Collabo.. 머신러닝 & 딥러닝/논문 리뷰 2022. 4. 11. 이전 1 2 다음
