전체 글22 [논문 리뷰] BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding 들어가며 BERT는 논문 이름에서 확인할 수 있는 것처럼, Transformer를 활용한 모델이며, 다양한 NLP tasks에 대한 pre-training 모델 역할을 하는 것이 가장 큰 특징이다. 해당 포스팅에서는 실험보다는 BERT 모델의 특징 위주로 살펴볼 예정이다. BERT에 대해 알아보기 앞서, transformer, attention, seq2seq에 대한 개념 이해가 완벽하지 않은 상태라면 먼저 해당 개념들을 익히고 오는 것을 추천한다. Abstract BERT(Bidirectional Encoder Representations from Transformers)는 다른 language representation models과 다르게, unlabeled text 데이터로부터 deep bidir.. 2022. 9. 4. [논문 리뷰] Attention Is All You Need 들어가며 이번 포스팅에서는 흔히 Transformer라고 불리는 모델을 제안한 Attention Is All You Need에 대해 알아보고자 한다. 해당 논문에서 제안하고 있는 Transformer 모델은 기존에 기계번역에서 사용되는 RNN의 단점을 보완하기 위해 등장한 모델이라 할 수 있다. Transformer는 RNN을 제거하고 Attention Mechanism을 활용하고 있으며, Transformer에 대해 알아보기 전에 Attention이 무엇인지 살펴보고자 한다. Attention Mechanism 등장배경 이전 포스팅에서 다룬 Seq2Seq 모델은 RNN을 활용한 인코더, 디코더 구조를 제안했다. 인코더에서는 문장의 단어들을 '순차적으로' 입력받아 하나의 고정된 크기의 Context Ve.. 2022. 8. 26. [딥러닝 프로젝트] CvT: Introducing Convolutions to Vision Transformers 들어가며 2022년 1학기에 수강한 Gaya 교수님의 '딥러닝 1: 이미지 처리' 수업의 기말 프로젝트 일환으로 CvT: Introducing Convolutions to Vision Transformers라는 논문의 발표와 코드 작성(기존의 코드를 목적에 맞게 reproducing) 프로젝트를 진행하였다. 인공지능 공부를 시작한 지 얼마 되지 않았기에 인공지능 분야의 논문을 제대로 읽어보는 것은 겨우 두 번째였고(첫 번째도 Gaya 교수님 중간 프로젝트의 일환으로 읽어 본 bias paper 였음...), Vision Transformers를 적용한 논문이었기에 딥러닝 초짜인 나에게 진입장벽이 굉장히 높았었다. CvT(Convolutions to Vision Transformers)를 이해하기 위해 V.. 2022. 8. 17. [논문 리뷰] Sequence to Sequence Learning with Neural Networks 이번 논문은 Seq2Seq로 불리는 논문인 Sequence to Sequence Learning with Neural Networks에 대해 알아보고자 한다. Seq2Seq가 현재의 state-of-art model은 아니기 때문에 Dataset에 대한 모델의 정확도와 상세한 실험 과정에 집중하기보다는 모델의 구조와 작동 원리, 특징에 대해 중점적으로 살펴볼 예정이다. Seq2Seq는 번역기에 활용되는 대표적인 모델로, RNN을 활용한다. 특히, RNN을 활용한 LSTM(Long Sort-Term Memory) 구조를 활용하였는데, 해당 논문에 대해 공부하기 전에 RNN과 LSTM에 대해 공부하면 좋을 것 같다. (둘 다 2000년도 이전에 발표된 논문에서 제안된 모델들이기 때문에 논문을 직접 읽기보다는.. 2022. 8. 16. [백준] 2565번 전깃줄 (C++) 문제 링크 https://www.acmicpc.net/problem/2565 2565번: 전깃줄 첫째 줄에는 두 전봇대 사이의 전깃줄의 개수가 주어진다. 전깃줄의 개수는 100 이하의 자연수이다. 둘째 줄부터 한 줄에 하나씩 전깃줄이 A전봇대와 연결되는 위치의 번호와 B전봇대와 연결되는 www.acmicpc.net 들어가기 전에... 해당 문제는 LIS(Longest Increasing Subsequence)를 활용하여 해결하는 문제였는데, 처음 문제를 풀 때 이를 활용하지 않는 풀이법이 생각나서 그 풀이법 대로 풀다가 틀렸다... 여러 가지 반례도 찾아보고 코드 수정도 해봤는데 결국 고통받다가 다른 사람의 풀이법 참고함... 정석 풀이법 보고 진짜 어떻게 LIS를 저런 식으로 적용해서 풀 생각을 한 거.. 2022. 7. 30. [논문 리뷰] OverFeat: Integrated Recognition, Localization and Detection using Convolutional Networks 이번 글에서는 R-CNN과 동일한 시기에 발표되어 R-CNN 보다는 detection task에서 낮은 성능을 보였지만, One-stage detector의 초기 모델로서 SSD, YOLO 등의 후속 모델에 큰 영향을 준 모델인 OverFeat이라는 논문을 읽고 정리해보았다. 모델의 실험 결과나 모델의 구체적인 구조보다는, 모델의 전반적인 특징을 위주로 정리하였다. 필자가 느끼기에 논문의 구성이 체계적이지 않고 모델에 대한 설명이 자세하지 않았기에 (논문을 많이 읽어본건 아니지만... 개인적으로 난잡하다고 느껴짐...ㅠㅠ) 논문을 이해하는데 굉장히 오랜 시간이 걸렸고, 논문 이해를 위해 다양한 추가 자료들을 찾아봤다. 가장 마지막에 References로서 참고한 자료들을 소개하겠다. Abstract Ov.. 2022. 7. 29. [백준] 11054번 가장 긴 바이토닉 부분 수열 (C++) 문제 링크 https://www.acmicpc.net/problem/11054 11054번: 가장 긴 바이토닉 부분 수열 첫째 줄에 수열 A의 크기 N이 주어지고, 둘째 줄에는 수열 A를 이루고 있는 Ai가 주어진다. (1 ≤ N ≤ 1,000, 1 ≤ Ai ≤ 1,000) www.acmicpc.net 들어가기 전에... 문제를 해결한 이후에 다른 분들의 풀이를 보니 훨씬 더 효율적이고 간단하게 풀었음을 발견함... 주어진 크기 데이터가 1000개 이하였기 때문에 저처럼 \(O(n^{3})\)로도 풀 수 있었지만 더 효율적이고 간단한 풀이가 존재하기 때문에 이런 식으로 풀 수도 있구나~ 하는 정도로만 참고만 해주시길 ^,,,^ 문제 설명 주어진 수열 S에 대해, 가장 긴 바이토닉 부분 수열의 길이를 구한.. 2022. 7. 29. CS182 - [Lecture 8] Computer Vision 이번 강의에서는 computer vision이 사용되는 문제들에 대해 다룬다. 현재까지 우리는 이미지가 들어오면 해당 이미지의 label(class)를 분류하는 Object Classification 문제만 다루었다. 하지만 실제 computer vision이 사용되는(해결하고 있는) 문제들에는 Object Localization, Object Detection, Semantic Segmentation 등이 있다. Object Localization은 하나의 object에 대해 해당 object의 class와 좌표 및 크기를 구한다. 이때 object를 감싸고 있는 굵은 선으로 이루어진 네모 박스를 bounding box라 한다. Object Detection은 여러 object에 대한 class와 bo.. 2022. 7. 24. 이전 1 2 3 다음
