deep learning2 [논문 리뷰] BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding 들어가며 BERT는 논문 이름에서 확인할 수 있는 것처럼, Transformer를 활용한 모델이며, 다양한 NLP tasks에 대한 pre-training 모델 역할을 하는 것이 가장 큰 특징이다. 해당 포스팅에서는 실험보다는 BERT 모델의 특징 위주로 살펴볼 예정이다. BERT에 대해 알아보기 앞서, transformer, attention, seq2seq에 대한 개념 이해가 완벽하지 않은 상태라면 먼저 해당 개념들을 익히고 오는 것을 추천한다. Abstract BERT(Bidirectional Encoder Representations from Transformers)는 다른 language representation models과 다르게, unlabeled text 데이터로부터 deep bidir.. 2022. 9. 4. [딥러닝 프로젝트] CvT: Introducing Convolutions to Vision Transformers 들어가며 2022년 1학기에 수강한 Gaya 교수님의 '딥러닝 1: 이미지 처리' 수업의 기말 프로젝트 일환으로 CvT: Introducing Convolutions to Vision Transformers라는 논문의 발표와 코드 작성(기존의 코드를 목적에 맞게 reproducing) 프로젝트를 진행하였다. 인공지능 공부를 시작한 지 얼마 되지 않았기에 인공지능 분야의 논문을 제대로 읽어보는 것은 겨우 두 번째였고(첫 번째도 Gaya 교수님 중간 프로젝트의 일환으로 읽어 본 bias paper 였음...), Vision Transformers를 적용한 논문이었기에 딥러닝 초짜인 나에게 진입장벽이 굉장히 높았었다. CvT(Convolutions to Vision Transformers)를 이해하기 위해 V.. 2022. 8. 17. 이전 1 다음
