AI 논문 읽기
쏟아지는 AI 논문을 따라가는 방법을 정리한다. 매주 어디를 보면 되는지, 한 편을 어떤 순서로 읽고 무엇을 확인하는지, 그리고 지금의 AI를 만든 핵심 논문 30편을 직접 쓴 요약으로 모았다.
2026년 10월 30일에 아래 사이트를 하나씩 열어 최근 글이 올라오는지 확인했다. 서비스는 문을 닫거나 주소를 옮기기도 하므로(아래 Papers with Code처럼) 오래 안 열었다면 다시 확인한다. AI 전반의 개념 지도는 AI 기초에 있다.
매주 볼 곳
arXiv의 AI 관련 분야에는 하루에도 수백 편이 올라온다. 다 읽을 수는 없으니 매일은 제목만, 매주는 남이 고른 것만, 학회 철에는 몰아서 보는 식으로 거르는 단계를 둔다. 아래는 확인 시점에 모두 최근 글이 올라와 있던 곳이다.
논문 피드
| 곳 | 좋은 점 | 주기 · 비용 |
|---|---|---|
| Hugging Face Daily Papers | 사람이 골라 올린 그날의 논문에 추천 수가 붙는다. 모델·데이터·데모 링크가 함께 있어 바로 돌려 보기 좋다. 확인 날에도 그날 목록이 있었다. | 매일 · 무료 |
| arXiv 새 목록 cs.CL · cs.LG · cs.AI | 걸러지지 않은 원천이다. 언어 모델은 cs.CL, 학습 방법은 cs.LG를 본다. 분야별 이메일 구독도 된다. | 평일 매일 · 무료 |
| alphaXiv | arXiv 논문 위에 댓글로 질문·토론을 단다. 저자가 답하기도 하고, 화제 논문 순위가 있다. | 매일 · 무료 |
| Papers with Code (종료) | 논문과 코드·벤치마크 순위를 잇던 곳이다. 지금 옛 주소는 Hugging Face Papers 트렌딩으로 넘어간다. 코드 있는 화제 논문은 그쪽에서 본다. | — |
| Semantic Scholar | 저장한 논문을 바탕으로 추천하는 연구 피드, 저자·인용 알림, 인용 관계 탐색. | 수시 · 무료(계정) |
| Google Scholar 알림 | 검색어, 특정 저자의 새 논문, 특정 논문을 인용한 새 논문을 이메일로 받는다. 관심 논문의 후속 연구를 놓치지 않는 데 좋다. | 수시 · 무료(계정) |
뉴스레터
| 곳 | 좋은 점 | 주기 · 비용 |
|---|---|---|
| Import AI | Anthropic 공동 창업자 Jack Clark가 쓴다. 논문 몇 편을 골라 왜 중요한지 짚고, 정책·안전 관점이 강하다. | 주간(월요일) · 무료 |
| The Batch | DeepLearning.AI(Andrew Ng)의 주간 소식. 연구와 산업 소식을 입문자도 읽기 쉽게 풀어 준다. | 주간 · 무료 |
| Ahead of AI | Sebastian Raschka가 LLM 연구 흐름을 그림과 코드로 깊게 정리한다. 구조·학습 기법 비교 글이 특히 좋다. | 월 1~2회 · 무료(유료 구독 있음) |
| Interconnects | Nathan Lambert가 후학습(RLHF·추론 학습)과 오픈 모델 생태계를 다룬다. 실무 연구자의 시각이 있다. | 주 1~3회 · 무료(유료 구독 있음) |
| Last Week in AI | 한 주의 뉴스·연구를 목록으로 묶고 팟캐스트도 낸다. 놓친 것을 훑는 용도. | 대략 주간(간격 불규칙) · 무료 |
| AlphaSignal | 화제가 된 논문·저장소·모델을 짧게 요약한 이메일. 빠르지만 깊이는 얕다. | 거의 매일 · 무료 |
연구소와 블로그
| 곳 | 좋은 점 | 주기 · 비용 |
|---|---|---|
| Anthropic Research | 정렬·해석 가능성·사회적 영향 연구를 글과 논문으로 낸다. | 주 1회 안팎 · 무료 |
| Google DeepMind 블로그 · Google Research 블로그 | 모델 발표와 과학 응용(단백질·날씨·수학), 기초 연구 해설. | 주 여러 번 · 무료 |
| Transformer Circuits | Anthropic 해석 가능성 팀의 긴 연구 글과 짧은 중간 보고. 그림이 많아 내부 구조를 직관으로 잡기 좋다. | 월 1~2회 · 무료 |
| Hugging Face 블로그 | 오픈 모델·데이터셋 공개와 학습·추론 실습 글. 논문을 직접 돌려 보는 다리 역할을 한다. | 매일 가까이 · 무료 |
| Lil'Log (Lilian Weng) | 한 주제(에이전트, 환각, 보상 해킹 등)의 논문 수십 편을 한 글로 엮는 긴 서베이. 새 분야에 들어갈 때 첫 지도로 좋다. | 몇 달에 한 편 · 무료 |
학회와 한국어
| 곳 | 좋은 점 | 주기 · 비용 |
|---|---|---|
| OpenReview | ICLR·NeurIPS 등의 심사평과 저자 답변이 공개된다. 논문의 약점을 남이 짚어 준 글로 읽을 수 있다. | 학회 철 · 무료 |
| NeurIPS 논문집 · PMLR · ACL Anthology | 심사를 거친 최종본. PMLR에는 ICML, ACL Anthology에는 ACL·EMNLP 같은 언어 처리 학회 논문이 모인다. | 학회마다 연 1회 · 무료 |
| GeekNews | 한국어로 요약한 기술 소식 모음. AI 논문·도구 소식이 자주 올라오고 댓글 토론도 있다. | 매일 · 무료 |
논문의 신분: 프리프린트, 학회 논문, 기술 보고서
AI 논문은 대부분 arXiv에 먼저 올라온다. 그런데 arXiv의 검토는 형식·분야·표절 같은 것을 보는 절차이고, arXiv 스스로 동료 심사가 아니라고 밝힌다. 그래서 같은 "논문"이라도 신분이 다르다.
| 종류 | 누가 확인했나 | 읽을 때 |
|---|---|---|
| 프리프린트(arXiv) | 저자뿐. 형식 검토만 거친다 | 가장 빠르지만 주장이 틀렸을 수 있다. 판(v1, v2…)이 바뀌며 숫자가 고쳐지기도 하니 최신 판을 본다 |
| 학회·저널 논문 | 심사위원 여럿 | AI는 저널보다 학회가 중심이다. 머신러닝은 NeurIPS·ICML·ICLR, 언어는 ACL·EMNLP, 비전은 CVPR·ICCV·ECCV. 심사를 거쳤다고 다 맞는 것은 아니지만 최소한의 반론을 견뎠다 |
| 기술 보고서·모델 카드 | 회사 안에서만 | 큰 모델 발표에 흔하다. 학습 데이터·계산량 같은 핵심을 빼는 경우가 많고, 비교 상대와 조건을 회사가 고른다 |
| 블로그 글 | 저자뿐 | 직관을 잡기에 좋다. 숫자는 원 논문에서 다시 확인한다 |
OpenReview에 심사평이 공개된 학회라면, 채택 여부보다 심사위원이 짚은 약점을 읽는 것이 더 많은 것을 알려 준다.
논문 읽는 법: 세 번 읽기
처음부터 끝까지 한 번에 읽으려 하면 지친다. S. Keshav의 How to Read a Paper는 한 편을 깊이를 달리해 세 번 읽으라고 권한다. 대부분의 논문은 첫 번째에서 멈추고, 정말 필요한 것만 세 번째까지 간다.
- 1차(5~10분): 제목·초록·서론, 소제목, 결론을 읽고 그림을 훑는다. 끝나면 다섯 가지(5C)에 답할 수 있어야 한다. 어떤 종류의 논문인가(Category), 어떤 연구와 이어지나(Context), 가정이 그럴듯한가(Correctness), 무엇을 새로 했나(Contributions), 잘 쓰였나(Clarity).
- 2차(1시간 안팎): 그림과 표를 꼼꼼히 본다. 축과 단위, 오차 막대가 있는지, 비교 대상이 공정한지. 핵심 주장을 세 줄로 적고, 모르는 참고문헌은 표시해 둔다. 증명 세부는 건너뛴다.
- 3차(몇 시간): 저자의 가정에서 출발해 논문을 머릿속으로 다시 세운다. 실험을 직접 돌려 보고, 숨은 가정과 빠진 실험을 찾는다. 남의 논문을 심사하거나 내 연구의 바탕으로 쓸 때 여기까지 간다.
무엇을 확인하나
2차 읽기에서 붙잡을 질문은 네 가지다. 답이 주로 어디 있는지 알면 읽는 순서를 정할 수 있다.
- 문제: 기존 방법의 무엇이 안 됐나. 서론 마지막 문단과 "우리의 기여" 목록에 압축돼 있다.
- 아이디어: 무엇을 바꿨나. 방법 절의 큰 그림 한 장과, 관련 연구 절에서 앞선 방법과 다르다고 말하는 부분을 본다.
- 증거: 정말 그런가. 본 결과 표에서 비교 대상이 같은 조건(모델 크기, 데이터, 계산량)인지, 요소를 하나씩 뺀 ablation이 있는지, 시드 여러 개의 평균과 편차를 냈는지 본다. AI 논문은 벤치마크 점수 차이가 시드 차이보다 작은 경우가 흔하다.
- 한계: 어디서 안 되나. 한계 절과 부록, 실패 사례를 본다. 저자가 말하지 않은 한계(평가 데이터 오염, 너무 작은 규모)도 따져 본다.
자주 나오는 낱말
| 낱말 | 뜻 | 읽을 때 볼 것 |
|---|---|---|
| SOTA (state of the art) | 그 벤치마크에서 지금까지 가장 좋은 점수 | 어느 벤치마크, 어떤 조건에서의 1등인지. 비교 대상이 최신인지 |
| 기준선(baseline) | 새 방법과 비교하는 기존 방법 | 기준선을 같은 공을 들여 조정했는지. 약한 기준선을 이기는 것은 쉽다 |
| ablation | 요소를 하나씩 빼 보며 무엇이 효과를 냈는지 보는 실험 | 없으면 어느 부분이 핵심인지 알 수 없다 |
| zero-shot / few-shot | 예시 없이 / 예시 몇 개만 프롬프트에 넣고 푼다 | 예시 개수와 프롬프트 형식에 따라 점수가 바뀐다 |
| held-out / 시험 세트 | 학습과 조정에 쓰지 않고 떼어 둔 데이터 | 시험 세트를 보고 설정을 고치지 않았는지, 학습 데이터에 섞이지 않았는지(오염) |
| 스케일링 | 모델·데이터·계산을 키울 때 성능이 어떻게 변하나 | 작은 규모 몇 점으로 큰 규모를 내다본 것인지 |
| emergent (창발) | 작은 모델에서는 안 되다가 크기가 커지면 갑자기 되는 능력 | 맞음·틀림처럼 끊기는 지표로 재면 매끄러운 향상도 갑자기 생긴 것처럼 보일 수 있다는 반론이 있다(Schaeffer 등, 2023) |
코드로 확인하고 기록하기
AI 논문은 코드가 공개된 경우가 많아 직접 확인하기 좋다. 다 재현할 필요는 없고, 핵심 주장 하나를 작게 확인하는 것으로 충분하다.
- 공식 코드부터: 논문이나 arXiv 페이지의 코드 링크, Hugging Face의 논문 페이지에 걸린 모델·데이터를 찾는다. 저장소의 이슈 탭에 "결과가 재현되지 않는다"는 글이 있는지도 본다.
- 작게 돌린다: 공개된 체크포인트로 평가 스크립트만 돌려 표의 숫자 하나가 나오는지 본다. 학습까지 하려면 작은 모델·작은 데이터로 경향(A가 B보다 낫다)이 나오는지만 본다.
- 차이를 적는다: 숫자가 다르면 버전, 시드, 전처리, 평가 프롬프트 차이부터 의심한다. LLM 평가는 프롬프트 형식 하나로 점수가 꽤 바뀐다.
- 같은 칸으로 기록한다: 읽은 논문마다 같은 형식의 카드를 남기면 몇 달 뒤 비교하기 쉽다. 요지는 반드시 내 말로 쓴다. 초록을 옮겨 두면 다시 읽어도 이해했는지 알 수 없다.
흔한 오해
- "arXiv에 올라왔으니 검증된 결과다" — 심사 전 원고다(위 논문의 신분 절). 학회에서 채택된 판과 숫자가 다를 수도 있다.
- "인용이 많으면 맞는 논문이다" — 인용은 영향력이지 정확성이 아니다. 많이 인용된 결과가 뒤에 반박되거나, 반박하려고 인용되기도 한다.
- "표에서 1등이면 내 일에서도 1등이다" — 벤치마크는 특정 데이터·조건의 점수다. 시드 차이보다 작은 점수 차이는 순위를 가를 근거가 못 된다(무엇을 확인하나 절).
- "초록만 읽으면 요지는 안다" — 초록은 저자가 가장 좋게 쓴 요약이다. 한계와 실패 사례는 본문 뒤쪽과 부록에 있다.
핵심 논문
지금의 AI를 이해하는 데 필요한 논문 30편을 주제별로 모았다. 요약은 모두 직접 쓴 것으로 "무엇이 문제였나 → 무엇을 바꿨나 → 왜 중요했나" 순서다. 원문 링크는 arXiv나 공식 페이지이고, 각 카드 아래에 그 내용을 자세히 다루는 노트를 걸었다.
딥러닝의 기초
Learning representations by back-propagating errors
은닉층이 있는 신경망은 출력 오차를 안쪽 가중치까지 어떻게 나눠 줄지가 막혀 있었다. 연쇄 법칙으로 오차를 출력에서 입력 쪽으로 한 층씩 거꾸로 전달하면 모든 가중치의 기울기를 한 번에 구할 수 있음을 보이고, 은닉층이 쓸모 있는 내부 표현을 스스로 배운다는 것을 실험으로 보였다. 지금의 모든 신경망 학습이 이 계산 위에 서 있다.
다루는 노트: 딥러닝
Gradient-Based Learning Applied to Document Recognition
손글씨 인식은 사람이 특징을 설계하고 분류기를 따로 붙이는 방식이 주류였다. 합성곱과 풀링을 쌓은 망을 처음부터 끝까지 기울기로 학습시키면 특징 추출까지 데이터에서 배울 수 있음을 수표 인식 같은 실제 시스템으로 보여 줬다. 지금 CNN의 기본 골격(합성곱 → 풀링 → 완전연결)이 이때 정리됐다.
다루는 노트: 딥러닝
ImageNet Classification with Deep Convolutional Neural Networks
깊은 CNN은 큰 데이터에서 학습시키기에 너무 느리고 과적합이 심하다고 여겨졌다. GPU 두 장으로 학습하고 ReLU·드롭아웃·데이터 증강을 묶어 ImageNet 대회에서 2위와 큰 차이로 이겼다. 이 결과 이후 컴퓨터 비전과 업계 전체가 딥러닝으로 옮겨 갔다.
다루는 노트: 딥러닝
Dropout: A Simple Way to Prevent Neural Networks from Overfitting
큰 신경망은 학습 데이터를 외워 버리는 과적합에 약하다. 학습할 때마다 뉴런 일부를 무작위로 꺼서 서로에게 기대지 못하게 하면, 수많은 작은 망을 평균한 것 같은 효과가 난다는 것을 여러 분야에서 보였다. 구현이 한 줄이라 표준 정규화 기법이 됐다.
다루는 노트: 딥러닝
Adam: A Method for Stochastic Optimization
확률적 경사 하강은 학습률을 손으로 맞추기 까다롭고 파라미터마다 기울기 크기가 다르다. 기울기의 이동 평균(관성)과 제곱의 이동 평균(크기)을 함께 추적해 파라미터마다 보폭을 자동으로 조절하고, 초기 편향을 보정했다. 기본값으로도 잘 도는 덕에 지금까지 가장 많이 쓰는 최적화기(와 변형 AdamW)가 됐다.
다루는 노트: 딥러닝
Deep Residual Learning for Image Recognition
층을 더 쌓으면 오히려 학습 오차가 커지는 퇴화 문제가 있었다. 층이 입력 전체가 아니라 입력에 더할 차이(잔차)만 배우게 하고 입력을 그대로 건너 보내는 지름길을 달아, 150층이 넘는 망도 안정적으로 학습시켰다. 잔차 연결은 트랜스포머를 포함한 거의 모든 깊은 모델에 들어간다.
다루는 노트: 딥러닝
시퀀스와 어텐션
순환 신경망은 시간을 거슬러 기울기를 전할 때 값이 사라지거나 폭발해 먼 과거를 기억하지 못했다. 값이 거의 그대로 흘러가는 기억 칸과, 무엇을 넣고 꺼낼지 정하는 게이트를 둬 긴 간격의 의존성을 배우게 했다(잊기 게이트는 뒤에 다른 연구에서 더해졌다). 트랜스포머 이전 음성·번역 모델의 주력이었다.
다루는 노트: 딥러닝
Sequence to Sequence Learning with Neural Networks
입력과 출력 길이가 다른 번역 같은 문제를 신경망 하나로 풀 방법이 마땅치 않았다. LSTM 인코더가 문장 전체를 벡터 하나로 요약하고 LSTM 디코더가 그 벡터에서 단어를 하나씩 생성하는 구조로 기존 통계 번역에 견줄 성능을 냈다. 인코더-디코더라는 틀이 여기서 굳어졌다.
다루는 노트: 딥러닝
Neural Machine Translation by Jointly Learning to Align and Translate
문장 전체를 고정 길이 벡터 하나에 담으면 긴 문장에서 성능이 떨어졌다. 디코더가 단어를 낼 때마다 입력의 어느 위치를 볼지 가중치를 계산해 필요한 부분을 골라 읽게 했다. 이 "어디를 볼지 배우는" 장치가 어텐션이고, 3년 뒤 트랜스포머의 중심이 된다.
다루는 노트: 딥러닝
순환 신경망은 단어를 순서대로 처리해야 해서 병렬화가 어렵고 먼 단어끼리 연결이 약했다. 순환을 버리고 모든 위치가 서로를 직접 보는 셀프 어텐션과 위치 인코딩만으로 번역 모델을 만들어, 더 빨리 학습하면서 더 좋은 점수를 냈다. 이후 거의 모든 언어 모델과 상당수 비전·음성 모델의 기본 구조가 됐다.
다루는 노트: 딥러닝
사전학습과 스케일
Efficient Estimation of Word Representations in Vector Space
단어를 원-핫 벡터로 다루면 비슷한 단어끼리의 관계가 드러나지 않는다. 주변 단어로 가운데 단어를 맞히거나(CBOW) 그 반대(skip-gram)를 아주 가벼운 모델로 대량 학습해, 의미가 비슷한 단어가 가까이 놓이는 벡터를 얻었다. "레이블 없는 텍스트로 표현을 먼저 배운다"는 사전학습 발상의 출발점이다.
다루는 노트: LLM
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
왼쪽에서 오른쪽으로만 읽는 언어 모델은 문맥의 한쪽만 본다. 문장 속 단어 일부를 가리고 양쪽 문맥으로 맞히게 하는 방식으로 트랜스포머 인코더를 사전학습한 뒤, 작업마다 조금만 더 학습(파인튜닝)해 여러 이해 과제의 기록을 한꺼번에 갈아치웠다. "사전학습 + 파인튜닝"을 NLP의 표준 절차로 만들었다.
다루는 노트: LLM
Language Models are Unsupervised Multitask Learners
작업마다 레이블 데이터와 파인튜닝이 필요하다는 전제를 의심했다. 웹 문서로 다음 토큰 예측만 학습한 15억 파라미터 모델이 별도 학습 없이도 요약·번역·질의응답을 어느 정도 해내고, 크기를 키울수록 나아진다는 것을 보였다. 오용 우려로 모델을 단계적으로 공개한 일도 공개 정책 논의의 시작이 됐다.
다루는 노트: LLM
Language Models are Few-Shot Learners
파인튜닝 없이 프롬프트에 예시 몇 개만 넣어도 새 작업을 할 수 있을까를 물었다. 1750억 파라미터 모델이 프롬프트 속 예시만 보고 작업을 따라 하는 인컨텍스트 학습을 폭넓게 보였고, 그 능력이 규모와 함께 커졌다. 프롬프트로 모델을 다루는 지금의 사용 방식이 여기서 시작됐다.
다루는 노트: LLM
Scaling Laws for Neural Language Models
모델을 키우면 좋아진다는 감각은 있었지만 얼마나, 무엇을 키워야 하는지는 몰랐다. 손실이 파라미터 수·데이터 양·계산량 각각에 대해 넓은 범위에서 거듭제곱 법칙을 따른다는 것을 측정해, 작은 실험으로 큰 모델의 성능을 예측하는 길을 열었다. 이후 대형 모델 투자 계획의 근거가 됐다.
다루는 노트: LLM
Training Compute-Optimal Large Language Models
같은 계산 예산이면 모델을 키우는 쪽과 데이터를 늘리는 쪽 중 무엇이 나은지 다시 쟀다. 당시 대형 모델들이 크기에 비해 데이터를 너무 적게 봤다는 결론을 내고, 파라미터와 토큰을 비슷한 비율로 늘려야 한다(파라미터당 약 20토큰)는 기준을 제시했다. 700억 파라미터 Chinchilla가 훨씬 큰 모델을 이기며 이를 확인했다.
다루는 노트: LLM
정렬
Training language models to follow instructions with human feedback
다음 토큰 예측만 배운 모델은 사용자의 지시를 따르기보다 그럴듯한 글을 이어 쓴다. 사람이 쓴 모범 답변으로 지도 학습하고, 답변 순위로 보상 모델을 만든 뒤 강화학습(RLHF)으로 다듬자, 훨씬 작은 모델이 원래 GPT-3보다 사람에게 더 선호됐다. ChatGPT로 이어진 학습 절차의 원형이다.
다루는 노트: LLM
Constitutional AI: Harmlessness from AI Feedback
해로운 답을 걸러 내는 데 사람의 레이블을 대량으로 쓰면 비싸고 기준도 흐려진다. 사람이 짧은 원칙 목록(헌법)만 쓰고, 모델이 그 원칙으로 자기 답을 비판·수정하고 답 쌍을 비교하게 해 그 결과로 학습(RLAIF)했다. 감독 일부를 AI에 맡기는 방향의 대표 사례가 됐다.
다루는 노트: AI 안전과 정책
Direct Preference Optimization: Your Language Model is Secretly a Reward Model
RLHF는 보상 모델 학습과 강화학습 두 단계가 필요하고 불안정하다. 선호 데이터에서 최적 정책을 닫힌 꼴로 풀어, 선호된 답의 확률을 올리고 거절된 답의 확률을 내리는 분류 손실 하나로 같은 목표를 학습하게 했다. 구현이 단순해 오픈 모델 정렬에 널리 퍼졌다.
다루는 노트: LLM
효율
Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer
파라미터를 늘리면 계산량도 같이 늘어나는 것이 한계였다. 전문가(작은 망) 수천 개를 두고 입력마다 게이트가 몇 개만 골라 계산하게 해, 파라미터는 크게 늘리면서 토큰당 계산은 거의 그대로 두었다. 전문가에 일이 고르게 가도록 하는 보조 손실도 함께 제안했고, 지금의 MoE 언어 모델로 이어졌다.
다루는 노트: AI 인프라
LoRA: Low-Rank Adaptation of Large Language Models
큰 모델을 작업마다 통째로 파인튜닝하면 저장·메모리 비용이 감당되지 않는다. 원래 가중치는 얼리고 가중치 변화량을 작은 행렬 두 개의 곱(낮은 랭크)으로만 학습해, 학습할 파라미터를 크게 줄이면서 전체 파인튜닝에 가까운 결과를 냈다. 추론 때는 합쳐 버리면 지연이 늘지 않는다는 점도 보급을 도왔다.
다루는 노트: AI 인프라
FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness
어텐션은 길이의 제곱만큼 큰 중간 행렬을 GPU 메모리에 썼다 읽느라 느렸다. 계산량을 줄이는 근사 대신, 입력을 작은 블록으로 잘라 빠른 온칩 메모리 안에서 어텐션을 끝내고 큰 행렬을 아예 만들지 않는 방식으로 정확한 값을 더 빨리 구했다. "연산보다 메모리 이동이 병목"이라는 관점을 모델 설계에 들여왔다.
다루는 노트: AI 인프라
생성 모델
Auto-Encoding Variational Bayes
잠재 변수가 있는 확률 모델은 사후 분포를 계산하기 어려워 큰 데이터에 학습시키기 힘들었다. 인코더가 잠재 분포를 근사하고, 무작위 샘플링을 미분 가능한 꼴로 바꾸는 재매개변수화 기법으로 전체를 기울기로 한 번에 학습하게 했다. 잠재 공간에서 생성하는 모델들의 뼈대가 됐다.
다루는 노트: 생성 모델
데이터 분포를 명시적으로 계산하지 않고도 그럴듯한 샘플을 만들 방법을 찾았다. 가짜를 만드는 생성자와 진짜·가짜를 가리는 판별자를 서로 경쟁시켜 생성자가 판별자를 속일 만큼 정교해지게 했다. 2010년대 후반 이미지 생성의 주류였고, 학습 불안정성 문제도 함께 유명해졌다.
다루는 노트: 생성 모델
Denoising Diffusion Probabilistic Models
확산 모델은 이론은 있었지만 샘플 품질이 GAN에 못 미쳤다. 이미지에 노이즈를 조금씩 더하는 과정을 거꾸로 되돌리도록, 각 단계에서 더해진 노이즈를 맞히는 단순한 손실로 학습하자 높은 품질의 이미지를 안정적으로 만들었다. 이후 이미지·영상·음성 생성의 주류가 확산 계열로 바뀌었다.
다루는 노트: 생성 모델
Learning Transferable Visual Models From Natural Language Supervision
이미지 분류기는 정해진 레이블 목록 밖을 알지 못했다. 웹의 이미지-설명 쌍 수억 개로 이미지와 글을 같은 공간에 놓도록 대조 학습해, 클래스 이름을 글로 적기만 하면 추가 학습 없이 분류하게 했다. 글과 그림을 잇는 이 임베딩은 이후 글로 그림을 만드는 모델의 조건 입력으로 널리 쓰였다.
다루는 노트: 생성 모델
High-Resolution Image Synthesis with Latent Diffusion Models
픽셀 공간에서 확산을 돌리면 고해상도 이미지 생성 비용이 너무 컸다. 오토인코더로 이미지를 작은 잠재 공간으로 압축한 뒤 그 안에서 확산하고, 크로스 어텐션으로 글 같은 조건을 넣었다. 일반 GPU에서도 돌릴 수 있게 되면서 Stable Diffusion의 바탕이 됐다.
다루는 노트: 생성 모델
추론과 에이전트
Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks
모델이 파라미터 안에만 지식을 담으면 고치기 어렵고 근거를 대지 못한다. 질문으로 문서 저장소를 먼저 검색하고, 찾은 문서를 생성 모델의 입력에 함께 넣어 답하게 하며 검색기와 생성기를 함께 학습했다. 외부 문서를 붙여 답하게 하는 지금의 RAG 시스템이라는 이름의 출처다.
다루는 노트: 에이전트와 활용
Chain-of-Thought Prompting Elicits Reasoning in Large Language Models
큰 모델도 여러 단계를 거치는 산수·추론 문제에서 바로 답을 내면 자주 틀렸다. 프롬프트 예시에 중간 풀이 과정을 함께 보여 주면 모델도 풀이를 쓰고 나서 답을 내며 정답률이 크게 오르고, 그 효과가 충분히 큰 모델에서만 나타난다는 것을 보였다. 이후 추론 모델과 "생각하는 토큰" 연구의 출발점이 됐다.
다루는 노트: LLM
ReAct: Synergizing Reasoning and Acting in Language Models
생각만 하는 모델은 사실을 지어내고, 행동만 하는 모델은 계획 없이 헤맨다. 생각(다음에 뭘 할지)과 행동(검색·도구 호출)과 관찰(결과)을 번갈아 쓰게 해, 모델이 결과를 보고 계획을 고치며 과제를 풀게 했다. 지금 LLM 에이전트 루프의 기본 형태다.
다루는 노트: 에이전트와 활용
- Hugging Face Daily Papers
- Hugging Face Papers — Trending (옛 Papers with Code 주소가 넘어오는 곳)
- arXiv cs.CL 새 논문 목록
- arXiv cs.LG 새 논문 목록
- arXiv cs.AI 새 논문 목록
- arXiv — 새 논문 이메일 구독 안내
- alphaXiv
- Semantic Scholar
- Google Scholar
- Import AI (Jack Clark)
- The Batch (DeepLearning.AI)
- Ahead of AI (Sebastian Raschka)
- Interconnects (Nathan Lambert)
- Last Week in AI
- AlphaSignal
- Anthropic Research
- Google DeepMind 블로그
- Google Research 블로그
- Transformer Circuits Thread
- Hugging Face 블로그
- Lil'Log (Lilian Weng)
- OpenReview
- NeurIPS 논문집
- PMLR (ICML 등 논문집)
- ACL Anthology
- GeekNews
- S. Keshav — How to Read a Paper (PDF)
- arXiv — 검토(moderation) 안내
- Schaeffer 등 — Are Emergent Abilities of Large Language Models a Mirage? (2023)
- Rumelhart, Hinton, Williams — Learning representations by back-propagating errors (1986)
- LeCun, Bottou, Bengio, Haffner — Gradient-Based Learning Applied to Document Recognition (1998)
- Krizhevsky, Sutskever, Hinton — ImageNet Classification with Deep Convolutional Neural Networks (2012)
- Srivastava, Hinton, Krizhevsky, Sutskever, Salakhutdinov — Dropout: A Simple Way to Prevent Neural Networks from Overfitting (2014)
- Kingma, Ba — Adam: A Method for Stochastic Optimization (2014)
- He, Zhang, Ren, Sun — Deep Residual Learning for Image Recognition (2015)
- Hochreiter, Schmidhuber — Long Short-Term Memory (1997)
- Sutskever, Vinyals, Le — Sequence to Sequence Learning with Neural Networks (2014)
- Bahdanau, Cho, Bengio — Neural Machine Translation by Jointly Learning to Align and Translate (2014)
- Vaswani et al. — Attention Is All You Need (2017)
- Mikolov, Chen, Corrado, Dean — Efficient Estimation of Word Representations in Vector Space (2013)
- Devlin, Chang, Lee, Toutanova — BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding (2018)
- Radford et al. — Language Models are Unsupervised Multitask Learners (2019)
- Brown et al. — Language Models are Few-Shot Learners (2020)
- Kaplan et al. — Scaling Laws for Neural Language Models (2020)
- Hoffmann et al. — Training Compute-Optimal Large Language Models (2022)
- Ouyang et al. — Training language models to follow instructions with human feedback (2022)
- Bai et al. — Constitutional AI: Harmlessness from AI Feedback (2022)
- Rafailov et al. — Direct Preference Optimization: Your Language Model is Secretly a Reward Model (2023)
- Shazeer et al. — Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer (2017)
- Hu et al. — LoRA: Low-Rank Adaptation of Large Language Models (2021)
- Dao et al. — FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness (2022)
- Kingma, Welling — Auto-Encoding Variational Bayes (2013)
- Goodfellow et al. — Generative Adversarial Nets (2014)
- Ho, Jain, Abbeel — Denoising Diffusion Probabilistic Models (2020)
- Radford et al. — Learning Transferable Visual Models From Natural Language Supervision (2021)
- Rombach et al. — High-Resolution Image Synthesis with Latent Diffusion Models (2021)
- Lewis et al. — Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (2020)
- Wei et al. — Chain-of-Thought Prompting Elicits Reasoning in Large Language Models (2022)
- Yao et al. — ReAct: Synergizing Reasoning and Acting in Language Models (2022)