Posts by Year

2024

[Survey] Recent technical reports

최대 1 분 소요

This is a collection of recent technical reports from several vendors including Google DeepMind, x.AI, AllenAI, AI21Labs, Databricks and HyperCLOVA.

맨 위로 이동 ↑

2023

[SAM]Paper List

최대 1 분 소요

Sharpness Aware Minimization(SAM) Paper List

[Paper] Calibration, Entropy Rates, and Memory in Language Models

최대 1 분 소요

Calibration, Entropy Rates, and Memory in Language Models이란 논문에 대한 리뷰입니다. 기존의 연구들은 long term property를 반영하기 위해 architecture등을 제안했지만 perplexity와 같은 사용하고 있던 me...

[Paper] A Closer Look at How Fine-tuning Changes BERT

최대 1 분 소요

ACL 2022년의 A Closer Look at How Fine-tuning Changes BERT이란 논문에 대한 리뷰로 fine tuning이 pre-trained BERT의 성능, representation, layer에 어떻게 영향을 미치는지 해석해보고자 하는 논문입니다.

[Paper] Masked Latent Semantic Modeling

최대 1 분 소요

Masked Latent Semantic Modeling이란 논문에 대한 리뷰로 Knowledge distilation의 아이디어를 바탕으로 MLM에서 latent space 상에서의 masking을 sparse coding를 바탕으로 학습에 적용한 페이퍼 입니다.

[Paper] Neural Collapse

3 분 소요

This is a brief review for “Prevalence of neural collapse during the terminal phase of deep learning traing”. You can see the paper at this link.

맨 위로 이동 ↑

2022

[KMOOC 강화학습] Week 10-2 SARSA

1 분 소요

해당 강의는 K-MOOC의 “강화학습의 수학적 기초와 알고리즘 이해” 수업을 수강하며 기록한 내용입니다. 강의는 링크에서 확인하실 수 있습니다.

[KMOOC 강화학습] Week 07-2 Policy Iteration

1 분 소요

해당 강의는 K-MOOC의 “강화학습의 수학적 기초와 알고리즘 이해” 수업을 수강하며 기록한 내용입니다. 강의는 링크에서 확인하실 수 있습니다.

[KMOOC 강화학습] Week 07-1 Value Iteration

1 분 소요

해당 강의는 K-MOOC의 “강화학습의 수학적 기초와 알고리즘 이해” 수업을 수강하며 기록한 내용입니다. 강의는 링크에서 확인하실 수 있습니다.

[KMOOC 강화학습] Week 06-1 MDP Value Function

2 분 소요

해당 강의는 K-MOOC의 “강화학습의 수학적 기초와 알고리즘 이해” 수업을 수강하며 기록한 내용입니다. 강의는 링크에서 확인하실 수 있습니다.

[KMOOC 강화학습] Week 04-2 Markov Process Ex

1 분 소요

해당 강의는 K-MOOC의 “강화학습의 수학적 기초와 알고리즘 이해” 수업을 수강하며 기록한 내용입니다. 강의는 링크에서 확인하실 수 있습니다.

[KMOOC 강화학습] Week 03-3 Knapsack Problem

최대 1 분 소요

해당 강의는 K-MOOC의 “강화학습의 수학적 기초와 알고리즘 이해” 수업을 수강하며 기록한 내용입니다. 강의는 링크에서 확인하실 수 있습니다.

[KMOOC 강화학습] Week 03-2 TSP

최대 1 분 소요

해당 강의는 K-MOOC의 “강화학습의 수학적 기초와 알고리즘 이해” 수업을 수강하며 기록한 내용입니다. 강의는 링크에서 확인하실 수 있습니다.

[KMOOC 강화학습] Week 03-1 Shortest Path

1 분 소요

해당 강의는 K-MOOC의 “강화학습의 수학적 기초와 알고리즘 이해” 수업을 수강하며 기록한 내용입니다. 강의는 링크에서 확인하실 수 있습니다.

[KMOOC 강화학습] Week 02-2 외판원 문제

최대 1 분 소요

해당 강의는 K-MOOC의 “강화학습의 수학적 기초와 알고리즘 이해” 수업을 수강하며 기록한 내용입니다. 강의는 링크에서 확인하실 수 있습니다.

[Paper] Local2Global Review

최대 1 분 소요

“Local2Global: A distributed approach for scaling representation learning on graphss”이란 논문에 대한 리뷰입니다.

[Paper] LINE

1 분 소요

LINE를 numpy 바탕으로 하드코딩하여 구현한 것을 파트별로 구분한 것입니다.

[Paper] DeepWalk

2 분 소요

DeepWalk를 numpy 바탕으로 하드코딩하여 구현한 것을 파트별로 구분한 것입니다.

[Note] BPR

1 분 소요

BPR에 대한 정리와 구현글입니다.

[Note] Bias & Variance

2 분 소요

Bias와 Variance간 trade off 혹은 그 decomposition에 대한 정리글입니다.

[Paper] Spatial GNN

1 분 소요

“Neural Network for Graphs: A Contextual Constructive Approach”이란 논문에 대한 리뷰입니다.

[Paper] GCN

1 분 소요

“semi-supervised classification with graph convolutional networks”이란 논문에 대한 리뷰입니다.

[Paper] GNN

1 분 소요

“The Graph Neural Network Model”이란 논문에 대한 리뷰입니다.

[Paper] PD-GAN

5 분 소요

“PD-GAN: Adversarial Learning for Personalizaed Diversity-Promoting Recommendation”이란 논문에 대한 리뷰입니다.

[Paper] DGCN

4 분 소요

“DGCN: Diversified Recommendation with Graph Convolutional Networks “이란 논문에 대한 리뷰입니다.

맨 위로 이동 ↑