OpenAI의 새로운 이미지 생성 모델, DALLE-3의 등장

이미지 생성 기술인 DALLE보다는 ChatGPT로 일반 대중들에게 보다 빠르게 다가갈 수 있었던 OpenAI가 자체 이미지 generative AI 모델인 Dalle의 세번째 버전을 공개하였다. Stable diffusion과 같이 프롬프트 기반의 image 생성 AI라는 점에서 큰 차이는 없지만 눈에 띄는 변화는 바로 ChatGPT와의 연동성이라고 볼 수 있다. 언어 모델을 통해 프롬프트 엔...
Published on September 21, 2023 | 4 min read

ChatGPT(챗지피티)가 사람같이 자연스럽게 말할 수 있는 이유는!? RLHF 학습법에 대하여

이 글은 huggingface의 게시글 중 'Illustrating Reinforcement Learning from Human Feedback (RLHF)'를 번역 및 각색하여 딥러닝을 잘 모르는 사람들도 이해할 수 있게 바꾼 내용이다. 원본 게시글 링크는 다음과 같다(참고 링크). Lambert, et al., “Illustrating Reinforcement Learning fro...
Published on March 25, 2023 | 17 min read

Pytorch 2.0에서 어떤 점이 변했을까??

이번 게시글에서 소개할 내용은 pytorch 1.13 버전 이후 새롭게 출시된 pytorch 2.0을 사용해보는 것이다.OVERVIEW본인은 파이토치, 텐서플로우 모두 써본 사람이고, 굳이 비교하자면 파이토치가 텐서플로우보다 사용하기 편하다고 생각된다. 일단 사용자 친화적(클래스 정의부터 시작해서, 학습 함수를 구현하는...
Published on January 05, 2023 | 16 min read

cs231n 내용 요약 (10) - Visualizing, Transfer learning

들어가며…이 글이 아마도 cs231n과 관련된 마지막 포스팅이 될 것이다. 사실 깃허브 블로그를 오픈하고 기존 네이버 블로그에 작성했던 내용들을 다시 원래 강의 노트와 비교하면서 옮기고 있었는데, 예전에 작성했던 내용들을 보니 애매하게 적어둔 내용도 많고 잘 모르고 작성한 부분들도 은근 많았던 것 같다. 1년 전이기 때문에 지금도 그때와 비교해서 더 많이 아는 건 아니지만 정리하면서 최대한 예전에 공부했던 내용들을 다시 살펴보는 것이 기초를 다지는 과정에 효과...
Published on November 11, 2022 | 27 min read

cs231n 내용 요약 (9) - CNN(Convolutional neural network)

들어가며…이전까지의 글을 통해 길고 긴 여정을 거쳐 신경망에 대한 내용을 정리할 수 있었다. 딥러닝은 머신러닝의 한 방법론이라고 볼 수 있는 neural network를 확장시켜 보다 깊은 레이어층을 학습하고자 했던 연구였고, 그 연구가 많은 발전을 이루어 현재 AI가 사업의 대부분을 구성하는 세상이 되었다. 사실 딥러닝을 처음 공부했을 때는 공부해도 되는 분야인지 막막하기도 했었고, 공부하다보면 최근 논문이나 연구로 올수록 앞으로 내가 이 분야에서 대학원 생활을 통해 얻을...
Published on November 10, 2022 | 19 min read

cs231n 내용 요약 (8) - Learning and evaluation

들어가며…이전 게시글에서 다뤘던 내용은 neural network에서 고정으로 사용될 수 있는 내용이었다. 여기서 고정으로 사용된다는 것은 학습 시에 변하지 않는 것을 의미한다. 예를 들어 정규화 방법으로 L1 regularization을 선택할 수도, L2 regularization을 선택할 수도 있지만 task에 따라 선택한 objective function은 불변이라는 점이다. 정규화를 제외하고도 네트워크 구조나 데이터 전처리 등등에 대해서 살펴볼 수 있었다. <br ...
Published on November 09, 2022 | 30 min read

cs231n 내용 요약 (7) - Regularization, Loss function

들어가며…바로 이전 게시글에서 batch normalization에 대한 개념과 해당 요소를 실제 딥러닝에서 어떻게 연산하는지 코드를 통해 확인해보았다. 이번 게시글에서는 batch normalization과 같이 정규화 역할을 하지만, layer 사이의 covariance shift를 줄이기 위한 목적보다는 overfitting을 방지하기 위한 목적으로 사용되는 여러 regularization term에 대해 알아보고, 딥러닝에서 다루는 supervised learning...
Published on November 08, 2022 | 13 min read

cs231n 내용 요약 (6) - Data preprocessing, Weight initialization, Batch Normalization

들어가며…이전까지 했던 내용에 대한 전반적인 요약은 다음과 같다. Linear classification을 예시로 들면서 softmax, SVM(support vector machine)의 classifier를 소개했었고, 이러한 classifier가 학습되는 과정에서 사용되는 score function의 한 형태인 neural network를 언급했었다. 생체 뉴런을 유사한 형태로 표현한 perceptron의 구조와 각 연산이 ...
Published on November 07, 2022 | 26 min read

cs231n 내용 요약 (5) - Neural Network

들어가며…딥러닝의 침체기에 걸쳐있던 perceptron과 이를 극복하기 위한 multilayer perceptron 구조, 그리고 해당 구조를 학습시킬 수 있는 방법으로 backpropagation에 대해 알아볼 수 있었다. 이번 글도 똑같은 구조인 neural network에 대해서 살펴볼텐데, 이전까지는 방법론에 대한 내용이 주를 이루었다면 이번에는 그보다는 조금 더 architecture, structure에 대해서 살펴볼 예정이다.<h1 i...
Published on November 06, 2022 | 17 min read

cs231n 내용 요약 (4) - Backpropagation

들어가며…앞선 글에서 다루었던 내용들은 linear classification task에 대해 classifier로 사용될 수 있는 support vector machine(SVM)과 softmax에 대한 형태, 그리고 각각의 classifier의 최적화 과정에서 loss function으로 사용되는 hinge loss와 cross-entropy loss...
Published on November 05, 2022 | 16 min read

cs231n 내용 요약 (3) - Optimization(최적화)

신경망 학습바로 이전 글에서는 linear classification에서 사용할 수 있는 두 classifier인 SVM(support vector machine)과 softmax에 대해 소개하였다. 대표적인 특징으로 SVM은 각 class 별 점수를 affine function $f$를 통해 구한 뒤, 정답에 해당되는 class의 점수를 다른 class의 점수보다 특정 margin($\Delta$) 이상 차이나게끔 구별하게끔...
Published on November 04, 2022 | 11 min read

cs231n 내용 요약 (2) - Linear classification

이전 글에서…이전 포스팅 기준으로 컴퓨터비전에서 가장 대표적인 task인 image classification에 대해서 설명했다. 그리고 간단한 모델인 KNN(k -Nearest Neighbor) classifier에 대한 소개도 했었다. Image Classification에서 해결해야할 여러 문제들을 제시했고, 이러한 문제들을 해결하기 위해 data driven algorithm을 사용한다고 언급했었다. 그러나 단순히 각 샘플에 대한 거리 메트릭 비교를 통한 분류의 경우 다음과...
Published on November 03, 2022 | 19 min read

cs231n 내용 요약 (1) - Image classification

What is image classification?이미지 분류(Image classification)는 컴퓨터비전(computer vision)으로 해결하고자 하는 여러 가지 task(challenge) 중 가장 기본이라고 볼 수 있다. 기존 머신러닝이 해결하기 힘들었던 데이터 수에 따른 성능 수렴을 해결했던 딥러닝 방식은 이미지 분류 대회에서 AlexNet이라는 네트워크가 우승하면서 시작되었다. 대부분의 사람들은 AI라고 하면 ...
Published on November 02, 2022 | 11 min read

cs231n 내용 요약 (0) - What is deep learning?

Overview인공지능이란 무엇일까? 원래도 최근에 유명해진 분야이긴 하지만 그림 그리는 AI 등등 성능이 많이 올라오면서 이쪽 분야를 공부하고자 하는 사람들이 많아진 것 같다. 흔히 듣는 인공지능에 대한 용어들 중 AI, 딥러닝, 머신러닝, 데이터 사이언스나 빅데이트 등등 혼용해서 사용되는 경우가 많다. 그러다보니 결국 deep learning이란 무엇이고, 어떤 걸 공부하는 분야인지 애매해지는 경우가 생긴다. 지금부터 작성할 글들은 스탠포드 강의인 <a href="https...
Published on November 01, 2022 | 4 min read