AI기록장

‣ 해당 블로그는 ⌜실전! 파이토치 딥러닝 프로젝트⌟를 공부하며, 배운것들을 토대로 정리되었음을 알려드립니다. 텍스트 생성이란? 인공지능이 기존의 텍스트로부터 새로운 텍스트를 생성하는 포로세스. 뉴스 기사, 시, 코드, 스크립트, 소설, 잡지 문구 등과 같이 텍스트 생성을 다루는 자연어 처리(NLP)의 한 분야라고 생각하면 좋겠다. 텍스트 생성은 작사, 기사의 주요 문구, 제목, 이메일 작성 등 창의적으로 텍스트를 생성해야하는 다양한 분야에도 널리 사용되고 있다. 생성형 AI에서의 텍스트 생성 원리 텍스트 생성은 대규모 텍스트 데이터를 미리 학습한 머신러닝 모델을 사용하여, 또 다른 새로운 텍스트를 생성하는 프로세스를 갖고 있다. 단어와 구문 사이의 통계적 관계 및 수치적 관계를 이용하여 학습하고, 학습..

‣ 해당 블로그는 ⌜실전! 파이토치 딥러닝 프로젝트⌟를 공부하며, 배운것들을 토대로 정리되었음을 알려드립니다. 언어 모델링 특정 단어 시퀀스가 주어졌을 때 그 뒤를 따를 단어 또는 단어 시쿼스의 발생 확률을 알아 내는 작업. ("French is a beautiful ___" -> 'language' 나 'word' 등이 나올 확률은? ) -> 확률적 통계적 기법을 사용하여 언어를 모델링함으로써 계산 됨. 이는 어떤 단어들이 함께 등장하고, 어떤 단어들이 절대 함께 나오지 않는지를 배움으로써 텍스트 말뭉치를 관찰하고 문법을 학습하는 것에서 비롯됐다. 트랜스포머 모델 아키텍처 위 그림에서 왼쪽은 '인코드', 오른쪽은 '디코더'에 해당하고, 아키텍처가 깊어질수록 인코더와 디코더는 여러번 이어 붙일 수 있다...

‣ 해당 블로그는 ⌜실전! 파이토치 딥러닝 프로젝트⌟를 공부하며, 배운것들을 토대로 정리되었음을 알려드립니다. 순환 신경망(RNN, recurrent neural network) X(혹은 y)가 단일의 독립 데이터 포인트뿐 아니라 데이터포인트의 시간 순서 [X1,X2..Xt] 또는 [y1,y2,,yt]인 순서를 모델링할 수 있는 종류의 신경망 X2(시간 단계 2에서 데이터 포인트)는 X1에 종속되고, X3는 X2와 X1에 종속되는 과정 → 이러한 네트워크가 순환 신경망(RNN) 이와 같이 네트워크에서 주기를 생성하는 모델에 추가적인 가중치를 포함해 데이터의 시간적 측면을 모델링 할 수 있음. 신경망 데이터 셋의입력(X)과 출력(Y) 사이의 복잡한 패턴을 학습하는 데 사용되는 강력한 머신러닝 도구 주기(C..