CER과 WER에 대해 알아보자 한국어는 왜 CER로 계산해야하는가? CER과 WER WER : Word Error Rate CER : Character Error Rate WER과 CER의 계산 방법은 거의 동일하다. 띄어쓰기로 구분되는 토큰들의 총 개수에 대비되는 insertion, deletion, substitution...

RNN에 대해 알아보자. 장단기 메모리(Long Short-Term Memory, LSTM) 1. 바닐라 RNN 내부 구조 [h_t = thanh({W_x}x_t + {W_h}h_{t-1} + b)] 바닐라 RNN은 $x_t$와 $h_{t-1}$이라는 두 개의 입력이 각각의 가중치와 곱해져서 메모리 셀의 입력이 된다. 그리고 이를 ...

RNN에 대해 알아보자. 순환 신경망(Recurrent Neural Network, RNN) 0. RNN? 그런데 FNN(Feed Forward Neural Network)을 곁들인 시계열 데이터의 경우 이전의 정보가 다음의 결과에 영향을 미치기 때문에 FNN만으로는 충분하지 않다. 따라서 시간에 따라 누적된 정보를 처리할 수 있는 신경망...

📚 문제 💭 풀이 """ #! 이렇게 하면 시간 초과 import sys # 명령의 수 N을 선언한다. N = int(sys.stdin.readline()) A = [0] * N for i in range(N): A[i] = int(sys.stdin.readline()) for i in range(N-1): flag = ...

📚 문제 💭 풀이 import sys N = int(sys.stdin.readline()) # 정렬할 수 개수 A = [0] * N # 수를 저장할 리스트 선언 for i in range(N): A[i] = int(sys.stdin.readline()) for i in range(N-1): for j in range(N-1...

최근 핫한 PEFT 기법과 그 중 LoRA 기법에 대해 알아보겠습니다. PEFT와 LoRA PEFT란? PEFT란 Hugging face에서 소개한 방법이다. Parameter-Efficient Fine-Tuning (이하 PEFT)는 사전 훈련된 거대 언어 모델을 특정 상황에 적용할 때, 대부분의 파라미터를 freeze 하고 소수의...

밑바닥부터 다시 개념 정리를 해봅시다.. 개념 끄적이기.. 1. 국소적 계산과 계산 그래프 계산 그래프의 특징은 국소적 계산 을 전파함으로써 최종 결과를 얻는 다는 점에 있다. 국소적이란 ‘자신과 직접 관계된 작은 범위’ 라는 뜻이다. 결국 전체에서 어떤 일이 벌어지든 상관없이 자신과 관계된 정보만으로 결과를 출력할 수 있다는 것이다....

밑바닥부터 다시 개념 정리를 해봅시다.. 1. 퍼셉트론(perceptron) 퍼셉트론은 다수의 신호를 입력을 받아 하나의 신호를 출력 전류가 전선을 타고 흐르는 전자를 내보내듯, 퍼셉트론 신호도 흐름을 만들고 정보를 앞으로 전달함 흐른다 : 1, 안 흐른다 : 0 x1, x2 : 입력 신호 y : 출력 신호 ...

TTS를 공부하고 정리하는 글. 1. TTS(Text to Speech)란? 사전적 의미 : 디지털 텍스트(input)를 음성(Output)으로 변환하는 기술 통상적 의미 : 음성합성 시스템 2. Tacotron2c 구글에서 발표 모델 전체 구조 모델의 음성 생성 과정 텍스트로부터 음성 생성 과정을 두 ...

취업 후 현업에서 쓰이는 데이터를 직접 다뤄보니 Missing Data가 굉장히 많았습니다. Missing Data를 어떻게 핸들링 해야 좋을지에 대해 공부한 것을 정리해볼까 합니다. 1. 결측값이 생기는 이유 Missing Data는 측정하고 저장한 데이터의 일부가 누락된 것을 의미한다. real world 에서 관측하는...