NLP9 IBM Models / Key ideas in the IBM translation models: - Alignment mappings - Lexical word translation paraeters (p) - Distortion parameters (q) EN Algorithm is used for learning the parameters Once the parameters are trained, we can recover the most likely alignments on training examples 매개변수가 훈련되면 훈련 예제에서 가장 가능성이 높은 정렬을 복구할 수 있습니다. Weeknesses of IBM models' alignments: 1, noisy : x accurate 2. many-to-one i.. 2021. 10. 26. HMM / MEMMs / CRF Log-Linear Models : 지수를 이용해 조건부 확률 구하기 : depends on the conditional distribution using the exponential function some input domain X a finite label set y Aim is to provide a conditional probability P(y|x) Feacutrs in Log-lnear Models Theoritically, we can use any features in X and S - The current word - The surrounding words - The current POS tag - The surrounding tags • Structured Prediction 특징 .. 2021. 10. 25. Sequence labeling Unstructured predcition -> classification task 비정형 예측-> 분류 1. Output Y consists of a single component ex) input = image / output = a class label {cat, dog, finch, owl} Stuctured prediction 1. Output Y consists of multiple components Y = {y1, y2, y3.. yn} - class는 셀 수 없을 정도로 많다 - 문제의 structure를 활용할 수 있는 방법론이 필요 - 모델의 ouput 간에 dependency가 존재 -> y는 label이 아닌 syntax tree가 출력된다. - Single compoent of .. 2021. 10. 25. Limitations of feedforward neural network / RNN / Backpropagation Through Time (BPTT) / Gated RNN / Bidirection RNN / Skip-Thought Vectors Feeedforward Neural Networks (FFNN) = 다층 퍼셉트론(MLP)과 같이 입력층에서 출력층 방향으로 연산이 전개되는 방향 - Is a function approximator where the output depends on a single input -> y=f(x) - The inputs are assumed to be independent from each other Limitations of feedforward neural network 1. input size should be fixed -> 반드시 same size여야 함. 이게 단점인 것이, NLP에서는 input 값 길이가 다 다르므로 단점, 제한점이 생긴다. 2. All the input instances sho.. 2021. 10. 25. Feedforward Neural Network / Multilayer Perceptron / Backpropagation / MLP for NLP Tasks / ReLu 1. 다층 퍼셉트론(MultiLayer Perceptron, MLP) 앞서 단층 퍼셉트론의 형태에서 은닉층이 1개 이상 추가된 신경망을 다층 퍼셉트론(MLP)이라고 한다고 배웠습니다. 다층 퍼셉트론은 피드 포워드 신경망(Feed Forward Neural Network, FFNN)의 가장 기본적인 형태입니다. 피드 포워드 신경망은 입력층에서 출력층으로 오직 한 방향으로만 연산 방향이 정해져 있는 신경망을 말합니다. Feedforward Neural Network - MLP와 같이 입-> 출력층 방향으로 연산이 전개되는 신경망 - An extension to perceptron by foring series connection between layers of parallel perceptrons: inpu.. 2021. 10. 24. Evaluation Metrics/ NL Representation / Distributional Hypothesis / Vector Embedding / Word Embedding / Matrix Factorization / Word2Vec / Skip-Gram / CBOW / Negative Sampling Evaluation Metrics F1 is biased towards the lower of precision and recall: F1은 정밀도와 재현율이 낮은 쪽으로 편향됩니다. harmonic mean words] - Sparsity in the NLP training datasets: natural language has a very huge space. NLP 희소 행렬을 만들면 사이즈가 너무 커짐 ex) Average Wikipedia page size is 580 words and English has ~1M words, yet the actual possibilities is far more. - We.. 2021. 10. 24. 이전 1 2 다음
