EunmaStudio

1. 프로젝트 개요목표: LLaMA 3.2 1B와 DeepSeek R1 1.5B 모델을 각각 한국어 학습시켜 성능을 비교주요 실험 내용:동일한 한국어 데이터셋을 활용하여 두 모델을 LoRA 방식으로 파인튜닝한국어 문장이 어색하지 않도록 개선하는 것이 핵심 목표결과 비교를 통해 모델별 학습 효율성과 성능 차이 분석2. 모델 및 방법론 선정 이유모델 선정 이유LLaMA 3.2 1B & DeepSeek R1 1.5B이유: 대형 LLM을 다루기 전에 소규모 모델로 먼저 경험을 쌓기 위한 목적Colab 환경에서 비교적 적은 자원으로 실험 가능두 모델 간 한국어 학습 성능 차이를 비교하는 데 적합LoRA 선정 이유LoRA (Low-Rank Adaptation) 적용 이유VRAM이 제한된 환경에서 효율적으로 모델을 ..

논문 출처 : DEEPSEEK최근 가장 핫한 주제는 deepseek라고 생각됩니다. 그래서 논문을 우선 읽어보도록 하겠습니다!!번역/의역 작업을 하면서 틀린 부분이 있을 수 있으니 흐름을 파악하는 용도로만 보시고긴가민가한 부분은 원문을 체크해주세요논문의 순서대로 번역을 진행했으며 가장 하단에 각 부분의 요약을 작성했습니다. 초록 (Abstract)우리는 우리의 첫 번째 세대 추론 모델인 DeepSeek-R1-Zero와 DeepSeek-R1을 소개합니다.DeepSeek-R1-Zero는 감독 학습 기반 미세 조정(SFT, Supervised Fine-Tuning) 없이 대규모 강화 학습(RL, Reinforcement Learning)을 통해 훈련된 모델로, 뛰어난 추론 능력(reasoning capabil..