EunmaStudio

들어가기 전에코랩 무료플랜으로도 진행 가능(T4)계획 수립 단계 : https://eunmastudio.tistory.com/58노트북 파일 공유 : 구글드라이브결과물 공유 : 허깅페이스 Eunma/korean-model · Hugging Face한국어 교육 자료 파인튜닝 모델 (Qwen2.5-1.5B + LoRA) 모델 소개 Qwen/Qwen2.5-1.5B-Instruct 를 기반으로 maywell/korean_textbooks 데이터셋, 그리고 LoRA(저랭크 적응) 기법을 사용해 파인튜닝한 어댑터(LoRA 가중치huggingface.co [파인튜닝 도전 - 워크플로우] 소형 오픈소스 LLM을 활용한 파인튜닝파인튜닝 Qwen2.5-1.5B를 4bit+LoRA로 한국어 교과 데이터에 SFT 해보기 ..

파인튜닝 Qwen2.5-1.5B를 4bit+LoRA로 한국어 교과 데이터에 SFT 해보기 (Unsloth/TRL 실습)구성1. 프로젝트 개요목표: 오픈소스 소형 LLM(Qwen1.5B)을 한국어 데이터셋으로 파인튜닝하여 자연스러운 한국어 응답 성능 확인이유20B 이상 모델은 VRAM/자원 요구치가 높아 개인 실습에 적합하지 않음1~3B 소형 모델은 Colab/개인 GPU에서도 시도 가능출력물학습 코드 (Colab / VSCode 환경)학습 로그 및 그래프샘플 질의응답 결과실험 후기 및 한계점 분석2. 환경 준비필수 라이브러리transformers, datasets, peft(LoRA/QLoRA), accelerate, bitsandbytes환경 선택Colab Pro (T4 / A100 권장)로컬 GPU ..

LLM과 머신러닝/딥러닝의 결합 아이디어 정리1. 아이디어 시작: LLM을 활용한 머신러닝 최적화머신러닝/딥러닝 모델은 정확도를 100%로 만들 수 없지만, 최대한 높은 성능을 내도록 조정하는 것이 목표.기존 모델은 학습 후 결과만 제공하지만, 뉴런에서 어떤 일이 일어났는지(추론 과정)를 설명해주지 않음.→ 뉴런 단위에서 일어나는 계산 과정을 로그화하여 LLM에게 전달하면사람이 이해할 수 있도록 설명 가능문제 발생 시, 사람이 직접 개입하지 않아도 LLM이 학습을 보정하도록 유도 가능예를 들어, 잘못된 예측이 발생하면 LLM이 오류 원인을 분석하고 학습 방법을 조정하는 방식을 제안할 수 있음.2. 기존 접근의 문제점 및 한계뉴런 로그 데이터가 너무 방대해질 가능성모든 뉴런에서 발생하는 정보를 기록하면 데..

1. 프로젝트 개요목표: LLaMA 3.2 1B와 DeepSeek R1 1.5B 모델을 각각 한국어 학습시켜 성능을 비교주요 실험 내용:동일한 한국어 데이터셋을 활용하여 두 모델을 LoRA 방식으로 파인튜닝한국어 문장이 어색하지 않도록 개선하는 것이 핵심 목표결과 비교를 통해 모델별 학습 효율성과 성능 차이 분석2. 모델 및 방법론 선정 이유모델 선정 이유LLaMA 3.2 1B & DeepSeek R1 1.5B이유: 대형 LLM을 다루기 전에 소규모 모델로 먼저 경험을 쌓기 위한 목적Colab 환경에서 비교적 적은 자원으로 실험 가능두 모델 간 한국어 학습 성능 차이를 비교하는 데 적합LoRA 선정 이유LoRA (Low-Rank Adaptation) 적용 이유VRAM이 제한된 환경에서 효율적으로 모델을 ..

수강 강좌 : https://www.udemy.com/course/best-artificial-neural-networks/?couponCode=JUST4U02223  학습 목표 이 강의 섹션에서는 신경망(Neural Networks)의 기본 개념과 학습 방법을 학습합니다. 주요 학습 목표는 다음과 같습니다.1. 뉴런(The Neuron) - 53• 인공 신경망의 기본 단위인 뉴런(Neuron)의 구조와 동작 방식을 이해합니다.2. 활성화 함수(The Activation Function) - 54• 뉴런의 출력을 결정하는 활성화 함수의 역할과 대표적인 함수(Sigmoid, ReLU, Tanh 등)를 살펴봅니다.3. 신경망의 동작 방식(How do Neural Networks work?) - 55• 신경망..

수강 강좌 : https://www.udemy.com/course/best-artificial-neural-networks/?couponCode=JUST4U02223 학습 목표 이 강의 섹션에서는 신경망(Neural Networks)의 기본 개념과 학습 방법을 학습합니다. 주요 학습 목표는 다음과 같습니다. 1. 뉴런(The Neuron) - 53 • 인공 신경망의 기본 단위인 뉴런(Neuron)의 구조와 동작 방식을 이해합니다. 2. 활성화 함수(The Activation Function) - 54 • 뉴런의 출력을 결정하는 활성화 함수의 역할과 대표적인 함수(Sigmoid, ReLU, Tanh 등)를 살펴봅니다. 3. 신경망의 동작 방식(How do Neural Networks work?) - 55 ..

정리해야함1. 요즘 핫한 llm 논문들 분석하기 -> 딥식이와 s1 (https://arxiv.org/pdf/2501.19393)2. s1 깃허브 https://github.com/simplescaling/s1 GitHub - simplescaling/s1: s1: Simple test-time scalings1: Simple test-time scaling. Contribute to simplescaling/s1 development by creating an account on GitHub.github.com3. 킹갓 일민이 준 링크 자세히 확인하기 : https://github.com/SafeAILab/EAGLE GitHub - SafeAILab/EAGLE: Official Implementatio..

데이터 편 보고오기 : https://eunmastudio.tistory.com/50 [SDP]네트워크 이상 감지 시스템 - data 편프로젝트 초안 계획서 : 계획서 프로젝트 초안프로젝트 계획서프로젝트 명: Smart Data Pipeline & Intelligent Recommendation System (임시)1. 프로젝트 개요1.1. 배경 및 필요성데이터 중심 시대: 다양한 소스eunmastudio.tistory.com 목차  머신러닝 모델 학습 과정 (랜덤 포레스트 vs XGBoost) Feature Importance 분석 추가 확장 계획: 모델 개선 및 앙상블 기법 적용 최종 결론 및 향후 과제 네트워크 이상 탐지: 머신러닝 모델 학습 과정랜덤 포레스트 vs XGBoost, 최고의 모델은? ..

프로젝트 초안 계획서 : 계획서 프로젝트 초안프로젝트 계획서프로젝트 명: Smart Data Pipeline & Intelligent Recommendation System (임시)1. 프로젝트 개요1.1. 배경 및 필요성데이터 중심 시대: 다양한 소스에서 발생하는 데이터를 효과적으로 수집, 정제,eunmastudio.tistory.com활용 data : kaggle TII-SSRC-23 DatasetNetwork traffic for intrusion detection research.www.kaggle.com 참고 논문 : Typological Exploration of Diverse Traffic Patterns for Intrusion Detection논문 한글로 맛보기 : 전문 번역, 요약 번역..

참고한 논문 : https://arxiv.org/pdf/2310.10661프로젝트 계획서 : https://eunmastudio.tistory.com/44 프로젝트 초안프로젝트 계획서프로젝트 명: Smart Data Pipeline & Intelligent Recommendation System (임시)1. 프로젝트 개요1.1. 배경 및 필요성데이터 중심 시대: 다양한 소스에서 발생하는 데이터를 효과적으로 수집, 정제,eunmastudio.tistory.com 깃허브 : https://github.com/EunmaCorp/SDP논문 전문 : https://eunmastudio.tistory.com/48TII-SSRC-23 데이터셋 논문 요약1. 연구 배경 및 필요성네트워크 침입 탐지 시스템(IDS)의 성..