전체 글 55

신경망에 대해서 공부하다가 든 아이디어 정리

LLM과 머신러닝/딥러닝의 결합 아이디어 정리1. 아이디어 시작: LLM을 활용한 머신러닝 최적화머신러닝/딥러닝 모델은 정확도를 100%로 만들 수 없지만, 최대한 높은 성능을 내도록 조정하는 것이 목표.기존 모델은 학습 후 결과만 제공하지만, 뉴런에서 어떤 일이 일어났는지(추론 과정)를 설명해주지 않음.→ 뉴런 단위에서 일어나는 계산 과정을 로그화하여 LLM에게 전달하면사람이 이해할 수 있도록 설명 가능문제 발생 시, 사람이 직접 개입하지 않아도 LLM이 학습을 보정하도록 유도 가능예를 들어, 잘못된 예측이 발생하면 LLM이 오류 원인을 분석하고 학습 방법을 조정하는 방식을 제안할 수 있음.2. 기존 접근의 문제점 및 한계뉴런 로그 데이터가 너무 방대해질 가능성모든 뉴런에서 발생하는 정보를 기록하면 데..

[STUDY]/[노트] 2025.02.25

[학습 계획]야 너두 파인튜닝 할 수 있어

1. 프로젝트 개요목표: LLaMA 3.2 1B와 DeepSeek R1 1.5B 모델을 각각 한국어 학습시켜 성능을 비교주요 실험 내용:동일한 한국어 데이터셋을 활용하여 두 모델을 LoRA 방식으로 파인튜닝한국어 문장이 어색하지 않도록 개선하는 것이 핵심 목표결과 비교를 통해 모델별 학습 효율성과 성능 차이 분석2. 모델 및 방법론 선정 이유모델 선정 이유LLaMA 3.2 1B & DeepSeek R1 1.5B이유: 대형 LLM을 다루기 전에 소규모 모델로 먼저 경험을 쌓기 위한 목적Colab 환경에서 비교적 적은 자원으로 실험 가능두 모델 간 한국어 학습 성능 차이를 비교하는 데 적합LoRA 선정 이유LoRA (Low-Rank Adaptation) 적용 이유VRAM이 제한된 환경에서 효율적으로 모델을 ..

[딥러닝의 모든것] - 활성화 함수

수강 강좌 : https://www.udemy.com/course/best-artificial-neural-networks/?couponCode=JUST4U02223  학습 목표 이 강의 섹션에서는 신경망(Neural Networks)의 기본 개념과 학습 방법을 학습합니다. 주요 학습 목표는 다음과 같습니다.1. 뉴런(The Neuron) - 53• 인공 신경망의 기본 단위인 뉴런(Neuron)의 구조와 동작 방식을 이해합니다.2. 활성화 함수(The Activation Function) - 54• 뉴런의 출력을 결정하는 활성화 함수의 역할과 대표적인 함수(Sigmoid, ReLU, Tanh 등)를 살펴봅니다.3. 신경망의 동작 방식(How do Neural Networks work?) - 55• 신경망..

[STUDY]/[공부] 2025.02.16

[딥러닝의 모든것] - 딥러닝, 뉴런

수강 강좌 : https://www.udemy.com/course/best-artificial-neural-networks/?couponCode=JUST4U02223 학습 목표 이 강의 섹션에서는 신경망(Neural Networks)의 기본 개념과 학습 방법을 학습합니다. 주요 학습 목표는 다음과 같습니다. 1. 뉴런(The Neuron) - 53 • 인공 신경망의 기본 단위인 뉴런(Neuron)의 구조와 동작 방식을 이해합니다. 2. 활성화 함수(The Activation Function) - 54 • 뉴런의 출력을 결정하는 활성화 함수의 역할과 대표적인 함수(Sigmoid, ReLU, Tanh 등)를 살펴봅니다. 3. 신경망의 동작 방식(How do Neural Networks work?) - 55 ..

[STUDY]/[공부] 2025.02.16

요즘 llm 관련 공부할 것 끼적이기

정리해야함1. 요즘 핫한 llm 논문들 분석하기 -> 딥식이와 s1 (https://arxiv.org/pdf/2501.19393)2. s1 깃허브 https://github.com/simplescaling/s1 GitHub - simplescaling/s1: s1: Simple test-time scalings1: Simple test-time scaling. Contribute to simplescaling/s1 development by creating an account on GitHub.github.com3. 킹갓 일민이 준 링크 자세히 확인하기 : https://github.com/SafeAILab/EAGLE GitHub - SafeAILab/EAGLE: Official Implementatio..

[STUDY]/[노트] 2025.02.10

[SDP]네트워크 이상 감지 시스템 - 머신러닝

데이터 편 보고오기 : https://eunmastudio.tistory.com/50 [SDP]네트워크 이상 감지 시스템 - data 편프로젝트 초안 계획서 : 계획서 프로젝트 초안프로젝트 계획서프로젝트 명: Smart Data Pipeline & Intelligent Recommendation System (임시)1. 프로젝트 개요1.1. 배경 및 필요성데이터 중심 시대: 다양한 소스eunmastudio.tistory.com 목차  머신러닝 모델 학습 과정 (랜덤 포레스트 vs XGBoost) Feature Importance 분석 추가 확장 계획: 모델 개선 및 앙상블 기법 적용 최종 결론 및 향후 과제 네트워크 이상 탐지: 머신러닝 모델 학습 과정랜덤 포레스트 vs XGBoost, 최고의 모델은? ..

[SDP]네트워크 이상 감지 시스템 - data 편

프로젝트 초안 계획서 : 계획서 프로젝트 초안프로젝트 계획서프로젝트 명: Smart Data Pipeline & Intelligent Recommendation System (임시)1. 프로젝트 개요1.1. 배경 및 필요성데이터 중심 시대: 다양한 소스에서 발생하는 데이터를 효과적으로 수집, 정제,eunmastudio.tistory.com활용 data : kaggle TII-SSRC-23 DatasetNetwork traffic for intrusion detection research.www.kaggle.com 참고 논문 : Typological Exploration of Diverse Traffic Patterns for Intrusion Detection논문 한글로 맛보기 : 전문 번역, 요약 번역..

TII-SSRC-23 데이터셋 논문 요약

참고한 논문 : https://arxiv.org/pdf/2310.10661프로젝트 계획서 : https://eunmastudio.tistory.com/44 프로젝트 초안프로젝트 계획서프로젝트 명: Smart Data Pipeline & Intelligent Recommendation System (임시)1. 프로젝트 개요1.1. 배경 및 필요성데이터 중심 시대: 다양한 소스에서 발생하는 데이터를 효과적으로 수집, 정제,eunmastudio.tistory.com 깃허브 : https://github.com/EunmaCorp/SDP논문 전문 : https://eunmastudio.tistory.com/48TII-SSRC-23 데이터셋 논문 요약1. 연구 배경 및 필요성네트워크 침입 탐지 시스템(IDS)의 성..

[STUDY]/[논문] 2025.02.08

TII-SSRC-23 데이터셋 논문 전문 번역

참고한 논문 : https://arxiv.org/pdf/2310.10661프로젝트 계획서 : https://eunmastudio.tistory.com/44 프로젝트 초안프로젝트 계획서프로젝트 명: Smart Data Pipeline & Intelligent Recommendation System (임시)1. 프로젝트 개요1.1. 배경 및 필요성데이터 중심 시대: 다양한 소스에서 발생하는 데이터를 효과적으로 수집, 정제,eunmastudio.tistory.com 깃허브 : https://github.com/EunmaCorp/SDP논문 요약본 : https://eunmastudio.tistory.com/49 TII-SSRC-23 데이터셋: 침입 탐지를 위한 다양한 네트워크 트래픽 유형의 분류적 탐색Dania..

[STUDY]/[논문] 2025.02.08

Human Pose Estimation

HPE가 무엇인지 궁금해서 직접 공부해보고 지원하기로 했다!! 계획서 : https://eunmastudio.tistory.com/46깃허브 : https://github.com/Oh-JunTaek/sideProject/tree/main/Human%20Pose%20Estimation 준비물데이터 셋 선정 : COCO  대규모 데이터와 다양성:COCO 데이터셋은 수십만 장의 이미지와 다양한 환경, 포즈, 인물 구성을 포함하고 있어, 실제 애플리케이션에서 발생할 수 있는 다양한 상황을 모델이 학습할 수 있도록 돕습니다.풍부한 어노테이션:사람의 keypoints(관절) 어노테이션이 정밀하게 제공되며, 객체 검출, 세분화 등 다양한 태스크를 위한 어노테이션이 함께 포함되어 있어, 여러 연구 및 응용 분야에서 활..