본문 바로가기

공부

 (62)
오픈 데이터를 제공하는 사이트 정리 1. Kaggle (캐글) 데이터를 제공하는 대표적인 플랫폼으로 다양한 데이터 세트를 제공한다. https://www.kaggle.com/ Kaggle: Your Machine Learning and Data Science Community Kaggle is the world’s largest data science community with powerful tools and resources to help you achieve your data science goals. www.kaggle.com 2. UCI Machine Learning Repository (UCI 머신 러닝 리포지토리) 캘리포니아 대학교 어바인 캠퍼스에서 운영하는 데이터 제공 사이트다. https://archive.ics.uci.e..
머신러닝의 분류: 지도학습/비지도학습/강화학습 머신러닝은 데이터로부터 학습하여 예측이나 결정을 내리는 알고리즘의 집합이다. 주로 지도학습, 비지도학습, 강화학습이라는 세 가지 주요 학습 방법을 사용하는데, 각각의 방법은 다양한 하위 카테고리로 나뉘며, 어떤 문제를 해결할 지에 따라 다르다. 이 글에서는 이 세 가지 학습 방법과 그들의 하위 분류에 대해 설명한다. 지도학습 (Supervised Learning) 지도학습은 레이블이 지정된 데이터를 사용하여 모델을 학습시키는 방법으로, 주로 분류와 회귀로 두 가지 주요 유형으로 나뉜다. 분류 (Classification) 정의: 입력 데이터를 미리 정의된 여러 클래스 중 하나로 분류하는 과정 예시: 이메일 스팸 감지(스팸/비스팸), 의료 진단(질병/정상), ... 회귀 (Regression) 정의: 연속..
손실함수의 이해와 종류/파이썬으로 구현까지 손실 함수란 무엇인가? 손실 함수(Loss Function)는 머신러닝 모델의 성능을 측정하는 핵심 요소다. 간단히 말해, 손실 함수는 모델의 예측값과 실제값 사이의 차이를 수치화하는 방법을 말한다. 이 값이 작을수록 모델의 예측이 정확하다고 할 수 있다. 손실 함수는 모델이 학습 과정에서 어떻게 자신의 오류를 '인식'하고 '개선'해야 하는지를 결정하는 데 중요한 역할을 한다. 손실 함수의 종류 손실 함수는 주로 사용되는 문제 유형에 따라 다양하게 분류되며, 이 때 주요한 손실 함수의 종류는 다음과 같다. 회귀 문제의 손실 함수 평균 제곱 오차 (Mean Squared Error, MSE) 실제 값과 예측 값의 차이를 제곱하여 평균을 낸다. import numpy as np def mean_squared..
머신러닝이란? 머신러닝의 기본 개념과 적용 사례 알아보기 인공 지능의 핵심 요소 머신러닝은 인공 지능(AI)의 중요한 분야로, 컴퓨터가 데이터를 통해 학습하고, 스스로 예측하거나 결정을 내릴 수 있도록 하는 기술이다. 이는 데이터 과학, 통계, 컴퓨터 과학의 교차점에 위치하며, 현대 기술 환경에서 필수적인 역할을 한다. 머신러닝의 기본 개념 머신러닝은 알고리즘과 통계적 모델을 사용하여 컴퓨터가 특정 작업을 수행하도록 학습시키는 과정이다. 이 과정에서 명시적인 프로그래밍 없이도 패턴을 인식하고, 결정을 내릴 수 있다. 지도 학습(Supervised Learning): 레이블이 지정된 데이터를 사용하여 모델을 훈련시키고, 새로운 데이터에 대한 예측을 수행한다. 비지도 학습(Unsupervised Learning): 레이블이 없는 데이터를 사용하여 데이터의 숨겨진 ..
데이터 분석의 필요성과 적용 사례는 어떤 것이 있을까? 데이터 분석은 왜 필요한가? 현대 비즈니스 환경에서 데이터는 가장 중요한 자산 중 하나다. 기업들은 매일 엄청난 양의 데이터를 생성하고 수집한다. 이 데이터를 효과적으로 분석하고 활용하는 능력은 기업이 경쟁에서 우위를 차지하는 데 결정적인 역할을 하고 있다. 데이터 분석의 중요성 데이터 분석은 대규모 데이터 세트에서 유의미한 정보를 추출하고, 이를 통해 패턴을 식별하고, 예측을 수행하며, 전략적 결정을 내리는 과정이다. 이 과정은 다음과 같은 이유로 중요하다: 정보 기반 의사결정: 데이터 분석은 추측이나 직관에 의존하는 대신 실질적인 데이터에 기반한 의사결정을 가능하게 하는데, 이는 리스크를 최소화하고 ROI를 극대화하는 데 도움이 된다. 고객 인사이트 향상: 고객 데이터 분석을 통해 소비자 행동, 선호..
상관도 분석에 사용되는 방법: 피어슨/스피어만 순위/켄달 순위 상관계수 상관도 분석의 중요성상관도 분석은 데이터 과학, 통계학, 사회과학 등 다양한 분야에서 중요한 도구이다. 이 분석을 통해 우리는 두 변수 간의 관계를 이해하고, 이를 바탕으로 더 복잡한 분석이나 예측 모델을 구축할 수 있다. 상관 분석은 변수들 사이의 연관성을 파악하고, 이를 통해 데이터에 숨겨진 패턴과 인사이트를 발견하는 데 중요한 역할을 한다. 상관 분석의 정의 및 방법상관 분석은 두 변수 간의 관계의 강도와 방향을 측정하는 통계적 방법이다. 이는 변수들 사이의 선형적 또는 비선형적 관계를 파악하는 데 사용된다. 이러한 분석을 수행하기 위해 주로 사용되는 세 가지 기법이 있다: 피어슨 상관 계수, 스피어만 순위 상관 계수, 그리고 켄달 순위 상관 계수. 각각의 방법은 데이터의 특성과 분석 목적에 따라 ..
모델예측제어(MPC)와 cvxpy를 이용한 구현 방법 MPC란? 모델 예측 제어(Model Predictive Control, MPC)는 고급 제어 전략 중 하나로, 미래의 예측을 기반으로 현재의 제어 입력을 최적화한다. 이 블로그 글에서는 Python의 cvxpy 라이브러리를 사용하여 MPC를 구현하는 방법을 소개한다. MPC는 미래의 출력을 예측하고, 이를 바탕으로 최적의 제어 입력을 계산한다. 이 과정은 시스템의 현재 상태를 시작점으로 하여, 미래의 특정 시간 동안의 최적 경로를 계산하는 것을 포함한다. cvxpy 소개 cvxpy는 복잡한 최적화 문제를 쉽게 해결할 수 있도록 도와주는 Python 라이브러리이다. 선형 및 비선형 문제, 제약 조건이 있는 문제 등 다양한 유형의 최적화 문제를 해결할 수 있다. cvxpy를 이용한 mpc 구현 MPC를 구..
차원축소기법, 데이터의 복잡성을 단순화하는 접근법 차원축소란? 차원 축소는 고차원의 데이터를 저차원의 데이터로 변환하는 과정이다. 이 과정을 통해 데이터의 핵심적인 특성을 유지하면서, 계산의 복잡성을 줄이고, 데이터를 시각화하기 쉽게 만든다. 차원 축소는 주로 빅데이터 분석, 시각화, 그리고 기계 학습 모델의 성능 향상을 위해 사용된다. 차원의 저주 고차원 데이터는 '차원의 저주'라는 문제를 일으킨다. 이는 데이터의 차원이 증가함에 따라, 필요한 데이터의 양이 기하급수적으로 증가하고, 모델의 성능이 저하될 수 있다. 차원 축소는 이러한 문제를 완화하는 데 도움이 된다. 주요 차원 축소 알고리즘 1. 주성분 분석 (PCA) 개념: 데이터의 분산을 최대로 보존하는 축을 찾아, 고차원 데이터를 저차원으로 투영한다. 사용 분야: 데이터 시각화, 노이즈 필터링,..

티스토리툴바