협업 필터링 협업 필터링은 사용자들의 아이템에 대한 평가 정보를 바탕으로 사용자-아이템 행렬을 생성하고, 이를 기반으로 유사도를 측정하여 유저들에게 아이템을 추천하는 알고리즘이다. 사용자 기반(User-Based) 협업 필터링: 유저간의 유사도를 계산하여, 비슷한 취향을 가진 유저들이 선호하는 아이템을 추천하는 방식 아이템 기반(Item-Based) 협업 필터링: 아이템간의 유사도를 계산하여, 유저가 선호하는 아이템과 비슷한 아이템을 추천하는 방식 이번에는 협업 필터링 알고리즘 중 사용자 기반(User-Based) 협업 필터링의 예시 코드를 작성해보겠다. import pandas as pd from sklearn.metrics.pairwise import pairwise_distances # ratings.csv 파.. 콘텐츠 기반 필터링 콘텐츠 기반 필터링(Content-Based Fitering) 아이템의 특성을 분석하여, 해당 특성과 유사한 다른 아이템을 추천하는 방식이다. 이 방식은 사용자가 과거에 선호한 아이템과 유사한 아이템을 추천해주는데, 선호하는 아이템의 특성이 유사한 아이템이기 때문이다. 콘텐츠 기반 필터링의 구현 과정은 다음과 같다. 데이터 전처리: 아이템 정보를 수집하고, 아이템의 특성 정보를 추출한다. 아이템 특성 벡터 생성: 추출한 아이템의 특성 정보를 기반으로, 아이템 특성 벡터를 생성 아이템 간 유사도 측정: 생성된 아이템 특성 벡터를 이용하여, 아이템 간 유사도를 측정 유사도가 높은 아이템 추천: 유사도가 높은 아이템을 추천한다. import pandas as pd from sklearn.feature_extr.. 데이터 전처리 및 분석 결측치 처리 및 이상치 제거 데이터셋에서 결측치와 이상치를 처리하는 것은 추천 시스템의 성능을 향상시키기 위해 매우 중요합니다. 결측치는 누락된 값으로, 이상치는 정상 범위를 벗어난 값으로 정의됩니다. 이상치가 포함된 데이터를 모델 학습에 사용하면 잘못된 결과를 초래할 수 있으므로, 이를 제거해야 합니다. 결측치와 이상치를 제거하는 방법은 데이터셋의 구조와 특성에 따라 다르지만, 대표적인 방법으로는 다음과 같습니다. 결측치 처리 삭제: 결측치가 포함된 데이터 행 또는 열을 삭제 대체: 결측치를 다른 값으로 대체 (평균, 중앙값, 최빈값 등) 이상치 제거 통계적 방법: Z-score, IQR 등을 이용하여 이상치를 탐지하고 제거 도메인 지식: 도메인 지식을 이용하여 이상치를 탐지하고 제거 결측치 처리 및 .. 추천 시스템의 기초 이해 추천 시스템의 개념과 역할 추천 시스템은 인터넷 쇼핑, 뉴스, 영화 등 다양한 분야에서 사용되며, 사용자에게 맞춤형 아이템을 추천하여 이용 경험을 개선하는 역할을 한다. 기본적으로 추천 시스템은 사용자와 아이템 간의 상호작용 데이터를 수집하고, 이를 바탕으로 사용자의 취향을 파악하여 추천 아이템을 선별하고 제공한다. 추천 시스템의 종류 추천 시스템은 크게 콘텐츠 기반 필터링(Content-Based Filtering), 협업 필터링(Collaborative Filtering), 하이브리드(Hybrid) 등의 종류로 분류된다. 콘텐츠 기반 필터링 아이템의 속성 정보를 분석하여 유저의 선호도와 매칭하는 아이템을 추천한다. 예를 들어, 영화 추천 시스템에서는 영화의 장르, 감독, 배우 등의 정보를 바탕으로 유.. MovieLens Datasets 소개 (ml-latest-small) 추천시스템의 전문가가 되기 위해 지금까지, 그리고 미래에 공부할 내용들을 소개하는 카테고리를 만들었다. 이 카테고리에 앞으로 작성될 모든 게시글에서 사용할 데이터셋을 소개하고 설명하겠다.MovieLensMovielens는 영화 추천 시스템을 연구하는 데 사용되는 가장 널리 사용되는 온라인 영화 데이터셋 중 하나이다. Movielens 데이터셋은 대규모 사용자 행동 데이터를 제공하며, 사용자가 영화를 어떻게 평가하고 어떤 영화를 선호하는지 등을 이해하는 데 매우 유용하다. Movielens 데이터셋은 University of Minnesota twin cities에서 유지관리된다. ml-latest-small.zip (size: 1 MB)ml-latest-small 데이터셋은 Movielens 데이터셋의 .. 이전 1 다음