Tidyverse 🪐에서 Polars 🐻‍❄️까지: 내 노트

Polars를 사용한 R 기반 파이썬 데이터 분석 연습 동기부여 Polars 구문은 dplyr과 매우 유사합니다. 함수 체이닝 방식을 사용하면 익숙함을 더 느낄 수 있었습니다. 이제 배운 세부 사항을 실전에서 적용해 볼 차례입니다. 행운을 빕니다! 🍀 목표 데이터프레임 생성 필터, 선택, 요약, 전체 변형, 문자열 결합, 조건 분기, 조인, 더미/피벗/언피벗 유용한 자료 및 학습 내용 정리 데이터프레임 생성 (tidyverse 예시) 다음은 tidyverse를 사용한 R 예시입니다. 아래 코드를 보며 Polars 변환을 확인합니다. library(tidyverse) library(reticulate) use_virtualenv('path/to/your/environment') df %% filter(age = 30) %% select(1:3, starts_with("performance"), starts_with("salary")) %% summarize(across(.cols = where(is.numeric), .fns = mean, .names = "mean_{.col}")) Polars 변환 예시 Polars에서는 다음과 같이 작성합니다. df .filter(pl.col('age') = 30) .select(df.columns[0:4]+['^performance.*$','^salary.*$']) .select(pl.col(pl.Int64).mean().name.prefix('mean_')) 정규식에서 ^와 $를 사용해 컬럼명을 정확히 지정해야 한다는 점이 다소 이상합니다. 열 변환: 문자열 결합 (mutate, paste) 모든 문자열 컬럼을 공백으로 결합한 새 컬럼을 만들고자 합니다. tidyverse: df %% rowwise() %% transmute(combination_of_character = paste(across(where(is.character)), collapse = " ")) %% select(combination_of_character) Polars: df .with_columns( pl.concat_str( pl.col(pl.String), separator=" " ).alias('combination_of_character') ) .select(pl.col('combination_of_character')) 열 변환: 두 개 컬럼 결합 (glue) 연령과 급여를 하이픈(-)으로 연결한 새 컬럼을 만들고자 합니다. tidyverse: df %% mutate(age_salary = paste0(age, "-", salary)) %% select(name, age_salary) Polars: df .with_columns( age_salary=pl.format('{}-{}',pl.col('age'),pl.col('salary')) ) .select(pl.col('name','age_salary')) 한 개 컬럼만 만들 때는 alias 없이 format만 사용해도 됩니다. 열 변환: 정규식 추출 (area_code_and_salary) 주소에서 도로 번호를 추출해 급여와 결합한 새 컬럼을 만들고자 합니다. tidyverse: df %% mutate(area_code_and_salary = paste0(str_extract(address, "\\d{0,5}"), " ", salary)) %% select(area_code_and_salary) Polars: df .select( pl.concat_str( pl.col('address').str.extract(r'^(\d{0,5})'), pl.lit(" "), pl.col('salary') ).alias('area_code_and_salary') ) 조건 분기 (case_when) 주소에 따라 'familiarity' 컬럼을 생성합니다. tidyverse: df %% mutate(familiarity = case_when( str_detect(address, "OH") ~ "local", str_detect(address, "NY") ~ "foodie", TRUE ~ "elsewhere" )) Polars: df .with_columns( pl.when(pl.col('address').str.contains('OH')).then(pl.lit('local')) .when(pl.col('address').str.contains('NY')).then(pl.lit('foodie')) .otherwise(pl.lit('elsewhere')) .alias('familiarity') ) 정규식으로 이메일 전부 추출 (look‑ahead / look‑back 불가) Polars에서는 정규식에 look‑ahead(.*(?=@))나 look‑back을 사용할 수 없습니다. 그룹화 및 시프트 (Group_by, Shift, Forward_Fill) 부서별로 급여를 한 줄씩 시프트하고, 결측값을 전부 채우는 예시입니다. tidyverse: df %% group_by(department) %% summarize( name = name, salary_shift = case_when( n() == 1 ~ salary, TRUE ~ lead(salary) ) ) %% fill(salary_shift, .direction = "down") Polars (단일 라인 시프트와 전부 채우기): df .group_by('department') .agg( pl.col('name'), pl.when(pl.col('salary').len()==1).then(pl.col('salary')) .otherwise(pl.col('salary').shift(-1)) .alias('salary_shift') ) .explode('name','salary_shift') .with_columns( pl.col('salary_shift').forward_fill() ) Polars는 그룹화 시 리스트 컬럼을 생성하므로 explode() 로 펼친 뒤 forward_fill() 를 사용합니다. 더미 변환 및 피벗 (to_dummies / pivot) 부서별 더미 변수를 만들고, 피벗으로 상태별 분포를 확인합니다. tidyverse 예시: df %% select(name, department) %% pivot_wider( id_cols = "name", names_from = "department", values_from = "department", values_fill = 0, values_fn = length, names_prefix = "department_" ) Polars to_dummies: df .select(['name','department']) .to_dummies(columns = 'department') Polars 피벗 예시 (상태별 분포): df .select(['name','address']) .with_columns( state = pl.col('address').str.extract(r'([A-Z]{2})$