[머신러닝] Training set과 Test set에 동일하게 Label Encoding 적용하는 방법

트레이닝셋에는 없는 카테고리 데이터가 테스트셋에 존재할 때, 레이블 인코딩을 적용하려면 주의해야 한다. 

이를 위해 트레이닝셋과 테스트셋을 합친 다음 레이블 인코딩을 적용한 후, 다시 분리하면 된다.

 

아래는 코드 예시

from sklearn.preprocessing import LabelEncoder

# 트레이닝셋과 테스트셋을 합칩니다.
combined_data = pd.concat([train_data['카테고리'], test_data['카테고리']], axis=0)

# LabelEncoder 객체를 생성하고 합쳐진 데이터에 적용합니다.
label_encoder = LabelEncoder()
combined_data_encoded = label_encoder.fit_transform(combined_data)

# 다시 트레이닝셋과 테스트셋으로 분리합니다.
train_data['카테고리_encoded'] = combined_data_encoded[:len(train_data)]
test_data['카테고리_encoded'] = combined_data_encoded[len(train_data):]

 

카테고리 피처가 여러 개일 경우 아래와 같이 적용한다.

 

from sklearn.preprocessing import LabelEncoder

# 레이블 인코딩을 적용할 카테고리 피처 목록
categorical_features = ['카테고리1', '카테고리2', '카테고리3']

# 트레이닝셋과 테스트셋을 합칩니다.
combined_data = pd.concat([train_data[categorical_features], test_data[categorical_features]], axis=0)

# 각 카테고리 피처에 대한 LabelEncoder를 적용합니다.
label_encoders = {}
for feature in categorical_features:
    label_encoder = LabelEncoder()
    combined_data[feature + '_encoded'] = label_encoder.fit_transform(combined_data[feature])
    label_encoders[feature] = label_encoder

# 다시 트레이닝셋과 테스트셋으로 분리합니다.
for feature in categorical_features:
    train_data[feature + '_encoded'] = combined_data[feature + '_encoded'][:len(train_data)]
    test_data[feature + '_encoded'] = combined_data[feature + '_encoded'][len(train_data):]