KcBERT Versions Save

분기별 신규 데이터셋 릴리즈: v2022.3Q

데이터셋 정보

• v2022.3Q = 2022년도 3분기 릴리즈
• 데이터셋 포함: v2019.1Q - v2022.3Q
• 전체 데이터 수(공백열 제외): 345,452,030
• 일자: 2019.01월 ~ 2022.09월

TrainData_v1와의 차이점

• 동일 타래의 댓글과 대댓글은 단일 linebreak (\n)
• 다른 타래의 댓글간에는 두개의 linebreak (\n\n)
• 일자별로 중복 텍스트 제거
• 그 외의 clean 처리 최대한 하지 않음

---

Quarterly Aggregated Korean News Comments Dataset: v2022.3Q

Dataset Spec

• v2022.3Q = 2022 3Q Release
• Add Dataset from v2019.1Q ~ v2022.3Q
• Total Lines(w/o Blank lines): 345,452,030
• Date Range: 2019.01 ~ 2022.09

Difference from TrainData_v1

• Reply comments(in same thread) are grouped by 1 linebreak(\n)
• Different threads are splitted by whiteline(\n\n)
• Duplicated comments within a day are removed (only the first comment left)
• texts are raw as much as possible

Kaggle에 공개했던 데이터셋을 좀 더 다운로드 받기 쉽게 하기 위해 분할 압축(각각 2G/2G/0.6G)해 릴리즈합니다 :)

( Pretrain Dataset 공개: https://www.kaggle.com/junbumlee/kcbert-pretraining-corpus-korean-news-comments )

아래 kcbert-train.tar.gz aa, ab, ac를 모두 받으신 뒤, 해당 폴더에서 아래 명령어로 압축을 풀어주세요.

cat kcbert-train.tar.gz* | tar -zxvpf -