News Corpus Save
Corpus tiếng việt
Project README
Binhvq News Corpus
Thông tin cơ bản:
- Trích xuất từ khoảng 14.896.998 bài báo trên internet bao gồm các báo:
2Sao, ANTG, ANTT, ANTĐ, ATGT, BVPL, BizLIVE, Biên Phòng, Bnews, Báo Văn hóa, Bộ Công thương,
Bộ GTVT, Bộ KHĐT, Bộ Ngoại Giao, Bộ Nội Vụ, Bộ Tài Chính, Bộ VHTTDL, CAND, CAĐN, CL&XH, CSTC,
Cartimes, Chính Phủ, Công Luận, Công Lý, Công Thương, DNVN, Doanh Nghiệp, Dân Sinh, Dân Việt,
Em Đẹp, GD&TĐ, GTVT, Gia Đình Mới, Gia Đình VN, Giao Thông, Giáo Dục VN, GĐ&XH, Hà Nội Mới,
Hà Tĩnh, Hải Quan, ICTNews, Infonet, KTNT, KTĐT, Khỏe 365, Khỏe Plus, Khỏe Plus 24h, Kiến Thức,
Kiểm Sát, Kiểm sát, Kỷ Nguyên Số, Lao Động, LĐTĐ, MT&CS, Mặt Trận, Một Thế Giới, NCĐT, NLĐ,
Nghe Nhìn VN, Nghệ An, Ngày Nay, Người Làm Báo, Người Tiêu Dùng, Người Đô Thị, Người Đưa Tin,
Nhân Dân, Nông Nghiệp, NĐ&ĐS, PC World, PL&XH, PLO, PNNews, PNSK, PetroTimes, Pháp Luật Net,
Pháp Luật Plus, Pháp Luật VN, Phụ Nữ VN, Quốc Hội, Quốc Hội TV, QĐND, SGGP, SGĐT, SaoStar,
Seatimes, Sài Gòn Tiếp Thị, TBDN, TBKTSG, TG&VN, TGTT, TH&PL, TNMT, TTOL, TTXVN, Thanh Hóa,
Thanh Niên, Thanh Tra, TheLEADER, Thương Gia, Thế Giới Trẻ, Thế Giới Xe, Tin Nhanh, Tin Thể Thao,
Tin Tức TTXVN, Tiền Phong, TuanVietNam, Tuyên Giáo, Tuổi Trẻ TĐ, Tài Chính, Tạp chí Công thương,
Tạp chí Xây dựng Đảng, Tạp chí cộng sản, Tổ Quốc, VEF, VNCA, VNEWS, VOV, VTC, VietQ, VietTimes,
Vietnam Finance, VietnamNet, VietnamPlus, VnEconomy, VnMedia, Văn Hiến, Văn Hoá, XHTT, Xe Giao Thông,
Xây Dựng Đảng, Zing, Ôtô - xe máy, Ôtô Xe Máy, ĐCSVN, ĐS&PL, ĐTCK, Đại Đoàn Kết, Đảng Cộng Sản VN,
Đất Việt, Đấu Thầu, Đầu Tư, Đời Sống Plus
Only Title
-
Kích thước : 219 MB Compress. Uncompress 669 MB
-
Số lượng title: 10.787.976
-
Donwload: https://drive.google.com/open?id=1ypvEoGRNWrNLmW246RtBm9iMyKXm_2BP
-
Sample: https://github.com/binhvq/news-corpus/blob/master/sample/demo-title.txt
Full TXT(title + description + body) V1
-
Kích thước : 3.7 GB Compress. Uncompress ~18.6 GB
-
Số lượng câu: khoảng 111.274.300 câu
-
Đã qua xử lý cơ bản như:
-
Tách câu sử dụng PunktSentenceTokenizer abbrev
{'g.m.t', 'e.g', 'dr', 'dr', 'vs', "000", 'mr', 'mrs', 'prof', 'inc', 'tp', 'ts', 'ths', 'th', 'vs', 'tp', 'k.l', 'a.w.a.k.e', 'a.i', '</i', 'g.w', 'ass', 'u.n.c.l.e', 't.e.s.t', 'ths', 'd.c', 've…', 'ts', 'f.t', 'b.b', 'z.e', 's.g', 'm.p', 'g.u.y', 'l.c', 'g.i', 'j.f', 'r.r', 'v.i', 'm.h', 'a.s', 'bs', 'c.k', 'aug', 't.d.q', 'b…', 'ph', 'j.k', 'e.l', 'o.t', 's.a'} -
Chỉnh sửa lại những kí tự lỗi khi chuyển từ html sang dạng text
-
Loại bỏ những câu giống nhau
-
Chuẩn hóa NFC
-
-
Donwload: https://drive.google.com/file/d/1ovLbpvzSGrS4NDxZu8Ftdgc73uHzNQJf/view
Full TXT V2
Kich thuoc: 5GB, Uncomress ~27.5GB Download: https://drive.google.com/file/d/1GFbe-qs6HmCYs0JwJgivOy2Bvb06M8OI/view?usp=sharing
CSV V2
Size: 5.6GB, Uncompress ~49GB Download: https://drive.google.com/file/d/14TEsnSQ_121sbhlQm-Jzda2dqhPhByja/view?usp=sharing
fieldnames = ['title', 'sapo', 'cate', 'tags', 'publish', 'source', 'content']
delimiter=','
quotechar='"'
quoting=QUOTE_MINIMAL
TXT Categorys
- Kich thuoc: 5.GB, UnCompress 28GB
- Categorys:
Công nghệ.txt Đời sống.txt Giải trí.txt Giáo dục.txt Khoa học.txt Kinh tế.txt Nhà đất.txt None.txt Pháp luật.txt Thế giới.txt Thể thao.txt Văn hóa.txt Xã hội.txt Xe cộ.txt - Download: https://drive.google.com/file/d/1T-f1cibUX5fM0F7kH8n7r5l7GhYH4nHn/view?usp=sharing
Định dạng Mongodb Dump
- Size: 8.9G copmpress. ~76GB Uncompress.
- Download: https://drive.google.com/file/d/1x8d7huDtbc_0Lsc6hAbl7EI-tKaJms5k/view?usp=sharing
- Link cập nhật ngày 21/05/2021(20 triệu bài viết): https://drive.google.com/file/d/1z_HDRzs42BnW31-XqbZwhN0rKWMAfZD4/view?usp=sharing
{
"source" : "Thanh Niên",
"title" : "Đà Nẵng nghiên cứu tiện ích nhắn tin khi vi phạm đến chủ phương tiện",
"sapo" : "Theo thống kê của Phòng CSGT (PC67, Công an TP.Đà Nẵng), từ ngày 1.1.2016 đến hết tháng 1.2018, PC67 gửi 13.479 lượt thông báo đến chủ phương tiện vi phạm luật Giao thông đường bộ.",
"body" : "<p class=\"body-image\"><img src=\"https://photo-1-baomoi.zadn.vn/w700_r1/18/02/05/4/24858235/1_54839.jpg\"/></p><p class=\"body-text\"><em>Xử lý phạt nguội qua camera giám sát tại Phòng CSGT Công an TP.Đà Nẵng - Nguyễn Tú</em></p><p class=\"body-text\">Đến nay còn 5.199 trường hợp chưa đến giải quyết, chiếm 38,5%. Đối với 8.280 trường hợp đến làm việc, qua phân tích lỗi, cơ quan chức năng đã lập biên bản 7.184 trường hợp, chuyển kho bạc hơn 9 tỉ đồng, tước giấy phép lái xe (có thời hạn) 2.107 trường hợp.</p><p class=\"body-text\">Hiện PC67 Đà Nẵng có nhiều kênh để thông báo đến chủ xe như gửi thông báo đến địa chỉ đăng ký qua đường bưu điện, cập nhật danh sách lên trang Facebook “Cảnh sát giao thông Công an TP.Đà Nẵng”. Từ ngày 22.9.2017, trang thông tin điện tử Công an TP.Đà Nẵng cũng có chuyên mục tra cứu vi phạm giao thông qua hệ thống camera giám sát tại địa chỉ www.catp.danang.gov.vn:8001/thongtinvipham...</p><p class=\"body-text\">Tuy nhiên, số trường hợp chưa giải quyết được cũng tương tự TP.HCM là do thay đổi địa chỉ, chưa sang tên đổi chủ sau mua bán, xe thuê, sai thông tin...</p><p class=\"body-text\">Trung tá Phan Văn Thương, Phó trưởng phòng PC67 Công an TP.Đà Nẵng, cho hay hiện trang Facebook và cổng thông tin có nhiệm vụ 1 - 2 ngày phải cập nhật danh sách vi phạm mới nhất để người dân tra cứu. Nếu chủ phương tiện không đến giải quyết thì danh sách được chuyển sang Trung tâm đăng kiểm để từ chối đăng kiểm các phương tiện này.</p><p class=\"body-text\">“Thời gian đầu áp dụng hình thức phạt nguội, có chủ phương tiện bị phạt đến 15 lần, khi xe hết hạn, đi đăng kiểm mới nhận được thông báo nộp phạt với số tiền rất lớn. Nay thì khác, với tổ chức, công dân vi phạm 2 lần trở lên sẽ bị lực lượng chức năng gọi điện trực tiếp để xác minh, nhắc nhở chủ xe kịp thời chấn chỉnh, vì các xe vi phạm nhiều lần chủ yếu là xe làm dịch vụ cho thuê, giao người khác sử dụng, khai thác...”, trung tá Phan Văn Thương cho hay.</p><p class=\"body-text\">Công an TP.Đà Nẵng đang nghiên cứu cho ra đời ứng dụng trên thiết bị di động, thông báo vi phạm đến số máy chủ phương tiện, vừa sử dụng cho công tác phạt nguội, kết hợp các tiện ích phục vụ phòng chống tội phạm khác bằng biện pháp tăng mức tương tác với chủ phương tiện.</p>",
"id" : 24858235,
"publish" : ISODate("2018-02-04T22:15:07Z"),
"tags" : [ ],
"keywords" : [
"Công an TP.Đà Nẵng",
"Phan Văn Thương",
"Nguyễn Tú",
"Luật giao thông đường bộ",
"Đăng kiểm",
"Sang tên",
"Tra cứu",
"Server",
"Phòng cảnh sát giao thông",
"Giấy phép lái xe",
"Cổng thông tin",
"Chấn chỉnh",
"Cho thuê",
"Nhắc nhở",
"Di động",
"Phòng chống",
"Vi phạm",
"Mua bán",
"Đà Nẵng",
"Ra đời",
"Giám sát"
],
"cates" : [
"Pháp luật"
]
}
Facebook comment Corpus
- Mô tả: Đây là các comment trên facebook được crawler từ các page, group public của Facebook, thời gian crawler gần nhất 10/2020, được export 1 phần nhở từ elasticsearch ra.
- Tổng số bản ghi: 10 triệu
- Định dạng: Json Lines được dump bằng công cụ Elasticsearch dump
- Dung lượng nén: 399MB, giải nén 3.9GB
- Download: https://drive.google.com/file/d/1BNkrAEcUvVO77UJmo82gFM_xySchKG4v/view?usp=sharing
- Fields:
{ "creation_time" : 1568097734, "post_id" : "2673240469403902", "author" : { "name" : "Công Campi Nguyễn", "id" : "100013298478696" }, "reaction_count" : 1, "content" : "Giang hồ quá", "url" : "https://www.facebook.com/thudaumotbd/posts/2673240469403902?comment_id=2673262599401689", "object" : { "name" : "Thủ Dầu Một Bình Dương", "_id" : "243592359035404", "type" : "Page" } } }
Tác giả
- Họ tên: Vương Quốc Bình
- Email: [email protected]
- Đơn vị công tác: Trường Đại học công nghiệp Hà Nội
- Github: https://github.com/binhvq
- Skype: binhvq
- FB: https://fb.com/binhvq1411
Open Source Agenda is not affiliated with "News Corpus" Project. README Source: binhvq/news-corpus
Open Source Agenda Badge
