2019搜狐校园算法大赛 llouice

• TODO 工作推进状况 包括已经完成和 TODO List
• IDEA 各种天马行空的想法~

文件说明

• src
  • data_raw

  news.pkl (所有的新闻及其分字列表和标签列表的集合)

  0.1 的 lite, full lite 对应的 train.txt val.txt 和 lite_trn.txt lite_val.txt

  • data_title_trnval.py data_title_test.py

  从 train.txt val.txt 或者 lite_trn.txt lite_val.txt test.txt

  生成 tensor 序列化文件 train.h5 lite.h5 和 ID2TOK.pkl(trn val test 所有的 ID2TOK)

  full.h5 包括3个数据集 train val test lite.h5 包括2个数据集 trina val

数据集生成流程

• data_raw_trnval news.pkl -> lite_trn.txt lite_val.txt train.txt val.txt
• data_raw_test news_test.pkl -> test.txt news_mapl.pkl
• data_title_trnval -> lite.h5 full.h5 ID2TOK.pkl
• data_title_test -> update full.h5 ID2TOK.pkl

inference 运行

配置

• 需要安装 pytorch ignite h5py
• 如果需要的话 pip install requirements.txt 进行安装对应版本

bash inference.sh 进行运行 结果保存在 ../datasets/result.txt中

说明：

• 脚本会先运行 test.py 将模型的预测写进 ../datasets/pred.h5
• 然后运行 get_result.py 读取 pred.h5 取出实体和情感写入到../datasets/result.txt当中
• 也可以直接运行 python get_result.py 读取pred.h5生成结果 省去模型预测环节

项目依赖

• pytorch >=0.1
• pytorch-pretrained-BERT
• ignite https://github.com/pytorch/ignite
• h5py

引用的开源数据和代码

使用了 pytorch-pretrained-BERT(https://github.com/huggingface/pytorch-pretrained-BERT) 框架运行 BERT 使用了适用于该框架的源自 google bert 的 bert-base-chinese: Chinese Simplified and Traditional, 12-layer, 768-hidden, 12-heads, 110M parameters 和其 token 模型 保存在 bert_pretrained 下

文件结构说明

• src 所有代码源码

  • kfold k折交叉验证

    • test_avg_all.py 平均所有结果
    • train.py 模型训练
    • test.py 模型测试输出结果

  • scripts 存放一键运行脚本

  • data_raw_test.py 将新闻和标记写入txt文件

  • data_raw_trnval.py 将新闻和标记写入txt文件

  • data_title_test.py 读取 train_full.txt 和 dev_full.txt 进行 token 生成 bert 需要的输入 input_ids input_mask segment_ids, label_ent_ids label_emo_ids 写入 data_train.h5

  • data_title_trnval.py 类似上面，输入的 test 版本 写入 ../datasets/data_test.h5

  • get_result.py 读取perd.h5 取出实体写入到 ../datasets/result.txt

  • get_sents*.py 分句

  • loss.py loss函数的定义文件

  • metric.py F1分数定义文件

  • models.py 网络模型定义文件,选择模型网络选项 --net

  • requirements.txt 项目依赖

  • test.py 添加选择模型网络选项 --net 2 days ago

  • train.py 模型训练脚本 输出为checkpoint

  • trainx.py 单独训练 ent 和 emo

  • utils.py 用到的辅助函数汇总文件

• bert_pretrained google预训练模型存放

  • bert-base-chinese 中文权重
  • bert_token_model tokenizer文件

• ckp

  • best_model.pth 最好的模型权重

• datasets 所有数据保存之处

• preds 所有预测输出的h5文件

• pred_best.pth 最好的预测文件记录

• result/best 存放最好的提交结果

  • result_best.txt 最好的提交结果

算法思路

数据预处理

清洗：保留数字、英文、中文、中英文标点、空格和\n并将网页的转义字符还原。去除连续多余的空格。去除链接。去除多余连续的符号（无意义的、颜文字表情）。 分句：对新闻的内容进行分句处理，由于后续输入网络的最大长度是256. 减去BERT需要的三个字符 CLS SEP CLS 长度设为256-3-标题长； 一级：|｡|！|!|？|?分句，然后对分完的句子进行判断，不符合的进入二级截断 二级：；|、|,|，|﹔|､ 如果还是不符合，就按最大长度截断。 2000左右条句子被截断。 分字：对内容和标题都分字。把中文当成截断字符来分，英文先保留整体单词。针对每个分开的字，再通过标点符号对英文分字。 打标签：采用BIE标签，先从长实体开始打起，BIIIIIIE，如果再打标签的时候遇到了BIE这种，则不进行标签处理。 遇到问题：某些实体当中含有分句的字符，就会被切开。 通过统计发现带有，的实体都在《》“”之内，于是我们采用哈希mask的方式，将实体进行等长度的哈希之后保护替换，然后进行分句还原。保护他们不被截断。 分句将\n\r删掉了

创新思路

因为新闻的标题是新闻的上下文概括，所以将每则新闻的标题拼接到该新闻的每个分句当中，形成[CLS] A句 [SEP] B句(=title),这样每个分句就能学到与整个新闻上下文相关的信息。经过 bert 得到每个字的 768 维 word embedding 和 [CLS] 即整个句子的 embeeding 拼接到每个字的 embedding 上去 形成 768*2 维， 思路是进一步给予单字更多的上下文信息，帮助分类。

分别使用两个一层的线性分类器做 实体的 O B I 分类 和 情感的 O POS NEG NORM 分类。且用 mask 的方法只对 A 句进行 loss_ent loss_emo 的 反传，由于 emo(情感) 是 基于 ent(实体) 的 ，所以loss = alpha * loss_ent + loss_emo， alpha 赋予大于1的值。

针对重叠实体问题，如预测“天然气 天然气田”，“个人信息 个人信息保护”等我们采用BIESO标志，重新生成输入，调整分类数目，训练模型

针对tokenize产生[UNK]造成无法还原的问题，我们在进行tokenize时，将最终token为[UNK]的实体使用正则表达式匹配到，添加到我们自己基于BERT Vocabulary的扩展字典当中。这样预测时就能还原出每一个字。

神经网络结构图