[Japanese/English]

NARUTO-HandSignDetection

物体検出を用いてNARUTOの印を検出するモデルとサンプルプログラムです。

Title

Deep写輪眼：オブジェクト検出 YOLOX を用いた NARUTO の印認識

Abstract

このリポジトリは、NARUTO² の印を認識するための訓練済みモデルとサンプルプログラムを公開しています。

忍術の発動は、一部の忍術をのぞき手で印を結ぶことが必要です。
また、性質変化は印に特徴が現れるため(火遁→寅の印、土遁→亥の印など)、
印を素早く認識することが出来れば、忍同士の戦闘においてアドバンテージを得ることが出来ます。
印の認識にはディープラーニングの物体検出モデルの一つYOLOX-Nanoを使用することで、
前回バージョンのDeep写輪眼(EfficientDet-D0利用)よりも推論速度を大幅にアップしました。

Requirements

• onnxruntime 1.10.0 or Later
• OpenCV 3.4.2 or Later
• Pillow 6.1.0 or Later (Ninjutsu_demo.pyを動かす場合のみ)
• Tensorflow 2.3.0 or Later (SSD、EfficientDetを動かす場合、あるいは後処理をONNXへマージするときのみ)

DataSet

データセットについて

データセットは非公開です（訓練済みのモデルは公開します）
※日本の著作権法 第四十七条の七「複製権の制限により作成された複製物の譲渡」³に準拠

また、自分で撮影した画像、アニメ画像の他に、naruto-hand-sign-dataset⁴を利用しています。

お願い事項

データセットはネット上で収集した画像と、自前で撮影した画像で構成されているため、
背景色や服装によっては検出精度が落ちたり、誤検出する可能性があります。
Issueで誤検出した条件を教えていただると助かります。
可能であれば、誤検出する条件の画像(子～亥、壬、合掌)をいただけると大変助かります。
その際、いただいた画像は学習データセットに追加してモデルの再訓練に使用します。

印の種類

14種類(子～亥、壬、合掌)の印に対応しています。

子(Ne/Rat)	丑(Ushi/Ox)	寅(Tora/Tiger)	卯(U/Hare)

辰(Tatsu/Dragon)	巳(Mi/Snake)	午(Uma/Horse)	未(Hitsuji/Ram)

申(Saru/Monkey)	酉(Tori/Bird)	戌(Inu/Dog)	亥(I/Boar)

壬(Mizunoe)	合掌(Gassho/Hand Claps)	-	-

データセットの枚数

総枚数：10026(内アニメ画像：2651枚)
タグ付き枚数：7098枚
タグ無し枚数：2928枚
アノテーションボックス数：8941個
　

Trained Model

訓練済みモデルをmodelディレクトリ配下で公開しています。 ※旧バージョンのモデルは「_legacy」ディレクトリに移動

• YOLOX-Nano

Directory

│  simple_demo.py
│  Ninjutsu_demo.py
│
├─model
│  └─yolox
│      │ yolox_nano.onnx
│      └─yolox_onnx.py
│
├─post_process_gen_tools
│      │ convert_script.sh
│      │ make_box_gather_nd.py
│      │ make_boxes_scores.py
│      │ make_cxcywh_y1x1y2x2.py
│      │ make_final_batch_nums_final_class_nums_final_box_nums.py
│      │ make_grids.py
│      │ make_input_output_shape_update.py
│      │ make_nms_outputs_merge.py
│      └─make_score_gather_nd.py
│
├─setting─┬─labels.csv
│         └─jutsu.csv
│
├─utils
│
└─_legacy

simple_demo.py

　シンプルな検出デモです。
　

Ninjutsu_demo.py

　忍術判定のデモです。
　印の履歴から術データ(jutsu.csv)にマッチする術名を表示します。
　 　

model

　訓練済みモデルを格納しています。

post_process_gen_tools

　ONNXにすべての後処理をマージするスクリプト群を格納しています。

setting

　ラベルデータ(labels.csv)と術名データ(jutsu.csv)を格納しています。

• labels.csv
  印のラベル名を保持しています。
  
  • A列：英語の印
  • B列：日本語の印
• jutsu.csv
  術名と必要印を保持しています。
  
  • A列：日本語の術種別(火遁等)
  • B列：英語の術種別(火遁等)
  • C列：日本語の術名
  • D列：英語の術名
  • E列以降：術の発動に必要な印

utils

　FPS計測用モジュール(cvfpscalc.py)と文字列描画用モジュール(cvdrawtext.py)を格納しています。
　Ninjutsu_demo.pyのみで使用します。

Usage

デモの実行方法は以下です。

python simple_demo.py
python simple_demo_without_post.py
python Ninjutsu_demo.py

また、デモ実行時には、以下のオプションが指定可能です。

Application Example

アプリケーションの応用事例を紹介します。

• 第15回UE4ぷちコン「印VADERS」

Acknowledgements

EfficientDetモデルトレーニング時は、からあげさんの説明記事⁵を参考にいたしました。
また、からあげさんのブログ⁶にて、Deep写輪眼をご紹介いただきました。
大変ありがとうございます。

YOLOXのトレーニングにはYOLOX-Colaboratory-Training-Sample⁷を使用しています。

References

1. ^日本：著作権法 第二十条「同一性保持権」
2. ^岸本斉史作『NARUTO』集英社、1999年-2014年
3. ^日本：著作権法 四十七条の七「複製権の制限により作成された複製物の譲渡」
4. ^Kaggle 公開データセット：naruto-hand-sign-dataset
5. ^「Object Detection API」で物体検出の自前データを学習する方法（TensorFlow 2.x版）
6. ^からあげさんのブログ：AIでNARUTO気分！「Deep写輪眼」で遊んでみよう
7. ^Kazuhito00/YOLOX-Colaboratory-Training-Sample

Authors

高橋かずひと(https://twitter.com/KzhtTkhs)

License

NARUTO-HandSignDetection is under MIT license.

License(Font)

衡山毛筆フォント(https://opentype.jp/kouzanmouhitufont.htm)