Kinectを用いた行動座標によるピッキング行為の検知

本論文は，家人による解錠操作と，ピッキングによる解錠操作を区別することを目的とするものである．住宅のセキュリティを考える際，出入り口以外は一般的に人が出入りしないため，簡易なセンサによって不正な侵入を検知することが可能であるが，出入り口は家人も出入りするため，単純なセンサによる検知はできない．監視カメラの設置は一般的であるが，侵入があったことを後日知ることはできても，侵入時にその侵入を検知するには有人監視を常時行うしかない．そこで，本論文では，Kinectを用いて不正な侵入を自動的に検知するシステムの提案を行う．Kinectを用いた動作識別の研究はすでに行われており，不正な侵入のなかでも，通常の出入りとは異なる，ドアを破壊するような行為の検知は既存技術でも対応可能である．そこで，本論文では家人による解錠操作と，ピッキングによる不正な解錠操作を区別する点に重点を置いた．本研究では機械学習を用いている．大量にデータを集めて学習しさえすれば，従来の単純な機械学習でも家人による解錠操作とピッキングを区別できる可能性はあるが，訓練にかかる時間や計算機のメモリが問題となる．そこで，本研究では，少人数の被験者のデータで効果的に訓練できる方法を模索した．具体的には，体格差の統一や行動周期の統一，擬似的サンプル数の増加である．Kinectを使用することにより，撮影された画像を保存する必要がないため，被撮影者のプライバシも保護される．実験の結果，線形補間により生成したサンプルを追加した場合のCNNを用いたピッキングの区別はF値の平均57%であったが，被験者によっては94%の精度で区別ができ，類似の特徴を持つ他人がいる場合に精度が大きく上昇する可能性があることが分かった．

The objective of this paper is to distinguish opening a door by the key from opening it by picking. In terms of security of a house, windows can be monitored by small sensors since no one goes through windows in usual. On the other hand, doors cannot be monitored by the sensors since not only thieves but also residents go through the doors. CCTV (closed-circuit television) camera is one of the solutions. However, invasion can be detected not during but after the invasion, or the movie by the camera must be always watched by a person. Therefore, in this paper, we propose the system which automatically detects invasion by Kinect. Of course, there are some researches in which Kinect is used to distinguish human actions, and big actions such as breaking doors can be detected with methods in the researches. In contrast, we put the stress on to distinguish a small difference such as difference between opening a door by the key and opening it by picking. We used machine learning in this paper. If big data of opening a door can be collected, the small difference would be able to be distinguished by usual way of machine learning. However, time for training and memory space on computers are not ignorable. Therefore, in this paper, we searched for methods which enable effective training with few examinees. Specifically, unifying the physiques and action cycles of examinees and creating pseudo samples. Using Kinect also protects the privacy of people in the movie since only coordinates of joints of people are stored. The average of F-measure of detecting picking by CNN with generated samples by linear interpolation was 57%, but the highest mark of an examinee was 94%. It shows that examinees with similar behavior may increase the percentage.