高次元特徴ベクトルの次元圧縮と重みつきK－最近傍法によるパターン認識

情報処理学会 Web Site 参考文献15件

書誌事項

タイトル別名
  • コウジゲン トクチョウ ベクトル ノ ジゲン アッシュク ト オモミ ツキ K サイキンボウホウ ニ ヨル パターン ニンシキ
  • Pattern Recognition by Compression of High Dimension Vectors and Weighted K - Nearest Neighbor Rule

この論文をさがす

抄録

本稿では，(1)識別のために有効と思われる特徴を幅広く盛り込んだ高次元の特徴ベクトルの構成，(2)高次元の特徴ベクトルを識別に有効な次元を選択しつつ圧縮，(3)圧縮後のベクトルに重みつきK-最近傍法（以下K-NN）を適用して識別，という枠組みに基づく多クラスパターンの認識法を提案し，実験によりその有効性を示す．高次元の入力特徴ベクトルは，認識率の向上に有効と考えられる，複数の異なる性質の特徴を組み合わせて構成する．K-NNは，多クラスパターンを識別するnon-parametricな手法の1 つであり，その識別誤差は“Bayes Error”の2倍を超えないとされる．しかし入力特徴ベクトルの次元数が高い場合その性能は保証されず，また総演算量が膨大になる．そこで本研究では，一般化線形モデルの一種である多項ロジットモデル（Multinomial Logit Model）を用いて入力特徴ベクトルの次元を圧縮し，圧縮後のベクトルにK-NNを適用する．これによりK-NNの本来の性能を引き出し，同時に識別処理時の演算量を大幅に削減することを狙いとする．手書き文字データベースETL6中の，(1) 36クラス（数字＋英大文字），(2) 82クラス（数字＋英大文字＋片仮名）のデータを用いて評価実験を行ったところ，(1) 36クラス（7 200個の未知サンプル）に対して100.0%，(2) 82クラス（16 400個の未知サンプル）に対して99.93%の識別率を得た．

This paper proposes a simple method for multi-class pattern classification by combined use of Multinomial Logit Model (MLM) and wieghted K-nearest neighbor rule (K-NN). MLM is one of the generalized linear models and is one of the simplest neural networks for multiple-class pattern recognition. K-NN is a simple but powerful non-parametric classification tool whose error probability does not exceed double of “Bayes error”. However, it is also known that such high performance of K-NN reduces if the number of dimensions of input feature vector space is large. Therefore, first we train MLM using the training vectors, and then apply weighted K-NN to the output vecto of the MLM. By this, since K-NN is applied to the compressed low dimension vectors, it is expected not only to bring out natural performance of K-NN but also to shorten computation time. Evaluation experiments were conducted by using non-artificial samples extracted from the handwritten character image database “ETL6”. Those are (1) 36-classes (number + English capital letter), and (2) 82-classes (number + English capital letter + “katakana” letter). Consequently, we obtained the following recognition rates: (1) 36-classes: 7,200 unknown samples ⇒100.0%, and (2) 82-classes : 16,400 unknown samples ⇒99.93%.

収録刊行物

参考文献 (15)*注記

もっと見る

キーワード

詳細情報 詳細情報について

問題の指摘

ページトップへ