Dangers of Data-Mining: Return Predictability and Over fitting
-
- UCHIYAMA Tomonori
- Tokyo Metropolitan University
-
- TAKIZAWA Hideaki
- Nomura Securities
-
- KIKUGAWA Tadashi
- Nomura Securities
Bibliographic Information
- Other Title
-
- 危険なデータマイニング —リターン予測とオーバーフィッティング—
Abstract
<p>資産価格のプレミアム(期待リターン)は時系列に変動し,リターンが予測可能であることは現在のファイナンスにおける標準的な考え方である.実務においては投資パフォーマンスの向上のために,学術研究においてはプレミアムの特徴を解明するために,ファクター(予測変数)によってリターンを予測する分析が精力的に行われてきた.しかし,統計的にこれを検出することは容易でないため,より有意な実証的証拠を得ようとデータマイニングを行うと,実際には無意味であるにもかかわらず有意に見えてしまうというオーバーフィッティング(過剰適合)を引き起こす.特に近年では,ビッグデータとして多様なデータを低コストで扱えるようになり,また,工学的な側面から機械学習への注目度が増している.これらは予測精度の向上に貢献する可能性がある一方で,オーバーフィッティングの可能性をより高めてしまう. オーバーフィッティングは,予測対象の標本数が有限であるにもかかわらず,変数選択に自由度があることから生じる.通常の単一検定の基準ではなく,多重検定であることを考慮して有意性を評価する必要がある.従来の資産価格理論の実証では,この影響が軽視されてきた.本研究では,変数選択の自由度だけでなく,モデル選択の自由度,言い換えれば,モデルマイニングの問題も含めて扱う.この結果,時系列におけるリターンの予測可能性を対象に,オーバーフィッティングの影響が大きいことを実証的に示す.変数選択やモデル選択に伴う多重検定を考慮すると,t値の分布は大幅に上方にシフトし,有意水準の臨界値は極めて高くなる.本研究の結果は,ファイナンスの学術的枠組みにオーバーフィッティングの問題を体系的に取り込む必要があることを示唆している. </p>
Journal
-
- JSAI Technical Report, Type 2 SIG
-
JSAI Technical Report, Type 2 SIG 2018 (BI-008), 11-, 2018-01-20
The Japanese Society for Artificial Intelligence
- Tweet
Details 詳細情報について
-
- CRID
- 1390009714522092032
-
- NII Article ID
- 130008164205
-
- ISSN
- 24365556
-
- Text Lang
- ja
-
- Data Source
-
- JaLC
- CiNii Articles
-
- Abstract License Flag
- Allowed