正則化最小二乗法を用いた多変量多項式回帰モデルに対するパラメータ推定法

多項式回帰モデルは，単純な線形回帰モデルに比べて複雑な関係を表現できるモデルであり，様々な予測問題に活用されている．また，複雑な処理を行う機械学習モデルに比べて，高い解釈性を持つという点でも有用なモデルであると考えられる．しかし，多変量の多項式回帰モデルでは，次数が大きくなると変数の数が指数的に増大するため，適切な説明変数の選択が必要である．従来，多変量多項式回帰モデルに対してスパース推定を用いて，効率的に高次の項の推定を可能にするアルゴリズムが提案されている．それらの1つであるSPORE-LASSOは，元の説明変数にLASSOを適用して一部の変数を取り出し，少数の説明変数に任意の次数の多項式展開を行って構築した多項式回帰モデルに対して，再度スパース推定を行うアルゴリズムである．その結果，すべての説明変数を考慮せず，多項式回帰モデルに対する効率的なパラメータ推定を実現している．しかし，従来のアルゴリズムは，最大次数を固定する必要がある．故に，最大次数を小さく設定すると真の構造をとらえることができなくなってしまい，大きく設定した場合には上述のように，変数の数が指数的に増加してしまうという問題を抱えている．そこで本稿では，最大次数が未知の多項式回帰モデルに対し，スパース推定を行う新たなアルゴリズムを提案し，人工データによるシミュレーション実験と実データを用いた実験によりその有効性を検証する．

We introduce a novel algorithm designed to estimate the parameters of multivariate polynomial regression models with an undefined maximum order. Polynomial regression models are crucial tools in predictive tasks. However, as the number of explanatory variables rises, so does the complexity of the polynomial terms, making accurate parameter estimation particularly challenging when dealing with higher order models. The SPORE-LASSO algorithm tackles this issue by leveraging sparse estimation for multivariate polynomial regression models, effectively approximating higher order terms. By utilizing the LASSO technique, it identifies a concise set of significant explanatory variables. This method permits sparse estimation of polynomial regression models, adeptly managing a restricted number of polynomial terms. Nonetheless, conventional algorithms mandate the specification of a maximum order. When this parameter is set too low, the model's true structure may be overlooked. Conversely, if the maximum order is set too high, an unwieldy increase in the number of variables arises. Thus, we've developed a new algorithm that mitigates these issues. We have confirmed the efficacy of this algorithm through simulation experiments employing both synthetic and real-world data.