データサイエンティスト(仮)

元素粒子論博士。今はデータサイエンティスト(仮)。

スパースモデリング

Rでスパースモデリング:Elastic Net回帰についてまとめてみる

導入 回帰モデル構築の際、汎化性能を向上させるために正則化の手法がたびたび用いられます。これは、考えているデータ数に対して特徴量の数が非常に多い場合や、特徴量間に強い相関(多重共線性)がある場合に有効な方法となっています。このような場合に、…

Rでスパースモデリング:Adaptive Lasso

導入 スパース推定の代表的な手法として、Lassoがあります。様々なシーンで活用されているLassoですが、Lassoは変数選択の一致性が保証されないという欠点があります。Adaptive Lassoは、その欠点を補う形で提唱されている手法となっています。こちらは、あ…

社内でKDD2017論文を紹介した

社内の有志でKDD2017の論文紹介をしました。 紹介した内容はスパース推定に関するアルゴリズムの話です。 発表資料をslideshareに公開したので、そのリンクをこちらにもはっておきます。 Qualityがよくないかもしれませんので、ご質問やご意見がありましたら…

Rでスパースモデリング:Group Lasso

はじめに スパース推定の代表例として、Lasso(Least Absolute Shrinkage and Selection Operator)があります。 これは、正則化項としてノルムを加えるようなパラメータ推定法です。 このような正則化項を導入すると、大部分のパラメータは0に潰れてスパー…