SAPのソリューションに「InfiniteInsight」というものがある。旧KXENをSAPが買収したもので、搭載されているアルゴリズムはサポートベクターマシンの開発者（VapniK）によるものらしく、統計解析に対する知識や経験なしに高精度のモデルを作成することができ…

仕事をしていて思ったことを。統計分析が求められる場面というものはいくつもあるが、その中で最もメジャーと言ってよいものの一つが「将来予測」だと思う。身近なもので言えば株価や天気で、「明日はどうなるか？」という問いについて、モデルは一つの答え…

こんなサービスがあることを最近知った。 ■Data Scientist Workbench datascientistworkbench.com IBMが提供しているサービスで、ブラウザ上でRStudioやJupyterが実行できる環境を提供してくれる（無料で！）。分析手法よりもHadoopやSparkなど大規模データ…

忙しかったので久しぶりの更新です。 最近Rでこんなパッケージを発見して驚いた。その名もrpivotTable。なんとRでTableauのようなBIツールを再現してしまうという夢のようなパッケージだ。パッケージのインストールから実行までは以下のようになる： install…

遺伝的アルゴリズム(GA)をRで実行するためのパッケージを探していたら、GAによる変数選択という非常に興味深いものを発見した。パッケージ名はGALGO。Genetic Algorithms to solve Optimization problemsらしい。早速使ってみたが、インストールに少し手間取…

母数という言葉は誤用が多々あるように思います。例えばデータの大きさの話をしている際に「このデータは母数が小さいから～」「十分な母数を確保して～」みたいな言い方をする人をよく見かけるのですが、統計学において「母数」とは「パラメータ」と訳し、…

決定係数は線形回帰分析においてモデルの精度を表す指標の一つで、1に近いほど良いモデルであるとされます。またこのは相関係数の二乗で求めることがあります。 しかしこれらの説明は必ずしも正しいとは言えないため、注意が必要です。

統計の勉強を始めた時、初めに躓きそうな内容として不偏分散があります。要するに標本集団から分散を求める際は、平均を推定した分の情報量の減少を加味するために、標本サイズではなく自由度で割りましょうという内容です。このとき、「平均を推定する際に…

データ分析に興味を持ち始めた方から、参考となる書籍についての質問を受けることがあります。統計や機械学習、データ分析に関する本は世に溢れているので、どれを読めばよいか困りますよね。そんな時にいつもお薦めしている本が２冊あります。 ①統計学入門 …

プログラミングは人によって色々と「お作法」が異なっているため、他人の書いたコードを見ると非常に勉強になったり、はたまた困惑したりします。 個人の趣味や絶対に他人が関わらない範囲であれば構わないのですが、チームでプロジェクトに入った時などは、…

RであれPythonであれ、プログラミング言語というのは多くの人がハマりがちなポイントがありますよね。そのようなときは先人の残した知恵に頼るのが良い解決策であり、Tipsが集積された資料があると大変うれしいですね。というわけでこれ。60 R Launguage Tip…

前回（Caffeその① - ushi-goroshiの雑記帳）の続きです。

ディープラーニング、特に画像認識で大変メジャーなライブラリであるCaffeを使用してみましたので、その際の手順をメモしておきます。今回はインストール。

機械学習や人工知能が認知されるにつれ、従来のデータ分析者が使用していたモデルという言葉の意味が変わってきたように思います。今日は自分なりに、統計モデルの意味について考えてみます。

今日、ニュースを見ていたらこんな記事がありました。人工知能が株式市場で存在感、学識者驚く的中率68％－将来８割可能も - Bloomberg株式の将来予測に人工知能を用いることで上昇/下降を精度よく的中させることが可能であるとのことです。私は投資家ではな…

こんにちは、ushi-goroshiです。 先日は冬とは思えないぐらいに暖かい日があり、春を感じる今日この頃です。突然ですが、Macデビューを果たしました。 Mac Book Airを買いました。これまでずっと何をやるにも会社貸与のPCを使用していたのですが、Windows環…

こんにちは、ushi-goroshiです。 今日は（も）統計のお話。 有名なオンライン講座のcourseraでは統計学の講義もいくつかあります。 そのうちの一つ、Duke Universityの「Data Analysis and Statistical Inference」はRを使いながら統計の勉強ができる非常に…

ushi-goroshiです。 あけましておめでとうございます。 最近知ってとても衝撃だったのですが、統計解析ソフトとして有名なSASがなんと無料で使えます。 SAS University Edition 無償の統計ソフトウェア SAS University Edition | SAS インストールなどを解説…