以下の資料を参考に、時系列予測モデルの代表的な評価指標について、特徴や、メリットデメリットをまとめてみます。本記事の内容は、参考資料に記載されている内容から私がざっくり解釈したもののため、正確性には欠けていると思います。 https://otexts.com…

厳密な証明かはわかりませんが、以下に自分なりの理解をまとめます。MSEの最小化問題はRMSEの最小化問題と解が同じ(?)だと思いますので、MSEの方で検討します。 (記法) : のベクトル : のベクトル : のベクトル ここで(5)の第3項に注目して となるので、 と…

厳密な証明はよくわからなかったので、自分なりのざっくりした理解を記載します。 (1)(2)予測誤差を式変形していきます。 (3)が連続での値をとる場合、絶対値の期待値は積分で表せます。このとき、を確率変数と考え、は定数とみなすことにします。はの確率密…

これまでXFREEのレンタルサーバーにホームページを作り、そこにRの勉強で作った資料などをあげていました。無料で広告も入らないため不満はなかったのですが、3ヶ月に1度更新処理（ログインして更新ボタンを押す）が必要なことと、更新するたびにローカルでh…

時系列分析の勉強をはじめることにしました。まずはARモデルです。以下の記事を見ながらARモデルの構築と、モデル検証の勉強をしました。Rと時系列(2) データ Google Trendsのヒット数を使用します。検索ワードは”温泉”にしました。 期間は2016年1月1日～201…

shinyの練習をしました。以下の記事で作成したコードを流用して、google trendsのdailyの結果をcsv形式で取得するウェブアプリを作ります。hadadada00.hatenablog.com具体的には以下のことができるようにしました。 検索ワードを指定 期間を指定 実行ボタン…

google trendsのデータを使って時系列分析の勉強をしようと思いました。gtrendsRというRパッケージを使用すればRからAPI経由でデータを取得できるようです。gtrendsRの関連記事 https://mrunadon.github.io/gtrendsR/しかし、google trendsの仕様ではdailyで…

日本人同士の会話だと dplyr : ディープライヤー purrr : プルル と呼ぶことが多いと思います。 日本人以外と話すときには何と読めばよいか気になったため調べました。 youtubeで動画を探すと以下のように発音していました。 dplyr : ディープライヤー https…

Ｒでロジスティック回帰（2値分類）の練習をやってみました。 概要 NBAのデータを使用する 各年の成績データを使用して、その年にオールスターに選ばれたかを予測する（2値分類） データ 以下で作成したデータを使用します。 allstars hadadada00.hatenablog…

Ｒでロジスティック回帰の練習をしようと思ったのですが、自分がもっているデータの中に２値分類の問題がつくれそうなデータがなかったため、新たにデータを取得することにしました。 今回はwikipediaからNBAのオールスター出場選手のデータを取得します。Li…

Ｒによるデータ分析の練習として因子分析をやってみました。手順は以下の記事を参考にしました。 Rで因子分析やってみた - Qiita 概要 NBAの各選手の成績データを使用する PT（ポイント数）やBLK（ブロック数）などの成績データから選手のパフォーマンスを説…

以下の記事でウェブスクレイピングの練習をしました。 hadadada00.hatenablog.comせっかくなので以下の記事で作成したpackageに追加して今後分析で簡単に使えるようにしてみました。 hadadada00.hatenablog.com前回作成したpackageのローカル環境は以下のよ…

以下の記事で分析を行う際に、ウェブページからNBA選手の年俸データを取得しました。 年毎にページが分かれているため、Rでウェブスクレイピングをして、データ取得を自動化しようと思います。hadadada00.hatenablog.comウェブスクレイピングのやり方につい…

統計の勉強で主成分分析をやってみました。 分析概要 NBA選手のstats（各成績のデータ）を使用して、選手の総合力を測る指標を作成する データは2016-2017年シーズンのものを使用 結果の大まかな検証として年収のデータと比較する データ 選手の成績データは…

久しぶりに勉強以外の本を読みました。 一時期ちょっとしたブームになったハンスロスリング氏のファクトフルネスです。 FACTFULNESS(ファクトフルネス) 10の思い込みを乗り越え、データを基に世界を正しく見る習慣 作者: ハンス・ロスリング,オーラ・ロスリ…

週次で集計を行いたいときに、以下のようにweek関数とyear関数でグルーピングをしようとしました。 with temp as ( select week(from_unixtime(unixtime)) as week , year(from_unixtime(unixtime)) as year , id from table ) select week , year , count(i…

条件が複雑なクエリを見やすくするために、Prestoでグローバル変数をアドホックに定義できないか調べてみたのですが、Prestoはできないようです。Does Presto have the equivalent of Hive's SET command - Stack Overflow代替案として以下のやり方をとりあ…

Ｒでjoin処理をしたときに、うまくjoinできているか確認したくなります。私なりに考えたやり方をメモとして残しておきます。まずはデータを準備します。 今回はmapsパッケージにはいっているアメリカの州のポリゴンデータと、私が自作したNBAの選手の出身州…

R markdownを使うことで、プレゼンテーション資料を作ることができます。形式は以下の3種類あります。 ioslides形式：出力ファイルは.html slidy形式：出力ファイルは.html beamer形式：出力ファイルは.pdf 参考： R Markdownによるスライド生成今回はioslid…

Ｒでデータ分析の結果をプレゼンテーション形式でまとめる方法としてはR markdownを使用する方法（更にioslides, slidy, beamerの3形式に分かれます）と、presentationを使用する方法があります。今回はpresentationを使ってみようと思います。 R presentati…

多変量のデータを分析する際に、相関係数行列を作成して変数間の関係を見たいときがあります。相関係数行列自体はstats::corで作成できすが、このままでは資料に使いづらいです。 x <- rnorm(100, 0, 1) y <- rnorm(100, 0, 1) z <- rnorm(100, 0, 1) w <- r…

RのI関数について調べましたので、備忘メモです。 読みはAsIs関数 主な使い方は以下3つ data.frameでベクトルをデータフレームにするときに、文字列をfactor型に変換させない。 formulaを書くときに、算術演算子をformulaの記法と認識させない。 qplotでaest…

以下の記事を参考にgganimateを使ってみました。[R]アニメーションで動くグラフを作る方法メモ - Qiita やったこと 国別の1人当たりGDPを棒グラフにする。 gganimateを使って年ごとに棒グラフを表示する。 データ World BankのHPから取得しました。2017年ま…

以下の記事を参考にK-fold クロスバリデーションを実装してみました。解く問題はkNN法のハイパーパラメータのkを決定する問題です。Cross-Validation for Predictive Analytics Using R - MilanoR 作業概要 irisデータセット（n = 150）を使用。 irisデータ…

シミュレーション結果をグラフに描くときに、geom_lineをたくさん書きたくなりました。工夫が必要なため、メモを残しておきます。まず、以下のようなデータを想定します。 df <- tribble( ~x, ~y1, ~y2, ~y3, ~y4, ~y5, 1, 1, 2, 3, 4, 5, 2, 1, 2, 3, 4, 5,…

caret::knn3を使ってkNN法の勉強をしていたときに、どのように実装しているのか気になりました。methodsやgetAnywhereで探してもメインのソースコードが見あたらないため、とりあえずネットで他の実装例を探しておおまかな理解で済まそうと思います。「R knn…

Rを用いたデータ分析の勉強のために、R for Data Scienceを一通りやりました。著者は「Rの神」こと、Hardley Wickham氏で信頼感は抜群です。 日本語訳の書籍もありますが、英語版が無料で見られるため、英語版でやりました。 https://r4ds.had.co.nz/ 感想は…

自分用の備忘メモです。有料/無料、オンライン/紙の区別はしていません。 データサイエンス全般 ・R for Data Science R for Data Science※別の人が書いた練習問題の回答集 R for Data Science: Exercise Solutions R for Data Science Solutions・Data Scie…

自分用の備忘メモです。適宜追加します。無料のオンライン版があるものはそちらのリンクを貼っています。 Rの文法 ・An Introduction to R https://cran.r-project.org/doc/manuals/r-release/R-intro.pdf・Advance R http://adv-r.had.co.nz/・ggplot2ggplo…

回帰モデルを作成するときに、複数のformulaを用意して外部からlm()の引数に入れる方法を探していました。以下の記事にやり方が載っていました。みかん箱テストしてみました。 # sample data x <- c(rnorm(100)) y <- c(rnorm(100)) df <- data.frame(x, y) …