柴田 里程 著『データサイエンスの作法』

2020年12月24日発売の近著で,以下のカバーをクリックして近代科学社のページへ飛ぶことで,ネット注文もできます(ISBN 978-4-7649-0627-3).我々が追い求めてきた「サイエンスとしてのデータサイエンス」のツボを,数式も一切用いず平易に解説しました.TRADによるデータの視覚表示が,データを活かし切るのにどれだけ役立つのかも実感していただけるに違いありません.データサイエンスの健全な発展を願い,A5版128ページ,カラー巻頭口絵つきで,税抜き2,000円と破格の値段に抑えていただきました.電子版も同時発売されています.

立ち読み

本書のキーワード

  1. バズワード「データサイエンス」からの解放
  2. 「データサイエンティスト」と「データ・サイエンティスト」
  3. データサイエンスとデータエンジニアリング
  4. 資料,情報,データはどう違う?
  5. COVID-19 (コロナ禍):絶対数,相対値
  6. データ倫理:データリテラシー,データの価値評価
  7. 三位一体:変量,データベクトル,座標軸
  8. 何も足さない,何も引かない:一枚の織物による視覚表示
  9. 機織り職人の心意気:経糸と緯糸の織りなす綾
  10. データブラウジング:視点,視野,視覚
  11. 大学ランキングデータ:東大は日本の最高峰?
  12. オープンデータ:宿泊旅行調査,患者調査,LIBOR
  13. データの変容:型,射影,正規化,結合,分解
  14. プログラミングかデータか:PythonとR

囲み記事一覧

  • 推論の論拠と根拠 p.2
  • COVID-19 p.6
  • R p.11
  • TextilePlotとTRAD p.17
  • DandDインスタンス p.21
  • 欠損値 p.23
  • 分散とバラツキ p.25
  • 色相,彩度,明度 p.29
  • 母数 p.41
  • 機械学習 p.43
  • 書式 p.54
  • 長名 p.61
  • 重み付き和 p.74
  • Python p.89
  • 多重共線性 p.97
  • 並行座標プロット p.103
  • 数値化 p.105
  • 画像記録形式 p.108

読者の感想(一部)

  1. 新型コロナウイルスの猛威は収まりそうもありませんが,データサイエンスを使ってより良い政策が立てられるのではないでしょうか?
  2. きれいなセンスのいい表紙ですね. 世の中、各大学でAIとデータサイエンスの学科やセンターができていますが,このブームに対する著者からの問いかけ 「皆さん、データサイエンスって何ですか」に何と答えるのだろうか興味が湧きます. COVID-19についても確かにランダムサンプリングを行えばよいですね. いろいろ勉強させていただいております.
  3. 「データサイエンスの作法」読ませていただいています. TRADが,「データ分析とデータサイエンス」の時から,かなり改良されていたのですね. Rと接続して、いろいろ勉強させていただいています. 私が感心したいくつかの項目として,とりあえず「 データの読み込みで、列ラベルの複数行対応がすばらしい」, 「記録度数型への変換で図が一瞬で変化する」,「並行座標プロットで,カテゴリー型変数も対応している」を列挙させていただきます.
  4. データサイエンス作法の汎用的な道具として TRAD の特徴・開発方針・利用法を詳しく説明しています.新しく開発された TRAD-GUI と R との結合は有用な機能です.分子生物学,宇宙科学,物性科学などのデータの解析には,TRAD のフィルタリングなど高度な利用が必要でしょう.官庁統計を代表とする公共的社会・経済調査データ,気象データ,金融データ,工場生産ライン,工業製品の設計マニュアルなども身近ですが,十分に複雑なデータです. 抽象的な数学・理論物理学を別として,人間が観測・実験・経験を整理・追及するとき,多かれ少なかれ可視化できて初めて理解できたと納得できるし,他人に伝えられると思います.
  5. いろいろ他の本に当たったけどよくわからん!という人にとっては救いの神みたいな本だと思います.
  6. 現場で日々仕事に追われていますので,このような柴田先生の哲学が詰まった著書に出会えたことはとても有難く思います.
  7. テキスタイルプロットが前面に押し出された,他に類を見ない意欲的な著書ですね.
  8. 素晴らしい内容、さすが!です。日頃「大ボラ」吹いている、と思っていましたが 見直しました。
  9. まだ、深く読み込めていないところがありますが、TextilePlotを中心として、様々なデータの分析の例を提示していることを拝見致しました。また、通常は、統計の書籍では触れられていない、データの視覚表示や読み込み等にも言及した、特色のある書籍となっていることに敬服しております。
  10. "数学アレルギー” の女子高校生にも読みやすい本だと感じました。生徒にも推薦してみようかと思います。
初版 第 1 刷 正誤表
箇所
p.i まえがきデータサイエンスティストデータサイエンティスト

資料

以下のソースデータをTRADのデモデータに含めておきましたのでご利用ください.

  1. 宿泊旅行統計調査: 001342341.xlsx
  2. 患者調査: j0091.csv
  3. LIBOR: LIBOR.txt

図8.2, 図8.3 を作成する R スクリプト例を参考までに載せておきます.

  1. 図8.2
  2. 図8.3

戦略

本書で示されたデータサイエンスの作法を TRAD で実践するとしたら,その戦略は

  1. データが思った通りに読み込まれているか入念にチェック
  2. 適切な型の設定
  3. 正規化が必要ではないかどうかチェック
  4. クラスタリングによる変量間の関係の探索
  5. 射影や主変量の絞り込みによる「視点」の明確化
  6. 記録の絞り込みによる「視野」の明確化
  7. 型の変更や緯糸の染め分け,ハイライトなどによる「視覚」の明確化
  8. 視覚表現からわかることを「言葉」に興す
  9. 必要なら R へ移って詳細な解析を施す
のようになるに違いありません.あくまでも一つの簡略化したシナリオにすぎませんが...

柴田 里程 著『データ分析とデータサイエンス』

(株)近代科学社より,データサイエンスのバイブル

 『データ分析とデータサイエンス』(ISBN: 978-4-7649-0498-9)

が2015年12月22日全国書店で発売されました.以下のカバーをクリックして近代科学社のページへ飛ぶことでネット注文もできます Kindle版, Kinoppy版も発売されています.お好みの形式での購入をお勧めします.

バイブルを開く

本書は2部構成になっており,第I部は高等学校新課程での必修単元「データ分析」に沿った内容となっております.高校生により深く本単元を理解させるための教材としても大いに役立つでしょう.第II部は 「本物のデータサイエンティスト」になるために何が必要なのかからはじめ, 数々の実データをもとに,データサイエンスの実践によってどのような宝が見つけ出せるか,わかりやすく説明しています.実務に携わる方にも大いに役立つ内容に違いありません.

なお,本書を読み通すのに特段の予備知識なしで済むよう十分配慮してあります.「データサイエンス」や「データサイエンティスト」に興味をお持ちの方は,まず第6章からお読みいただくことをお勧めします.

 内容見本

 図表一覧

 囲み記事一覧

読者の感想(一部)

  1. 完全にwet分野の経験しかなく、Rを勉強しているところで、いろんな書籍を参考に試行錯誤しているのですが、データ解析の方法はのっているもののどういう風に考えてどういう解析をするかという本は皆無で、先生の本は非常に役立っております。 このような本を常に探しておりましたが、やっと出会えたという感じです。
  2. 最近は法律の変遷などを肌で感じることが多く,民意というビッグデータをどう集め,どう判断すればいいのかと, 弁護士の方々が頭を悩ませているのに乗じて,自分も色々考えを巡らせております。 特に第7章の都道府県の力等,大変具体的で丁寧に書かれており,なかなか理解力が追い付かない私にも何とかわかりそうに思えます。
  3. 珠玉のデータの数々,勉強します.
  4. 内容は手ごわい部分がありますが,カバーは vi頁に解説がある通り,ほんわかしていて心が安らぎます. ワサビもところどころに配置してあり,味わい深いです.
  5. 内容盛りだくさんなのにハンディというか(あるいはその逆か) この内容が一冊にまとまった本は無いですよね. 特に高校生や高校の先生などに読んでもらいたいと思います
  6. 装丁、レイアウトが美しい本です。脚注を脚でなく、両側に置くのは新しい試みでしょうか。記号の説明から、 章末で詳しく論ずるようなことまで入っています。私には読みやすい形式ですが、初心者には煩わしくないでしょうか。
初版 第 2 刷 正誤表
箇所
p.37 問題3.1.4 2行目持つことを示しなさい.持つだろうか?

2019年2月28日発行の第2刷では,以下の第1刷での誤りや,読みにくい言葉遣いや体裁が修正されております.

初版 第 1 刷 正誤表
箇所
p.49 傍注参照番号16)17)
p.121RtoolsRStudio
p.127 下から5行目,式の分子X-DD
p.194 傍注参照番号40)41)
p.249 参考文献[4]K.Baba and R. ShibataK.Baba, R.Shibata and M.Sibuya
p.56 の株価収益率データをローソク足で をローソク足で
p.188ロジスティック関数の定義式右辺の指数の肩 -αt/κ -ακt
p.242共通な分布の平均,分散共通な分布の平均,標準偏差
p.4 下から3行目一定一意
p.13 下から7行目の手形を振り出しによる支払を手形の振り出しで支払い
p.45 下から2行目sd(s(
p.145 下から3行目= つまり =I つまり
p.145 下から2行目 I このときこのとき
p.46 最終行画面画像
p.153 最終行mxm要素が非負のmxm
p.210 下から3行目冒頭(ヌケ)
p.236 下から8行目株価株式
p.238 上から17行目パラメータのパラメータ
p.108 下から4行目(冒頭ピリオッド)(前行末に送る)
奥付修士課程終了修士課程修了

第I部資料

  1. R ダンプファイルPart1.R
  2. ダウンロードしたファイルを R の作業ディレクトリに置き source("Part1.R") で読み込んでください. Mac の場合は日本語コードを合わせるため source( "Part1.R", encoding="cp932")で読み込む必要があります.

  3. ping 実験用プログラムping.zip

第II部資料

  1. R ダンプファイルPart2.R
  2. ダウンロードしたファイルを R の作業ディレクトリに置き source("Part2.R") で読み込んでください. Mac の場合は日本語コードを合わせるため source( "Part2.R", fileEncoding="cp932")としてください.

  3. 各地の空間放射線量率radiation.csv

柴田 里程 著『時系列解析』

2017年9月15日発売の近著です.以下のカバーをクリックして共立出版のページへ飛ぶことでネット注文できます(ISBN 978-4-320-11255-1).

読者の感想(一部)

  1. 時系列解析について、読み易く、またコンパクトにまとめられていることに敬服しております。
初版 第 2 刷 正誤表
箇所
p.41 下から3行目最後のピリオッドコンマ

2019年9月10日発行の第2刷では,以下の誤りは訂正されています.

初版 第 1 刷 正誤表
箇所
p.72 下から4行目定理9定理10
p.16 上から2行目スペクトル密度関数有限なスペクトル密度関数
p.17 上から2行目絶対連続,つまり絶対連続で,有限な
p.50 上から1行目=><=
p.50 下から3行目=><=
p.77 上から8行目AR(p)モデル有限次モデル
p.94 下から3行目上の(1),(2) の上の(2)の
p.94 下から3行目(1) はケズル
p.94 下から2行目であるための条件,(2)はで,