Visual Excel®

書類を作成するには便利なエクセル.でも大量の数字や文字の羅列となったら,全体像を把握するのはそう簡単ではありませんね.ウンザリが先に立つでしょう.TRAD はそれを平面上に視覚表現することで楽しい作業に変えます.特別な加工はしていませんから,見かけが変わるだけで,もとの数字や文字を眺めるのと本質的に変わりません.これをプレゼンテーションに用いれば,面倒な説明はいりません.データについてのどんな質問にもすぐ答えられます.日常的なデータを介してのコミュニケーションもスムーズになります.この視覚表現だけからでも多くの事がわかってしまいますが,必要に応じて R での高度な解析との間を自由に行ったり来たりすることで効果的な解析が行えます.TRAD はデータの扱いを楽しくします.

TRAD はテーブルデータをそのままの形でグラフィカルに表現する TextilePlot,データサイエンス実践の基本的な道具 R, インターデータベースのサポートも含めた「データとその属性の一体化」ツールである DandD(Data and Description)を統合したソフトウエアです. 様々な用途に幅広く柔軟に対応します.

ここ数年の機能拡充や処理速度の向上によって TRAD も実用の域(state of art)に達しました.直感的なグラフィカルインタフェースで,データをさまざまな方角から眺め回すことができますので,まずは遊んでみることをお勧めします.単純なCSV ファイルだけでなく,複数のテーブルからなる CSV ファイル,転置の必要なテーブルを含む CSV ファイル,複数シートのエクセルファイルなどを,ドロップするだけで簡単に眺められます.十数万行に渡るテーブルや,数千カラムからなるテーブルもストレスなく扱えるようになりました. 大雑把に言って読込速度はExcel や R と同等です.

R を使いやすくするTRAD

R はデータサイエンス実践にあたっての強力な助っ人ですが,慣れないと決して使いやすいとはいえないでしょう. TRAD は R を補完し,R でやる必要のないことはあえてRを使わないですむように設計されています.また,R 自身の使い心地も大幅に改善しています,一度お使いになれば, RStudio などとの違いはすぐお分かりになることと思います.

まずは,トップパネルの真ん中の入力フィールドから選べる Example インスタンスを試してみてください.さらにお手持ちの CSV ファイルをドラッグしてみてください. また,厚労省の 300 以上のファイルからなる患者調査データを DandD ライブラリー化したものもダウンロードできますので,これらもお試しください. また, R アイコンをクリックしてみてください.

Q&A

ダウンロード(無償)

TRAD の実行にはJavaの実行環境 (JRE) がインストールされている必要があります. インストールされてなければ, まず JRE を ダウンロードサイトからダウンロード(無償)し,インストールしてください. 現在お使いの OS が 64 ビットなら必ず 64ビット版の JRE をダウンロードしてください.さもないと R との連携がうまくいきません.

現在の TRAD 公開版は Java 9 以降には対応していません. Oracle のサイトからダウンロ―ドできる Java 8 (version 1.8.x ) の JREをお使いください.

今後の開発計画

現在開発は Oracle の jdk 8 でおこなっておりますが,jdk の最新版はすでに 11 あるいは 13 まで進んでいます.そこで,今年の夏ごろから OpenJDK へ開発環境を移行するとともに,そこで作成したminimum JRE を TRAD のダウンロードに含める(bundle)形式に変更致します.これで別途 JRE をインストールする必要はなくなりますが,煩雑さを避けるためあまりポピュラーでなくなったWindows 32ビット版や R 32ビット版への対応は廃止させていただく予定ですので,ご了承ください.OS も R も 64 ビット版であることが前提となります.

TRAD 公開版はデータサイエンスの健全な発展を願って無償で提供しております.

お問合せは 宛にお願いします.すべてのご質問,ご要望にすぐお応えできるわけではありませんが,できるだけ対応させていただきます. なお,TRADのカスタマイズやトレーニングのご要望は,同じ までお寄せください.

TRAD の最新の機能より安定性を重視する方は,安定版をお使いください.安定版は少し古いですが,これまで問題がないことを検証済の版です.

ダウンロードインストール

JRE をインストールした上で,以下の ZIP ファイルをダウンロードし,install.vbs (Windows) あるいは TRAD.pkg (MacOS) をクリックすればインストールできます.サイズは約 40 M です.

簡単インストール

  1. JRE がインストールされていなければインストール( Windows 64bit 版, MacOS X 版 )
  2. 以下の ZIP ファイルへのリンクいずれかをダブルクリックし開く
  3. Windows なら install.vbs , MacOS なら TRAD.pkg をダブルクリックし, TRAD をインストール
  4. アイコン をダブルクリックし TRAD を起動

もし,Windows で,インストールできたのに起動しない場合は Windows のセキュリティーが邪魔している可能性があります.設定 -> Windows セキュリティー -> アプリとブラウザーの制御 を開いて,「アプリとファイルの確認」が「ブロック」になっていないかどうかお確かめください.もし「ブロック」なら「警告」に変更してください. このような問題は,他のセキュリティソフトの場合にも起きる可能性があります.ダウンロードインストールなら 回避できるかもしれません.

TRAD(TRAD20201208)

Windows版ZIPファイル(コード署名済, R version 3.x.y, 4.0.y に対応,ただし R version 3.5.x 以降は 64 bit 版のみ対応)

MacOS版ZIPファイル(Apple 認証済, R 3.4.x 以降に対応, ただし R.4.0.x でグラフィックスライブラリーCairo を使うには R.4.0.2 以降でないとエラーになるようですのでご注意ください. 詳細については TRADのマニュアルを参照願います.)

主要な更新履歴

  • TRAD20201127: データテーブルに操作を加えた結果作られる新たなデータテーブルの短名につく接尾辞を整理し簡略化しました.
  • TRAD20201027: R オブジェクトパネルの使い心地を改良しました.データ読込時のデータファイル表示速度も大幅に改良されています.
  • TRAD20200818: 下記の問題を回避するため,「TRADの設定」に 「画面コピー時の位置尺度倍率」を新設しました.ディスプレイの拡大縮小率と同じ値をここに指定すれば,正常に画面コピーできます.たとえば,ディスプレイの拡大縮小率が 150 % なら 1.5 と設定してください.
  • TRAD20200817: Windows 10 のアップデートの影響だとおもいますが,ディスプレイの 拡大率を 100 % 以外に設定すると,Ctrl-S などによる画面コピーが正しく機能せず,クリップ ボードへのコピー範囲がおかしくなります.そのようなときは,とりあえず「保存」の「表示を画像として保存」で直接画像ファイルに保存するか,OS の Snip などのツールをお使いください. もちろん MacOS では問題ありません.
  • TRAD20200623: Windows 10 のアップデートにより,Windows でのディスプレイの拡大縮小率の変更がTRAD にも反映されるようになったようです.したがって,TRAD の設定での拡大率とダブルで適用されるようになりました.Windows での拡大率が100%以外に設定されていた場合は,急にTADウインドウのサイズが変化したように感じるかもしれませんが,バグではありません.これに伴い,TRADの設定での 拡大率は 1 以下にも設定できるようにしました.ただし,余り小さくするとフォントが無かったり,アイコンとのバランスが悪くなったりしますので,ご注意ください.
  • TRAD20200428: MacOS版でも R 4.0.0 に対応するようになりました
  • TRAD20200428: 4月24日に R 4.0.0 がリリースされたことに伴い,とりあえず Windows 版には対応するよう JRI を修正しました.今回はメジャー番号の変更ですので,解決しなければならない問題がいくつかありました.MacOS 版への対応はもう少しお待ちください.
  • TRAD20191120: svg 以外に eps, gif, png, jpg などの形式で画像の保存ができるようになりました.また,カラーでの染め分けも改良されています
  • TRAD20191028: フォントを自由に変えカスタマイズできるようになりました.設定メニューでお試しください.
  • TRAD20191020: 日本のユーザの要望に応えメニューなどを日本語に置き換える作業をはじめました.まだ作業途中ですが,お確かめください.
  • TRAD20191004: Windows でアカウント名に空白が含まれているとインストールが失敗する問題を解消しました.
  • TRAD20190922: 色使いやアイコンを軽やかにしました.気づいたバグも取り除いてあります.マニュアルの一部に変更が追いついていない箇所があります.
  • TRAD20190826: スピードとメモリー消費の大幅な削減に成功しました.Parallel Coordinate Plot も 2 種類となり,様々な視点からデータをとらえることができるようになりました.また描画もより早く美しくなりました.オフラインマニュアルも PDF から eBook 形式に変えましたので,見やすくなったと思います
  • TRAD20190624: MacOS 版も R 3.6.x にも対応
  • TRAD20190618: R 3.6.x にも対応(Windows 版)
  • TRAD20190515: 何十万行の CSV ファイルでも数十秒で TextilePlot 表示できるようになりました.Excel や R で読み込むのとほとんど変わらない時間でTextilePlot表示できます
  • TRAD20190301: R での線形モデル(lm) や一般化線形モデル(glm) の当てはめ結果もParallel Coordinate Plot でカラー表示できるようになりました.
  • TRAD20190129: Warp のノードも色付けされるようになりました.
  • TRAD20190111: Parallel Coordinate Plot もサポートするようになりました.
  • TRAD20190102: 欠損値表示も色付けされるようになりました
  • TRAD20181217: データベクトルに Explanation が付けられるようになりました.
  • TRAD20181213: データテーブルを複数のデータテーブルに分割する機能 Divide をインストールしました.
  • TRAD20181128: Metamorphism に Logicals to Mark を追加しました.単数選択,複数選択を問わず選択結果が複数の論理ベクトルの組が表されている場合,それを一つのMark型データベクトルに変容させることができるようになりました
  • TRAD20181114: R での初期設定を不要にしました.Code エディタを改善しました
  • TRAD20181001: 色分けしたハイライトができるようになりました
  • TRAD20180905: DandDEditor のヒューマンインタフェースを改善しました
  • TRAD20180827: MacOS のもとでの R の描画がうまくいかなかった問題を解決しました.
  • TRAD20180821: R version 3.5.x 以降への対応には,JRI を解読し修正する必要がありました.R の install.packages("rJava") でダウンロードされる rJava にふくまれる JRI には多言語,特に日本語への対応に問題があり,それがさまざまな副作用も引き起こしていました.従って今後は,JRI だけでなく R のソースプログラムの管理も行っていきます
  • TRAD20180812: R version 3.5 以降にも対応したはずだったのですが,R はversion 3.5.0 で大幅な変更があったようで,日本語の表示,ヘルプの表示,グラフィックスの表示とさまざまな問題が起きることがわかりました.現在,原因の探索を行っていますので,しばらくは R Version 3.4.4 以前をお使いください.
  • TRAD20180805: config 項目が増えました.これらの項目を利用するにはアップデートの際にホームページなどの TRAD.conf もアップデートしてください
  • TRAD20180720: Wefts の色分けできるようになりました.
  • TRAD20180702: Data Tables ポップアップからコメントの付加,データテーブルの削除ができるようになりました.
  • TRAD20180627: Data Tables ポップアップを改善しました.
  • TRAD20180626: R version 3.5 以降にも対応するようになりました
  • TRAD20180515: Normalised 時の ID の扱い変更
  • TRAD20180512: Data Tables の表示と選択機能の充実
  • TRAD20180507: Weft操作機能修正,マニュアルにデータファイルの読み込みとして「観光庁データファイルの読込」を追加
  • TRAD20180503: データファイル読込,Warp操作, Weft 操作 機能拡張

TRAD(安定版)

Windows版ZIPファイル(コード署名済, R version 3.x.y に対応,ただし R version 3.5.x は 64 bit 版のみ対応, TRAD20201116)

Mac版ZIPファイル(Apple 認証済, R 3.5.x 対応,TRAD20201116)

ドキュメント

TRADオフラインマニュアル

この eBook (ePub3)ファイルを読むたにはさまざまな無料アプリが提供されていますので,お使いの環境にあわせ,お好みのアプリをお使いください.

Windows Edge Browser: Adobe Digital Edition

Google Chrome: readium, Magic Scroll

Mac, iPhone: AppleBooks( iBooks )

Google Pixel: Moon+ Reader

DandDインスタンスライブラリ

解凍後,ディレクトリ PatientSurvey をホームディレクトリのサブディレクトリ DandDlibrary の直下に移動してください. TRAD の DandDライブラリータブから簡単に利用できるようになります.

厚労省患者調査データDandDインスタンスライブラリZIPファイル

たとえば解凍した PatientSurvey を,Windowsなら [ドライブ]>[ユーザー]>[ユーザー名]>DandDlibrary の直下に.Mac なら,/Users/[ユーザ名]/DandDlibraryの 直下に置いてください.

TRADを立ち上げている状態でライブラリを追加した場合は,TRADを一度閉じてください.もう一度立ち上げれば利用できるようになります.

Rとの連携

Windows 版は R の メジャー番号が 3 以降の Vresion に対応します.ただし, R version 3.5.x 以降の 32 ビット版への対応は致しませんので,どうしても32ビット版のRをお使いになりたい方は R version 3.4.x より前の Version をお使いください.

Mac 版はディフォルトで R version 3.5.x 以降に対応しております,これ以前の Version の R を使う方法については TRAD マニュアルをご参照ください,

ディープデータアナリシス

一口にデータ解析といっても,人により,状況により,そのイメージはずいぶん異なります.あらかじめ目的が定まっていて一直線にデータを処理するだけなら比較的話は簡単です.しかし「手持ちのデータからなにか役立つことが見つからないか」が目的だとしたらどうでしょう. 目的地を探しながらの旅を始めなければなりません.ある程度の目的が定まっていても,満足な結果を得るためには多くの試行錯誤が欠かせません.ここでは,このような冒険の旅をディープデータアナリシス (deep data analysis) と呼ぶことにします.

ディープデータアナリシスを行うにあたって,データの準備作業に多くの時間を費やしていたら,時間が足りなくなることは目に見えています. あちこち掘り返すだけでも,かなりの時間が必要になります. さらに,あらかじめデータの全体像をつかみ,ねらいを的確に定めなければ,いくら深堀りしても本当に役立つ結果は得られないことは我々の長年の経験からも明らかです.

何事も楽しくなければ長続きしませんね.よく,データ解析に費やす時間の7割以上がデータの準備作業に費やされるといわれます.ここで挫折することが多いのもうなづけます.目標がはっきりしないまま,単調な準備作業を続けなければならないとしたら,それは苦役でしかありません.

隘路

データサイエンスが日本でもブームだった頃, R さえ使えればディープなデータ解析ができると思い込み,われさきに R に飛びつきました.しかし,30年以上前に R の前身である S をベル研究所と共同開発し,その普及を図るため様々な書籍も出版し,教育も活発に行ってきた我々としては,これは目を白黒させるばかりの現象でした.たしかに S はディープデータアナリシスを行うための一つの理想的な環境として作られたものです.しかし,使いこなすのにはハードルが高いことも事実です.単に R の基本的な使い方を覚えるだけではどうにもならないことはよくわかっていたからです.

いまなお R を本当に活用している人はどれだけいらっしゃるのでしょうか? R は一応勉強したけれど,どう活用したらよいのかわからなくて,そのままになっている方も多いのではないでしょうか.その理由は,大きく分けて次の3つになるになると思います.

  1. R で使える形にデータを整えるのが厄介で,なぜ R を使わなければならないか疑問
  2. データの全体像をつかむのが困難なため,どう解析したらよいか迷ってしまう
  3. R のヒューマンインタフェースが時代遅れで,面倒.

我々はこれらの問題をデータサイエンスを提唱した 1990 年代 からすでに認識し,その解決策を探ってきました. TRAD はその集大成ともいうべきものであり,かなりの手間と時間をかけて出来上がったソフトウエアです.まだ完成したわけではありませんが,実使用を重ねることで十分実用の域に達しております.ディープデータアナリシスの健全な発展を願って無償で利用していただくことにしていますので,データの扱いに困っている方,データの全体像がつかめなくて困っている方.R が使いにくいとおもっている方,ぜひお試しください.また,教育にも広く役立つこととおもいます.今後の進化もご期待ください.日々,更新しております

TRAD の機能

TRADの詳細は,TRADヘルプPDFファイルを参照していただくとして,ここではその機能のいくつかを箇条書きしておきます.

データの読み込み

  1. CSV ファイル,TSV ファイル,EXCEL ファイル,テキストファイル
  • 多段カラムラベル
  • さまざまな表現の欠損値
  • 空白セルの取り扱い(NA, 置き換え,パッディング)
  • 数値と非数値が混在したセル
  • 複数テーブル,複数シート (併合,分離)
  • 転置
  1. RDB への直接アクセス
  • SQL
  • 複数のRDBMSへの同時アクセスとカラム単位の併合
  1. ID カラムの自動判別
  • 欠損がない,値が一意な非数値カラム
  • 連続する正整数
  1. 属性の付与
  • 短名, 長名
  • データタイプ
  • 水準
  • 単位
  • 説明

データのブラウジング

  1. TextilePlot
  • データの全体像のニュートラルな視覚表現
  • DataType の視覚表現
  • 重複記録の表示
  • 欠損数
  • 記録のハイライトと同定
  • 軸位置の自由な変更
  • 軸のクラスタリング
  • 各軸のスケールの一時的な変更(ズーム)
  • クリップボードへのコピー
  1. フィルタリング
  • 記録に関するフィルタリング
  • 変量に関するフィルタリング
  • ヴィジュアルフィルタリング
  1. 変容
  • 正規化
  1. DandDエディタ
  • データ型の自由な変更
    • 計測値, 計数値, 個数, 序数,日時,時間,記録度数
    • マーク, 順マーク,論理
  • 水準の自由な変更
  1. 多国語対応
  2. DandD ライブラリ
  3. R と共通な作業ディレクトリ

R インタフェース

  1. 整理された美しく,使いやすいインタフェース
  • Rコマンド入力と出力の分離
  • 出力の色分け
  • 自由なカット・ペースト
  • オブジェクトパネルによるオブジェクトの視覚的な管理
  1. TRAD本体(TAD) からのデータの自動取り込み
  2. R からの Textiplot の描画とTADへの取り込み
  3. 日本語の完璧なサポート
  • 等ピッチフォント
  • 自然な日本語入力
  1. ヒストリーパネル
  • 過去のR入力コマンドのブラウジング
  • 日時のチェック
  1. オブジェクトパネル
  • 作業領域のオブジェクト表示
  • オブジェクト名の変更
  • オブジェクトの削除
  • オブジェクトの編集
  1. 独自 R エディタ
  • 空も含む編集対象オブジェクトのフレキシブルな選択
  • 付値するオブジェクト名の自由な指定
  • 式オブジェクトのサポート(Rスクリプトの保存)
  • 正規表現もサポートする強力な検索機能
  • カッコの自動インデント
  • 独自エラー処理機能
  1. 総合パッケージサポート
  • インストールされたパッケージの一覧とワンクリックでの attach
  • パッケージのアップデートと新規インストール
  1. R first モード
  • R を優先した立ち上げ,TADはアイコン化され必要に応じて現れます

TRADの外観

TAD

TRAD

R

Screen shot

R エディタ

Screen shot