統計と可視化の力


  • Global Moderator

    防衛関係費(日本、GDPあたり)

    これまでに得た数値から、名目GDPあたりの防衛関係費の割合を計算してみました:

    0_1507001348776_arms-2.png

    Mathematica
    {years, arms1} = 
      Transpose[
       Select[防衛関係費1, 
        DateObject[{1955}] <= #[[1]] <= DateObject[{2016}] &]];
    防衛関係費1perGDP = Transpose[{years, 100*arms1/(10*国内総生産)}];
    {years, arms2} = 
      Transpose[
       Select[防衛関係費2, 
        DateObject[{1955}] <= #[[1]] <= DateObject[{2016}] &]];
    防衛関係費2perGDP = Transpose[{years, 100*arms2/(10*国内総生産)}];
    
    DateListPlot[{防衛関係費1perGDP, 防衛関係費2perGDP},
     ImageSize -> 500,
     FrameLabel -> {"年度", "当初予算(名目GDPあたり、%)"},
     PlotLabel -> "防衛関係費の推移(1955-2016) 防衛省・自衛隊データ/内閣府データ",
     PlotLabels -> {"SACO関係費など除く", "含む"},
     PlotStyle -> {Gray, Black},
     PlotRange -> {Full, {0, All}}
     ]
    

  • Global Moderator

    ハイブリッド車・電気自動車の所有(日本)

    最近、電気自動車についてニュースで聞くことが多くなりました。ハイブリッド車については以前から普及が進んでいます。統計はどのようになっているのでしょうか?

    全国消費実態調査の結果によると、2014年時点で、全自動車のうち7.7%がハイブリッド車、または、電気自動車だそうです。
    http://www.stat.go.jp/dss/source/2016004.htm

    このページは良くできていて、出典が細かく書いてあります。出典のデータに遡り、もう少し調べてみようと思います。


  • Global Moderator

    推定保有台数 2011~2015

    次世代自動車振興センター」→「調査・統計情報」
    →「保有台数統計

    0_1507107949609_cars-2.png

    0_1507107956499_cars-3.png

    略称 説明
    FCV Fuel Cell Vehicle 燃料電池自動車
    EV Electric Vehicle 電気自動車
    PHV Plug-in Hybrid Vehicle プラグインハイブリッド自動車
    HEV Hybrid Electric Vehicle ハイブリッド自動車

    次世代自動車は、どれも線形に増えているように見える。ハイブリッド自動車がほとんどで、全体の1%が電気自動車、さらにその1%が燃料電池自動車であるようだ。

    Mathematica
    BarChart[Transpose@{{13266, 24983, 38794, 52639, 62134}, {4132, 17281,
         30171, 44012, 57130}, {2012559, 2833443, 3792886, 4640743, 
        5501595}}, 
     ChartLabels -> {Range[2011, 2015], 
       Placed[{"EV", "PHV", "HEV"}, Center]},
     Frame -> True, ImageSize -> 450, 
     ChartStyle -> {LightRed, Pink, LightGreen},
     FrameLabel -> {"年度", "台数(推定値)"}, 
     PlotLabel -> "推定保有台数 国内 乗用車 次世代自動車振興センター・データ"]
    
    BarChart[Transpose@{{Missing, Missing, Missing, 150, 630}, {13266, 
        24983, 38794, 52639, 62134}, {4132, 17281, 30171, 44012, 57130}}, 
     ChartLabels -> {Range[2011, 2015], 
       Placed[{"FCV", "EV", "PHV"}, Center]},
     Frame -> True, ImageSize -> 450, 
     ChartStyle -> {LightBlue, LightRed, Pink, LightGreen},
     FrameLabel -> {"年度", "保有台数(推定値)"},
     PlotLabel -> "推定保有台数 国内 乗用車 次世代自動車振興センター・データ"]
    

  • Global Moderator

    充電設備 2009~2016年度

    次世代自動車振興センター」→「調査・統計情報」
    →「充電設備

    0_1507125743969_cars-4.png
    大都市圏と北海道が多いようです。

    Mathematica
    adminstrativeDivisionsInJapan = {Entity[
        "AdministrativeDivision", {"Hokkaido", "Japan"}], 
       Entity["AdministrativeDivision", {"Aomori", "Japan"}], 
       Entity["AdministrativeDivision", {"Iwate", "Japan"}], 
       Entity["AdministrativeDivision", {"Miyagi", "Japan"}], 
       Entity["AdministrativeDivision", {"Akita", "Japan"}], 
       Entity["AdministrativeDivision", {"Yamagata", "Japan"}], 
       Entity["AdministrativeDivision", {"Fukushima", "Japan"}], 
       Entity["AdministrativeDivision", {"Ibaraki", "Japan"}], 
       Entity["AdministrativeDivision", {"Tochigi", "Japan"}], 
       Entity["AdministrativeDivision", {"Gumma", "Japan"}], 
       Entity["AdministrativeDivision", {"Saitama", "Japan"}], 
       Entity["AdministrativeDivision", {"Chiba", "Japan"}], 
       Entity["AdministrativeDivision", {"Tokyo", "Japan"}], 
       Entity["AdministrativeDivision", {"Kanagawa", "Japan"}], 
       Entity["AdministrativeDivision", {"Niigata", "Japan"}], 
       Entity["AdministrativeDivision", {"Yamanashi", "Japan"}], 
       Entity["AdministrativeDivision", {"Nagano", "Japan"}], 
       Entity["AdministrativeDivision", {"Shizuoka", "Japan"}], 
       Entity["AdministrativeDivision", {"Toyama", "Japan"}], 
       Entity["AdministrativeDivision", {"Ishikawa", "Japan"}], 
       Entity["AdministrativeDivision", {"Gifu", "Japan"}], 
       Entity["AdministrativeDivision", {"Aichi", "Japan"}], 
       Entity["AdministrativeDivision", {"Mie", "Japan"}], 
       Entity["AdministrativeDivision", {"Fukui", "Japan"}], 
       Entity["AdministrativeDivision", {"Shiga", "Japan"}], 
       Entity["AdministrativeDivision", {"Kyoto", "Japan"}], 
       Entity["AdministrativeDivision", {"Osaka", "Japan"}], 
       Entity["AdministrativeDivision", {"Hyogo", "Japan"}], 
       Entity["AdministrativeDivision", {"Nara", "Japan"}], 
       Entity["AdministrativeDivision", {"Wakayama", "Japan"}], 
       Entity["AdministrativeDivision", {"Tottori", "Japan"}], 
       Entity["AdministrativeDivision", {"Shimane", "Japan"}], 
       Entity["AdministrativeDivision", {"Okayama", "Japan"}], 
       Entity["AdministrativeDivision", {"Hiroshima", "Japan"}], 
       Entity["AdministrativeDivision", {"Yamaguchi", "Japan"}], 
       Entity["AdministrativeDivision", {"Tokushima", "Japan"}], 
       Entity["AdministrativeDivision", {"Kagawa", "Japan"}], 
       Entity["AdministrativeDivision", {"Ehime", "Japan"}], 
       Entity["AdministrativeDivision", {"Kochi", "Japan"}], 
       Entity["AdministrativeDivision", {"Fukuoka", "Japan"}], 
       Entity["AdministrativeDivision", {"Saga", "Japan"}], 
       Entity["AdministrativeDivision", {"Nagasaki", "Japan"}], 
       Entity["AdministrativeDivision", {"Kumamoto", "Japan"}], 
       Entity["AdministrativeDivision", {"Oita", "Japan"}], 
       Entity["AdministrativeDivision", {"Miyazaki", "Japan"}], 
       Entity["AdministrativeDivision", {"Kagoshima", "Japan"}], 
       Entity["AdministrativeDivision", {"Okinawa", "Japan"}]};
    
    txt = "北海道\t3\t28\t63\t60\t95\t168\t502\t199\t1,118
      青森県\t1\t6\t17\t15\t10\t40\t137\t82\t308
      岩手県\t\t6\t24\t21\t22\t52\t159\t102\t386
      宮城県\t\t5\t51\t51\t27\t96\t270\t76\t576
      秋田県\t\t6\t42\t27\t14\t29\t91\t35\t244
      山形県\t\t4\t22\t12\t16\t70\t137\t71\t332
      福島県\t\t10\t57\t46\t43\t109\t349\t56\t670
      茨城県\t2\t6\t50\t54\t37\t183\t491\t171\t994
      栃木県\t4\t13\t27\t80\t34\t100\t610\t97\t965
      群馬県\t3\t6\t37\t67\t46\t159\t335\t101\t754
      埼玉県\t8\t32\t32\t134\t102\t295\t1,280\t175\t2,058
      千葉県\t7\t17\t47\t82\t51\t339\t866\t568\t1,977
      東京都\t37\t66\t122\t150\t101\t413\t2,010\t337\t3,236
      神奈川県\t33\t92\t160\t204\t135\t332\t1,445\t534\t2,935
      新潟県\t1\t24\t41\t41\t21\t106\t189\t70\t493
      山梨県\t1\t8\t11\t17\t11\t105\t172\t38\t363
      長野県\t\t20\t28\t33\t23\t138\t453\t97\t792
      静岡県\t2\t29\t47\t90\t104\t183\t657\t96\t1,208
      富山県\t\t4\t19\t35\t7\t55\t116\t39\t275
      石川県\t\t8\t37\t49\t20\t99\t220\t83\t516
      岐阜県\t\t8\t39\t37\t64\t123\t391\t100\t762
      愛知県\t2\t18\t177\t236\t181\t388\t1,654\t300\t2,956
      三重県\t\t8\t42\t42\t34\t99\t436\t66\t727
      福井県\t\t4\t23\t21\t15\t49\t129\t64\t305
      滋賀県\t1\t3\t35\t31\t17\t80\t483\t35\t685
      京都府\t3\t7\t29\t42\t15\t74\t506\t82\t758
      大阪府\t8\t65\t87\t94\t55\t192\t777\t239\t1,517
      兵庫県\t2\t10\t48\t114\t42\t169\t696\t156\t1,237
      奈良県\t1\t2\t7\t24\t13\t39\t205\t47\t338
      和歌山県\t1\t3\t13\t8\t12\t60\t183\t40\t320
      鳥取県\t\t9\t22\t12\t9\t25\t69\t14\t160
      島根県\t1\t16\t17\t12\t5\t34\t61\t28\t174
      岡山県\t9\t18\t35\t37\t23\t74\t554\t51\t801
      広島県\t5\t28\t39\t31\t31\t85\t286\t72\t577
      山口県\t\t14\t48\t28\t9\t127\t147\t63\t436
      徳島県\t1\t6\t11\t10\t4\t28\t118\t20\t198
      香川県\t\t3\t20\t8\t3\t49\t99\t21\t203
      愛媛県\t1\t9\t28\t15\t2\t46\t163\t26\t290
      高知県\t\t2\t12\t11\t7\t32\t114\t24\t202
      福岡県\t1\t12\t56\t126\t68\t144\t587\t217\t1,211
      佐賀県\t\t3\t12\t13\t14\t68\t132\t13\t255
      長崎県\t\t8\t14\t17\t10\t24\t144\t18\t235
      熊本県\t\t8\t19\t31\t15\t101\t411\t46\t631
      大分県\t\t7\t21\t30\t11\t46\t234\t59\t408
      宮崎県\t\t4\t16\t25\t5\t38\t110\t58\t256
      鹿児島県\t2\t11\t30\t26\t32\t100\t206\t63\t470
      沖縄県\t1\t48\t12\t14\t9\t19\t80\t24\t207";
    
    data = Partition[StringSplit[StringDelete[txt, ","], {"\n", "\t"}], 
      10];
    
    GeoRegionValuePlot[
     Map[Rule @@ # &, 
      Transpose@{adminstrativeDivisionsInJapan, 
        ToExpression@data[[All, 10]]}],
     PlotRangePadding -> Scaled[-0.06], 
     PlotLegends -> Placed[Automatic, Bottom], ImageSize -> 300,
     PlotLabel -> "都道府県別 充電設備補助金交付台数(2009-2016合計)"
     ]
    

  • Global Moderator

    幕間

    官公庁のサイトを見ていると、いろいろ統計情報が便利にまとめてあるページがあるのに気がつきます。


  • Global Moderator

    地図で見る統計(GIS)

    e-Stat」→「地図で見る統計(統計GIS)
    →「データダウンロード

    非常に使いにくいですが、e-Statから国勢調査の結果などを地図上の区分(グリッド)にマッピングしたデータが得られます。これをプロットすれば、統計情報の空間分布を可視化することが出来ます。GIS: Geographic Information System

    人口密度(大阪・東京)

    データ・ソース:

    • 平成27年国勢調査(小地域) 2015/10/01; 世界測地系緯度経度・Shape形式

    0_1507348260581_eStatGIS-Osaka-1L.png

    大阪
    0_1507348283290_eStatGIS-Osaka-1.png

    東京
    0_1507348309988_eStatGIS-Tokyo-1.png

    どちらの都市の場合も、人口密度 0.03人/m^2を越える中心部で、人口密度が低い部分があるのが分かります。大阪の場合には、大阪城、東京の場合には、皇居(江戸城)や明治神宮のあたりです。



  • http://pbs.twimg.com/media/DNQmX5NVQAA9SY3.jpg

    アメリカ。

    抗菌薬販売量とインフルエンザ流行のカーブ

    ガクガクブルブル

    https://twitter.com/AAD_Japan/status/925011279114309633 より )


  • Global Moderator

    @Hannibal さん

    https://www.ncbi.nlm.nih.gov/pmc/articles/PMC3258490/
    図の引用もとの論文が、PubMed Centralで無料で読めますね。

    私の理解:

    • 呼吸器系の感染症に対する抗生物質であるフルオロキノロンの処方量と、インフルエンザ様の症状で病院外来に訪れた人の割合の2つの時系列の関係を調べている。
    • 片方の変化で片方がどれくらい説明できるかを、モデルを元に検証している。→うまくいけば、インフルエンザによる抗生物質の無駄な使用を見積もることが出来る。
    • Twitterに掲載の図は、2つの時系列を重ねたものではない。まず、フルオロキノンのある時の処方量から、その次の未来の処方量を予測するモデルを、自己相関とフィッティングを利用して作る。これだけで、ある程度、観察された時系列の予測が可能である。そこに、インフルエンザの外来のデータも予測のための入力に加え、モデルを改良する。すると、最終的な予測のずれが70%ぐらい減る。→図の2つのグラフがどれくらい似ているかは、インフルエンザのデータが使える場合の最終的なモデルの良さを示しており、元の2つの時系列データが一致することを示しているわけではない。

  • Global Moderator

    面白そうな記事のご紹介(Wolframブログより)。

    Finding X in Espresso: Adventures in Computational Lexicology
    http://blog.wolfram.com/2017/11/30/finding-x-in-espresso-adventures-in-computational-lexicology/

    エスプレッソは如何にしてエスプレッソになったか?

    単語の綴りがどのように生まれ定着していくかを、ビッグデータを元に分析した記事。産業でも、生き物でも、evolveするもの全てに通用する考え方です。Mathematicaを使っており、実際の解析処理を自分で追うことが出来ます。



  • @ソム さん
    ご紹介ありがとうございます。記憶に頼っての書き込みですので、間違っていたら(;'∀')
    ジェームス朝からジョージ朝初期にかけての英文を読んでいたことがありましたが、綴りの不安定さに往生しました。
    19世紀~20世紀にかけては一応安定(英・米の差はかなりあるままでした)、最近英語の世界語化とともに綴りのバリエーションがまた増えていると言ったエッセイをそのころ(20世紀末)読んだ覚えがあります。
    インターネットの普及と世界語化の加速はその傾向は強めているのでは、と言う感想を抱きました。
    英語の綴りの不安定さの根底には、正書法が存在しない事と発音と綴りの乖離が甚だしいことがあると感じています。


  • Global Moderator

    これまでに経験したことのないような大雨

    7月5日ごろから雨が続いています。気象庁は会見で「九州北部や中国地方に加えて、兵庫県と京都府ではこれまでに経験したことのないような大雨になっている」と発表しています。「これまでに経験したことのない」というのは、定型句なのだと思いますが、実際のところどれくらい経験したことのない、偏った降水量なのでしょうか?

    以前に気象庁の記録を自動で取得するプログラムを作りました。これを使ってデータを得、統計分析をしてみましょう。

    まず、メインステーションのうち、例として兵庫県から「神戸」、京都府から「京都」ステーションについて、記録の得られる限りの範囲 1872~2018年のデータを全取得します。

    Table[saveData[mainStationDB["神戸"],y],{y,1872,2018}]
    Table[saveData[mainStationDB["京都"],y],{y,1872,2018}]
    

    次に、そこから一日あたりの降水量を抜き出します。

    precipitation[path_String] := Module[{data = Import[path]},
       {DateObject@#[[1]], #[[2]]} & /@ data[[7 ;;]][[All, {1, 2}]] /. 
        "" -> Missing[]
       ];
    
    precipitationLogKobe=Apply[Join,precipitation/@FileNames["s47770-*.csv",{FileNameJoin[{$UserDocumentsDirectory,"jma"}]}]];
    precipitationLogKyoto=Apply[Join,precipitation/@FileNames["s47759-*.csv",{FileNameJoin[{$UserDocumentsDirectory,"jma"}]}]];
    

    まず時系列プロットします。

    DateListPlot[precipitationLogKobe, PlotStyle -> Directive[Opacity[1]],
      AspectRatio -> 1/10, PlotRange -> All, ImageSize -> 1000,
     FrameLabel -> {"西暦", "一日あたり \n降水量 [mm]"}, 
     PlotLabel -> "気象庁データ 神戸気象台", BaseStyle -> {FontSize -> 16}]
    Export["s:/precipitationLogKobe.png", %]
    
    DateListPlot[precipitationLogKyoto, 
     PlotStyle -> Directive[Opacity[1]], AspectRatio -> 1/10, 
     PlotRange -> All, ImageSize -> 1000,
     FrameLabel -> {"西暦", "一日あたり \n降水量 [mm]"}, 
     PlotLabel -> "気象庁データ 京都気象台", BaseStyle -> {FontSize -> 16}]
    Export["s:/precipitationLogKyoto.png", %]
    

    0_1530965069690_precipitationLogKobe.png

    0_1530965083838_precipitationLogKyoto.png

    (グラフをクリックするともう少し大きく見られます)。

    これを見る限り、1日あたりの降水量だけで言うと、ここ数日の降水量は、記録上で何度か経験したことのある降水量ということになります。もちろん、一日で大量の雨が降るのと、大雨が降り続くことの効果は違います。その違いはこのグラフでは見て取れません。


  • Global Moderator

    3日間平均降水量

    雨が降り続く効果を加味し、3日間平均降水量をプロット見てみましょう。時系列データについて、移動平均を行います。

    dateMovingAverage[data_, r_Integer] := Module[{dates, values},
       {dates, values} = Transpose[data];
       Transpose[{dates[[r ;;]], MovingAverage[values, r]}]
       ];
    
    DateListPlot[dateMovingAverage[precipitationLogKobe, 3], 
     PlotStyle -> Directive[Opacity[1]], AspectRatio -> 1/10, 
     PlotRange -> All, ImageSize -> 1000,
     FrameLabel -> {"西暦", "3日間平均 \n降水量 [mm]"}, 
     PlotLabel -> "気象庁データ 神戸気象台", BaseStyle -> {FontSize -> 16}]
    Export["s:/precipitationLogKobe-m3.png", %]
    
    DateListPlot[dateMovingAverage[precipitationLogKyoto, 3], 
     PlotStyle -> Directive[Opacity[1]], AspectRatio -> 1/10, 
     PlotRange -> All, ImageSize -> 1000,
     FrameLabel -> {"西暦", "3日間平均 \n降水量 [mm]"}, 
     PlotLabel -> "気象庁データ 京都気象台", BaseStyle -> {FontSize -> 16}]
    Export["s:/precipitationLogKyoto-m3.png", %]
    

    0_1530966038131_precipitationLogKobe-m3.png

    0_1530966049442_precipitationLogKyoto-m3.png

    このプロットで見ても、過去に何度か経験したことのある大雨であることが分かります。例えば神戸では、歴史的に何度か水害がありました。http://www.city.kobe.lg.jp/life/town/river/suigaisonae/02kako_02.html

    手塚治虫の「アドルフに告ぐ」でも描写されているように、昭和13年(1938年)には阪神大水害がありました。このとは上のページによると、(7月3日:49.6mm、4日:141.8mm、5日:270.4mm)の降水量があったそうです。他にも、昭和36年(1961年)(6月24日:76.8mm、25日:195.2mm、26日:127.7mm、27日:72.4mm)、昭和42年(1967年)(7月9日:319.4mm)と、台風と梅雨前線の関係する水害が生じています。これらは上の一連のプロットでも見ることが出来ます。


  • Global Moderator

    降水量の偏り

    これまでのようなプロットの欠点は、飛び値(他と較べて特に大きな値)を強調して見てしまうところかもしれません。実際には多くの日で降水量は小さいのですが、それらの値はプロット上では点として重なってしまい、見た目の効果が相対的に小さくなります。このようなときは、例えばヒストグラムを取ってやると、値の分布をより正確に理解できるでしょう。

    Histogram[precipitationLogKobe[[All, 2]], "Log", Frame -> True, 
     FrameLabel -> {"一日あたり降水量 [mm] 対数軸", "日数"}, ImageSize -> 300, 
     BaseStyle -> {FontSize -> 16}, PlotLabel -> "気象庁データ 神戸気象台"]
    Export["s:/histogram-precipitationLogKobe.png", %]
    
    Histogram[precipitationLogKyoto[[All, 2]], "Log", Frame -> True, 
     FrameLabel -> {"一日あたり降水量 [mm] 対数軸", "日数"}, ImageSize -> 300, 
     BaseStyle -> {FontSize -> 16}, PlotLabel -> "気象庁データ 京都気象台"]
    Export["s:/histogram-precipitationLogKyoto.png", %]
    

    0_1530967709042_histogram-precipitationLogKobe.png  0_1530967716424_histogram-precipitationLogKyoto.png

    一日あたり100 mmを越える降水量はかなり稀であることが分かります。



  • @ソムさん
    ビジュアル化してみると、アナログなクリシェで見えないものがクリアに見えてきますね。
    ちなみに当方の最大24時間雨量は166㎜、庭が池になっています。



パズルハウスへの接続が失われたと思われます。再接続されるまでしばらくお待ちください。