MENU

【無料プレゼント付き】学会発表・論文投稿に必要な統計を最短で学ぶことができる無料メルマガ

それ、本当に足して大丈夫?質問票やチェックリストの「合計点」に潜む罠

「アンケートの集計、とりあえず全部の点数を足して『合計スコア』にしよう」

「10項目のチェックリストで、7個『はい』がついたから、この対象は7点だ」

マーケティングのアンケート、社内の満足度調査、あるいは業務のチェックリストなど、日々の実務において私たちは多くの「点数」を扱っている。

そして多くの場合、特に疑問を抱くことなく、ごく自然にそれらの点数を「足し算」して合計スコアを算出している。

しかし、ここに大きな落とし穴がある。

実は、「何も考えずに点数を足し算してしまうこと」は、データ分析において非常に危険な行為である。せっかく苦労して集めたデータの価値を、分析者自らの手で台無しにしている可能性すらあるのだ。

なぜ「とりあえず合計する」のが不適切なのか、その理由と背景にある問題点を分かりやすく解説する。

>>もう統計で悩むのは終わりにしませんか? 

↑1万人以上の医療従事者が購読中

目次

合計スコアに潜む3つの罠

「足し算の何が悪いの?」と思うかもしれない。単純に点数を足し合わせることで発生する3つの構造的な問題点を紐解いていく。

罠①:すべての質問が「同じ価値」だと言い切れるか?(等しい重みの罠)

例えば、飲食店の「お客様満足度調査」において、次の2つの質問があったとする。

  1. 店内の清掃は行き届いていましたか?(はい=1点)
  2. 料理の味は美味しかったですか?(はい=1点)

この2つを同じ「1点」として足し算して良いはずがない。

リピーターを増やすために本当に重要なのは、おそらく後者の「料理の味」である。しかし、単純に合計すると、料理が最高に美味しくても掃除が少し甘ければ、全体のスコアは「料理はマズイが掃除は完璧なお店」と全く同じになってしまう。

罠②:選択肢の間隔は、本当に「等間隔」か?(等間隔性の罠)

アンケートで多用される「5:とてもそう思う」から「1:全くそう思わない」までの5段階評価(リッカート尺度)。

  • 「5点(とても良い)」と「4点(良い)」の差(1点分)
  • 「3点(普通)」と「2点(悪い)」の差(1点分)

数字上はどちらも「1点」の差だが、人間の心理的な距離として本当に同じ価値だろうか。

多くの場合、「普通」から「悪い」に落ちる心理的ショック(1点)のほうが、「良い」から「とても良い」に上がる嬉しさ(1点)よりも遥かに重いはずである。数字は「1」と綺麗に並んでいても、心の中の定規は等間隔ではない。

罠③:異なる性質のものを闇雲に混ぜていないか?(多次元性の罠)

国語のテストが80点、数学のテストが20点だったとする。これを足して「合計100点(平均50点)だから、この生徒の学力は平均的だ」と評価したらどうだろうか。

「国語は得意だが数学に致命的な問題がある」という極めて重要な事実が消えてしまう。

これと同じ過ちを、アンケート分析でも犯しがちである。「使いやすさ」と「価格の安さ」という、全く異なる次元の質問をごちゃまぜにして「合計35点」と丸めてしまっては、データの本質は何も見えてこない。

本質を理解するための比喩:リンゴとゴリラを足していないか?

まだピンと来ていない方のために、極端な例を挙げる。

ここに「好感度チェック」という2つの質問がある。

  • 質問A:リンゴは好きですか?(はい=1点 / いいえ=0点)
  • 質問B:ゴリラは好きですか?(はい=1点 / いいえ=0点)

ある回答者の合計スコアが「1点」になったとする。

さて、この人はリンゴが好きなのか、それともゴリラが好きなのか。……合計点だけを見ていては、永遠に判別できない。

性質が違うものを無理やり足し算するのは、「リンゴ1個とゴリラ1頭を足して、我が家には2つの財産があります」と言っているようなものであり、算出した数値の意味は完全に崩壊している。

>>もう統計で悩むのは終わりにしませんか? 

↑1万人以上の医療従事者が購読中

今日から実践できる!初心者向けの解決策

では、集計作業においてどのようにアプローチすべきなのか。高度な統計解析の手法(因子分析や共分散構造分析など)を使わずとも、実務で今すぐ実践できる解決策を3つ提案する。

対策1:まずは「足さずに、質問ごとにグラフ化」する

最もシンプルでありながら強力な方法である。合計点という1つの数字にまとめたい誘惑をグッとこらえ、質問ごとの回答の平均値や「はい」の割合をそのまま棒グラフで並べる。

これだけで、「自社は製品の質は高いが、サポート体制に問題がある」といった具体的な課題が一目で浮き彫りになる。

対策2:グループ(カテゴリ)に分けて小計を出す

どうしても点数化して比較したい場合は、全項目を混ぜるのをやめることである。

「使いやすさに関する質問(3問)の合計点」「価格に関する質問(2問)の合計点」というように、同じ性質を持つ項目同士でグループ分けし、それぞれの「小計」を出す。これならば、リンゴとゴリラを混ぜずに済む。

対策3:選択肢の「点数化」をやめて「割合」で見る

5段階評価を「5点、4点…」と数値に置き換えて計算するのではなく、「『とてもそう思う』と答えたポジティブな層が全体の何%存在するか」という割合(%)の視点に切り替える。

曖昧な「平均3.8点」という数字に惑わされるよりも、「熱狂的なファンが何割いるか」を把握する方が、ビジネスの意思決定においては圧倒的に有用である。

まとめ:「とりあえず合計」を卒業しよう

データ分析の基本は、「目の前にある数字を、ゼロベースで疑うこと」にある。

現代の表計算ソフトを使えば、SUM関数一つで一瞬にして合計点が出せてしまう。便利であるからこそ、私たちは「この足し算は、数理的に本当に意味があるのか?」と立ち止まって考えることを忘れてしまいがちだ。

次にチェックリストや質問票を集計する際は、ぜひ一歩立ち止まり、「自分は今、リンゴとゴリラを足していないだろうか?」と自問してみてほしい。その問題意識を持つだけで、データ分析の精度と価値は劇的に向上する。

おすすめ書籍

いちばんやさしい、医療統計 改訂版〜図解ですんなりわかる統計の基本

よかったらシェアしてね!
  • URLをコピーしました!
  • URLをコピーしました!

リサーチクエスチョン探し?データ分析?論文投稿?、、、で、もう悩まない!

第1章臨床研究ではなぜ統計が必要なのか?計画することの重要性
  • 推定ってどんなことをしているの?
  • 臨床研究を計画するってどういうこと?
  • どうにかして標本平均を母平均に近づけられないか?
第2章:研究目的をどれだけ明確にできるのかが重要
  • データさえあれば解析でどうにかなる、という考え方は間違い
  • 何を明らかにしたいのか? という研究目的が重要
  • 研究目的は4種類に分けられる
  • 統計専門家に相談する上でも研究目的とPICOを明確化しておく
第3章:p値で結果が左右される時代は終わりました
  • アメリカ統計協会(ASA)のp値に関する声明で指摘されていること
  • そうは言っても、本当に有意差がなくてもいいの…?
  • なぜ統計専門家はp値を重要視していないのか
  • 有意差がない時に「有意な傾向があった」といってもいい?
  • 統計を放置してしまうと非常にまずい
第4章:多くの人が統計を苦手にする理由
  • 残念ながら、セミナー受講だけで統計は使えません。
  • インプットだけで統計が使えない理由
  • どうやったら統計の判断力が鍛えられるか?
  • 統計は手段なので正解がないため、最適解を判断する力が必要
第5章:統計を使えるようになるために今日から何をすれば良いか?
  • 論文を読んで統計が使えるようになるための5ステップ
第6章:統計を学ぶために重要な環境
  • 統計の3つの力をバランスよく構築する環境

以下のボタンをクリックして、画面に出てくる指示に従って、必要事項を記入してください。

この記事を書いた人

統計 ER ブログ執筆者

元疫学研究者

コメント

コメントする

目次