定量的研究
「このアイデアが本当に効くのか、客観的に示したい」「仮説を数値で検証して、説得力のある結果を出したい」――こうした思いから定量的研究に取り組む学生は多いと思います。 僕自身も、新しい手法の効果を主張するときには、「実際にこの数字でこれだけの差が出ました」と言い切れる証拠を持っていることの強さを、何度も痛感してきました。
定量的研究は、数値データを使って現象を測定・分析するアプローチです。 仮説の検証、因果関係の検討、一般化できる知見の獲得を目指す場面で使いますが、「数字を出せば客観的になる」という単純な話ではありません。 どんな数字を、どう取って、どう解釈するか――そのすべてに研究者の判断が介在します。
この章では、定量的研究の考え方と、設計を語るための基本的な概念を扱います。 実際に実験や調査を組み立てる手順――対照群の選び方、参加者の集め方、パイロットスタディ――は、実験・調査を設計する にまとめました。
定量的研究の力
定量的研究の最大の価値は、研究者の主観を最小化した分析ができることです。 同じデータを別の研究者が分析しても、適切な手法を用いれば同じ結果が得られる。 この再現性が、科学的知識の信頼性を支えています。 「このシステムを使うと作業時間が30%短縮される」という結果が出れば、それは研究者の印象ではなく、データに基づく事実として受け止められる。 政策判断や実務応用の場面で、この客観性は強い武器になります。
もう一つの大きな力が一般化です。 適切にサンプリングされたデータからは、より大きな母集団への推論が可能になります。 100名の学生を対象とした実験の結果を、同様の条件下にある他の学生にも適用できるかもしれない、という広がりを示せる。 個別事例を超えて、ある程度普遍的に成り立つ法則や原理を浮かび上がらせる――ここが定量的研究の魅力です。 ただし、この「一般化できる」という主張は、サンプリングと統計処理が適切に行われている、という前提つきの話であることは忘れないでください。
仮説を測定可能な形まで降ろす
定量的研究は、明確な仮説から始まります。 「AをするとBが改善される」という具体的で検証可能な予測を立て、それをデータで確かめる。 ここで僕が学生のドラフトを見るときに毎回チェックするのが、仮説の「測定可能性」です。 「使いやすくなる」ではダメで、「操作時間が30%短縮される」と書く。 「理解が深まる」ではダメで、「テストの正答率が15%向上する」と書く。 このくらい具体的に、測定可能な形で書けないなら、それはまだ仮説として磨かれていない、ということになります。
数字を入れること自体が目的ではありません。 狙いは、「どんなデータが得られたら仮説を支持したことになり、どんなデータなら否定したことになるか」を、データを取る前に言い切れる状態にすることです。 ここが曖昧なまま実験に入ると、出てきた数字を眺めてから都合のいい解釈を選ぶことになります。 その危うさについては、後ろの「統計的思考の落とし穴」で改めて書きます。
変数の三つの役割
定量研究の設計は、扱う量を三つの役割に仕分けるところから始まります。
独立変数 は、原因として想定し、研究者が意図的に操作する変数です。 従属変数 は、その操作の結果として生じる変化を測る変数。 そして統制変数は、従属変数に影響しうるけれど今回の関心ではない要因で、条件間で一定に保つか、測っておいて分析で調整します。
新しい教授法の効果を検証するなら、教授法が独立変数、学習成果が従属変数です。 学習者の前提知識、学習時間、実施する時間帯といった要因は統制変数にあたります。 これらを揃えておかないと、成果の差が教授法によるものなのか前提知識の差によるものなのか、区別がつかなくなる。 統制し損ねた要因が独立変数と一緒に動いてしまい、効果の解釈を混乱させることを、交絡と呼びます。 「何を変え、何を一定に保ち、何を測っておくか」を決める作業が、定量研究の設計の中心です。
ランダム化と RCT
統制すべき要因を一つずつ列挙して揃える、というやり方にはすぐ限界がきます。 特に人間を対象にした研究では、参加者の事前の特性は無数にあって、思いつく限り挙げても挙げ切れません。 ここで効いてくるのが 無作為割り当て（ランダム化） です。 参加者をくじ引きのように条件へ振り分けると、研究者が気づいていない特性まで含めて、群の間の偏りが小さくなることを期待できます。 最初に聞くと運任せに見えるかもしれませんが、統制し切れないものを平均的に打ち消すという点で、理にかなった手続きです。
この考え方を最もはっきりした形にしたのが ランダム化比較試験（RCT） で、参加者を無作為に実験群と統制群に分け、介入の有無だけが違う状態を作ります。 「観察された効果は本当に介入によるものなのか、他の要因が紛れ込んでいるのか」を切り分けられるのは、この設計の論理があるからです。 統計的な強さは分析手法から生まれるのではなく、設計から生まれている――そう捉えておくと、結果の解釈で足を踏み外しにくくなります。
ただし、ランダム化は万能ではありません。 群の人数が少なければ、無作為に割り当てても偏りは残ります。 教室やクラス単位でしか介入を割り当てられない、倫理的に一部の参加者だけ介入から外すことができない、といった事情でランダム化を使えない場面も多い。 その場合は準実験的な設計になり、群間の事前の違いを測っておいて統計的に調整する、といった手当てが要ります。 そして、何と比較するか――対照群に何を置くか――は結果の意味そのものを変える決定です。 その選び方は 実験・調査を設計する で具体的に扱います。
実験研究と調査研究
定量研究の代表的な手法は、実験研究と調査研究、そしてそれらを支える統計分析です。
実験研究 は、研究者が条件を制御できる環境で変数間の因果関係を示す手法で、定量研究の中でも最も厳密です。 先ほどの RCT は、この実験研究の理想形にあたります。
調査研究 は、実験が難しい場合や、自然な状況での現象を調べたい場合に有効な手法です。 アンケート、学力テスト、行動観察など、さまざまな方法でデータを取り、統計的に分析する。 調査研究では因果関係の特定は難しいですが、相関関係の発見、現状把握、関連要因の探索では強い力を発揮します。 大規模サンプルを扱えば、実験では絶対に得られない豊富な情報が集まります。
そして集めたデータから意味を引き出すには、適切な 統計分析 が要ります。 記述統計でデータの特徴を要約し、推測統計で母集団への一般化を試み、仮説検定で予測の妥当性を検証する。 回帰分析、分散分析、因子分析など、高度な手法も今は気軽に使える時代です。 ただし、ツールが便利になったぶん、「研究問いに最も適した分析を選ぶ」という判断のほうが大事になっています。 「使える分析」ではなく「問いに答える分析」を選ぶ、という発想を持っておいてください。
内的妥当性と外的妥当性
定量研究では「妥当性」という言葉が二つの層で使われるので、区別しておきます。
一つは研究デザインの妥当性です。 内的妥当性 は「この研究で得られた差が、本当に調べたい要因によるものか」という因果の確からしさ。 外的妥当性 は「この結果が他の状況や他の人たちにも当てはまるか」という一般化可能性です。 実験室で厳密に統制された実験は内的妥当性が高くなる代わりに、現実場面への適用可能性に疑問が残りがち。 自然な環境での調査は外的妥当性が高い代わりに、因果関係の特定が難しくなる。 この二つは多くの場合トレードオフの関係にあって、両方を同時に最大化することは原理的に難しい。 どちらをどれだけ取るかは、あなたの問いが何を必要としているかで決まります。
測定の妥当性と信頼性、そしてサンプルサイズ
もう一つは測定そのものの質です。 妥当性 は「本当に測りたいものを測れているか」、 信頼性 は「同じ条件で測り直しても同じ結果になるか」。 この二つが崩れていたら、どんなに洗練された統計分析をしても結果は意味を持ちません。 測定尺度を自分で開発するときも、既存尺度から選ぶときも、心理測定学的な特性を慎重に確認する必要があります。 信頼性係数を計算したり、因子分析で構造を確認したり、他の指標との相関で妥当性を検証したり――地味ですが、ここを丁寧にやった研究は強い。
もう一つ、早い段階でぶつかるのが「サンプルサイズはどれくらい必要か」という問題です。 小さすぎれば統計的検出力が不足して、本当はある効果を見逃してしまう。 大きすぎれば、実用的にはほとんど意味のない小さな差まで「有意」になってしまう。 事前の検出力分析で、期待される効果サイズに基づいて必要なサンプルサイズを計算しておくのが定石です。 やみくもに集めるのではなく、「この設計で、これだけの効果を検出するには何人必要か」を先に詰めておく。 実際に何人集められるかという現実の制約との折り合いは、実験・調査を設計する で扱います。
統計的思考の落とし穴
定量研究には、慣れてきた頃に陥りやすい落とし穴がいくつかあります。 研究室で学生の研究を見ていてもよく出会う典型的なものを、二つ挙げておきます。
一つ目は p値ハッキング です。 「p < 0.05」を目標に分析方法を試行錯誤したり、有意にならない結果を後から除外したり、有意になった結果だけを報告したり――こうした行動は、自覚せずに行われることもあります。 「もう一度別の方法で分析してみよう」「この外れ値を除けば有意になるかも」と思った瞬間が危ない。 事前に分析計画を立てて、それに従って分析する、というルールを自分に課しておくことが、恣意的な操作を避ける一番の方法です。 事前登録（pre-registration）の仕組みを使って、データを取る前に分析計画を公開してしまうのも有効です。 ここまでやっておくと、「都合のいい解釈を後から選んだのでは」という疑いを、設計の段階で断ち切れます。
二つ目は 相関と因果の混同 です。 「相関関係があることと因果関係があることは別物」――定量研究の基本中の基本ですが、論文の議論ではしばしば混同されます。 観察研究で見られる相関は、第三の変数による擬似相関かもしれない。 時間的前後関係、関連の強さ、他の説明の排除など、複数の条件を満たさない限り、因果の主張には慎重であるべきです。 査読でもこのあたりは厳しく見られるので、「相関が見られた」と「だから原因と言える」の間には、論理の橋を意識して掛けてください。
加えて、p値だけに依存することへの警戒も近年強くなっています。 有意性だけでなく、効果サイズの大きさ、信頼区間、実用的な意義を総合的に評価する――この姿勢が標準になりつつあります。
データの品質と報告
定量研究では、データ収集段階での品質管理が、その後の分析の信頼性を左右します。 欠損値の処理、外れ値の検出と対処、データ入力エラーの確認――地味な作業ですが極めて重要です。 分析を急がず、まずはデータをじっくり眺める――という工程を飛ばしてしまうと、後から取り返しがつかなくなります。 データ収集のプロセスを詳細に記録し、後から検証可能な形で保管することも、研究の透明性と再現性のために欠かせません。 これは データ収集・分析と再現性 の章でさらに詳しく扱います。
そして最後に、結果の解釈と報告の話です。 統計分析の結果を適切に解釈し、分かりやすく報告することは、研究の価値を大きく左右します。 数値を羅列するのではなく、それが研究問いにどう答えているのか、実用的にどんな意味を持つのかを明確に伝える。 研究の限界をどう扱うかは メソッドの書き方 に書いた通りで、ここでも同じです。 「強く言い切る」より「適切に主張する」ほうが、長期的には信頼を得る道です。