実験・調査を設計する

「実験をやってみたいけれど、どこから始めればいいのか分からない」「調査を計画したが、これで本当に知りたいことが分かるのだろうか」――研究の早い段階でよく出てくる疑問です。実験や調査は、データを集める手段である以前に、自分の問いをどう問い、どんな証拠で答えるかを設計する作業です。ここがしっかり組み立てられていないと、いくらデータを集めても結果は意味を持ちません。

実験設計でまず押さえておきたいのは、「設計は手順を決める作業ではない」ということです。「どんな証拠があれば仮説を支持または否定できるのか」を深く考え抜く――これが設計の本体で、手順はその結果として決まってきます。良い設計ができていれば、限られた資源でも多くのことが分かります。逆に、設計が甘いと、立派な装置で大量のデータを集めても何も言えない、ということが普通に起きる。

この章は、実際に手を動かして実験や調査を組み立てる側の話です。独立変数と従属変数、ランダム化、妥当性と信頼性といった概念そのものは定量的研究にまとめたので、用語が出てきたらそちらを参照してください。設計が固まったあとの実施――手続きと教示文、パイロットスタディ、期間の見積もり、実施中の記録――は実験・調査を実施するに分けました。

設計は問いから出発する

良い実験・調査設計は、常に研究問いから出発します。「何を知りたいのか」が明確になって初めて、「どんな方法で調べるべきか」が決まる。この順序を間違えると、手法が先行して本来の目的を見失います。

「オンライン学習は対面学習より効果的か」という問いに答えるには、学習効果をどう測るか、どんな条件で比較するか、他の要因をどう統制するかを綿密に計画する必要があります。僕が見てきた失敗例で多いのは、ツールや手法ありきで設計が走り出し、後から「これで何を主張できるんだっけ」と困るパターンです。問いの性質が設計の方向を決める、というのは原則として覚えておいてください。

そして、設計には必ずトレードオフがつきまといます。実験室で厳密に統制すれば内的妥当性は上がりますが、現実場面から離れる。自然な環境で調べれば外的妥当性は上がりますが、因果の特定は難しくなる。両方を完璧に満たすことは原理的に難しいので、どこを取ってどこを諦めるかを意識したうえで設計してください。諦めた側は、そのまま論文の限界の記述になります。設計の段階でメモに残しておくと、考察を書くときに楽になります（限界をどう書くかはメソッドの書き方に書きました）。

何と比較するか――対照群の選び方

実験設計で軽視されがちなのが、対照群の設定です。「何と比較するか」は、出てきた結果の意味そのものを決める決定です。新しい教授法の効果を調べる場合、従来の教授法と比較するのか、何も教えない状態と比較するのか、現在最良とされる教授法と比較するのか――どれを選ぶかで結果の意味が変わります。「何も教えない」と比較して有意な効果が出ても、それは「教えることに意味がある」を示しただけで、新しい教授法の優位性を示したことにはならない。査読者からよく突かれるのが、この対照群選択の妥当性です。

実際に選ぶときの目安を書いておきます。

主張したいことが「提案手法は既存手法より良い」なら、比較相手はその分野で標準的に使われている手法です。ここで弱い相手を選ぶと、査読で「強いベースラインと比べていない」と必ず言われます。自分の提案が有利になる比較相手を無意識に選んでいないか、一度疑ってみてください。

主張したいことが「提案手法のこの部分が効いている」なら、比較相手は提案手法から該当部分だけを外したものになります。システムの研究では、機能を一つずつ抜いた版を用意して比べるこのやり方が、設計判断の根拠を示す近道です。「なぜこの機能を入れたのか」という問いに、データで答えられるようになります。

統制群の参加者が介入を受けられないことが倫理的に気になる場合は、統制群にも研究が終わったあとで同じ介入を提供する、という組み方があります。教育系の研究で使われる形で、参加者への説明もしやすくなります。

どれを選ぶにせよ、最後に「なぜこの対照群なのか」を一文で言えるか確かめてください。言えないなら、主張したいことがまだ固まっていない可能性が高い。

誰を、何人、どうやって集めるか

調査でも実験でも、参加者をどう集めるか――サンプリング――が結果の価値を大きく左右します。理想は知りたい母集団を正確に代表するサンプルを選ぶことですが、学部・修士の研究で無作為抽出ができることは、まずありません。実際には、募集に応じてくれた人、授業を受けている学生、知り合いの紹介――手の届く範囲の人たちになります。それ自体は仕方のないことです。大事なのは、集まった人たちがどういう偏りを持つのかを正確に把握して、結果を解釈するときにそれを織り込むことです。「大学生対象の調査結果を、一般社会人にどこまで適用できるか」という検討は、考察セクションで必ず求められます。そのためにも、参加者の属性――学年、専攻、経験年数、対象領域の事前知識など――は、あとから必ず聞かれるので実施時に取っておいてください。

何人必要かを統計的に見積もる話（検出力分析）は定量的研究にあります。ここでは、その見積もりを実際の人数にするところを書きます。

募集は思っているより時間がかかります。必要な人数が20人なら20人に声をかければ済む、とはなりません。日程が合わない、当日に来られなくなる、参加してもらってから条件を満たさないと分かる――こうした目減りを見込んで、多めに声をかける必要があります。学部生を対象にするなら、試験期間と長期休暇は外す。ここに重なると、募集の反応は目に見えて落ちます。謝礼を出す場合は、大学の事務手続きに何が必要か――謝礼の形式、受領書、学外者を呼ぶ場合の書類――を先に確認しておくこと。実験が終わってから手続きの不備に気づくと、協力してくれた人を待たせることになります。

誰に声をかけるかは、倫理審査で必ず見られるところでもあります。自分が TA をしている講義の受講生を参加者にする、といった力関係のある募集は、それ自体が問題になりえます。募集の組み方については研究倫理と盗用を読んでから決めてください。

抽象的な概念を測れる形にする

学習動機、満足度、ストレス、使いやすさ――研究で扱いたい概念の多くは、そのままでは測れません。これを測定可能な指標に変換する作業が 操作化 で、調査の質はここで決まります。手順としては、次の順で考えると迷いにくい。

まず、その概念を自分の研究の文脈で定義し直します。「学習動機」と一口に言っても、やる気の強さの話なのか、取り組む理由の種類の話なのかで、測るものが変わります。ここが曖昧なまま質問項目を作り始めると、あとで「結局この質問は何を測っていたのか」に答えられなくなります。

次に、その定義に合う既存尺度を探します。自分で質問項目を書く前に、必ずここを通ってください。検証済みの既存尺度には、妥当性と信頼性の検証結果が論文として付いてきます。これを使えるかどうかで、査読での守りやすさがまるで変わる。探すときは、同じ概念を扱った先行研究の方法セクションを読んで、何が使われているかを見るのが早いです。

使うと決めたら、原典にあたって項目とスコアリング方法を確認し、日本語版があるかを調べます。翻訳版がない尺度を自分で訳して使うのは、本来それ自体が一つの研究になるくらいの作業です。卒業研究の期間で手を出すかどうかは、指導教員と相談して慎重に決めてください。そして、項目を勝手に減らしたり文言を変えたりしないこと。変えた時点で、その尺度に付いていた妥当性・信頼性の保証は効かなくなります。

どうしても該当する尺度がなく独自に作る場合は、妥当性と信頼性の検証が自分の仕事として乗ってきます。初学者にはかなり重い作業なので、可能な限り既存尺度を使うほうが安全です。

混合研究法と段階的な設計

量的研究と質的研究を組み合わせる 混合研究法 も、有力な選択肢です。数値データで全体の傾向を押さえ、インタビューや観察で詳細な文脈を理解する。学習支援システムの効果を測るときに、テストスコアの変化だけでなく、学習者の体験や戦略の変化も調べると、「なぜそのシステムが効果的なのか」という理解にたどり着けます。量で「効いた」を示し、質で「なぜ効いたのか」を語る――この組み合わせは、論文の説得力を一段引き上げます。

複雑な研究問いには、複数の研究を段階的に実施する設計も有効です。予備的な調査で全体像を把握し、その結果に基づいてより焦点を絞った実験を計画する、という運び方です。限られた資源を効率よく使いながら、研究の精度を高められます。博士論文クラスの研究では、こうした多段階の構成で全体を組み立てるのが普通です。

制約のなかで設計する

どれほど理想的な設計でも、実行できなければ意味がありません。時間、予算、倫理、技術的制約を踏まえて、設計を現実に合わせて削っていく作業は必ず発生します。ここで目指すのは、「理想的ではないが、この条件下では最適な設計」です。制約があるから良い研究ができないのではなく、制約があるから工夫が生まれる――そう捉えられると、削る作業も設計の一部になります。

そして、削ったあとの設計が何を示すことになるのかも、一度見ておいてください。研究の結果は、学術コミュニティだけでなく政策や社会の意識にも影響しえます。偏った設計で誤解を招く結果を出したり、特定のグループに不利益をもたらしたりする研究にならないよう、社会的影響も考慮した設計が求められます。ここは技術論を超えた、研究者の社会的責任の問題です。

設計が固まったら、実験・調査を実施するに進んでください。

Keyboard shortcuts