A/Bテストを使って子供たちをハッキングした方法

A/Bテストを使って子供たちをハッキングした方法
A/Bテストを使って子供たちをハッキングした方法

ライフハッカーのロゴ

  • Bluesky ページを見る (新しいタブで開きます)
  • Instagramページを見る(新しいタブで開きます)
  • Facebookページで見る(新しいタブで開きます)
  • YouTubeページを見る(新しいタブで開きます)
  • Twitterページを見る(新しいタブで開きます)
  • コピーしました

タイラー・ランド

目次


「どうしたらもっと寝てくれるかな?」妻が口にした、質問ですらないこの素朴な考えが、私にとっては挑戦となりました。エンジニアとしての私の頭脳は、これを解決すべき問題として捉え、ソフトウェア開発者は問題を見つけるとテストを考案します。幸運なことに、私はいくつかのアイデアを、管理された測定可能な環境でテストするための完璧なシステムを知っていました。双子がいれば、テストはさらに簡単になるでしょう。A/Bテスト型の子育てへようこそ。

この投稿はもともとDad on the Runに掲載されました。 

A/BテストはWebのいたるところで使われています。おそらく、1日に何十回、いや何百回も、気づかないうちに目にしているのではないでしょうか。大手IT企業はすべて、アイデアの効果をテストし、測定するためのツールとしてA/Bテストを実施しています。Googleは検索結果で41段階の青の濃淡をテストしたことで有名です。デザイナーたちは2段階のうちどちらを使うべきか決めかねたため、合計41段階の濃淡を試し、どの色を使うとより多くのユーザーがクリックするかを調べたと言われています。Facebookはフィード内でさまざまなエクスペリエンスを常にテストしています。Amazonは購入ボタンやカートのレイアウトもかなり頻繁に変更しています。新しいコンピューターからログインしたり、友人が自分のサイトとは見た目が微妙に異なるサイトを使っているのを見たりした際に、これらの変更に気付くかもしれません。

A/B テストは、1 つ以上の「処理」または実験を「コントロール」または既存の体験と比較してテストするために使用されます。指標は通常、クリックスルーや「コンバージョン」などのユーザー アクションに基づいて測定され、コントロールに対する基準が設定されます。Google の例では、異なる色合いの結果の少なくとも 1 つにユーザーがクリックスルーする可能性をテストする場合があります。統計的に有意な期間 (通常は 1 週間または 2 週間) が経過すると、クリックスルー率の高い体験が勝者として選択され、新しいコントロールになります。これが非常に複雑になるのは、複数の実験を同時に実行する場合や、ユーザーの割合が均等に分散されていない場合です。このような場合は、統計に関する高度な知識が必要になります。または、利用可能な多くの強力なテスト ツールのいずれかを使用する必要があります。Audible と Amazon では、このような体験を常にテストしています。ユーザーが実際にどのように行動するかを確認するには、これが最適な方法です。ユーザーが言うことと実際に行うことは、しばしばわずかに異なる場合があるためです。

生後10週間の子供、特に双子を持つ家庭で最も重要な指標である睡眠時間を改善できるかどうか、この方法を息子たちで試してみることにしました。1人を対照群、もう1人を治療群としました。今の私たちの生活のどの部分も、対照群や治療群という言葉で表現する人はいないでしょうが、それはさておき、対照群を基準として睡眠時間に関するいくつかの仮説を検証しました。

どのような実験でも、正確な測定とデータ追跡は不可欠です。多くの場合、成功指標はデータの入手可能性や測定能力に基づいて選択されます。テストやテスト入力を変更するよりも測定に時間がかかるものを測定しようとするのは避けたいものです。幸いなことに、睡眠の測定は非常に簡単です。夜中に起きたら、それを書き留めるだけです。これはまさに、子供たちが生まれた日から、病院の看護師に教えられて以来、私たちがずっと続けていることです。すでに何冊ものノートを見ていますが、追跡は非常に簡単です。そのため、データをスプレッドシートにインポートして、影響をより視覚的に確認するようになりました。

まず、就寝直前の授乳時に与える量を増やすテストを行いました。通常の 4 オンス (約 115 グラム) ではなく、5 オンス (約 230 グラム)、次に 6 オンス (約 190 グラム) を試しました。1 人の子供による偏りを避けるため、良い時期と悪い時期があるように見えるため、テスト対象とコントロール対象を交互にしました。1 人の子供は夕方の授乳量が多くなり、もう 1 人の子供は 4 オンス (約 115 グラム) のままでした。結果: 決定的ではありませんでした。いずれにせよ、この期間中に 2 人の子供とも睡眠時間が長くなり始めたようでした。睡眠時間もほぼ同じでした。授乳量の増加が記録的な 5.5 時間の睡眠と相関関係にあった夜もありましたが、このデータセットでは 1 つのデータ ポイントが重要ではありません。また、5 オンスを超えると食後数分で吐き出されてしまう可能性が高いため、これをテストし続けるのは困難でした。

次は、ネット上の親のブログの片隅でささやかれ、少なくとも私のオフィスでは親から親へと伝承されてきた秘密、グリープウォーターです。まあ、それほど秘密というわけではないかもしれませんが、試してみるのにしばらく時間がかかりました。KFCのブレンドとは逆に、このハーブとスパイスのミックスは、特に夜間に胃の逆流とガスを鎮め、睡眠時間を長くすると言われています。1週間のテストの後、実際に逆流、特に吐き戻しに効果があることがわかりました。個々のげっぷやおならを記録したわけではありませんが、睡眠時間も短くなるようでした。ただし、睡眠時間に大きな影響はありませんでした。平均で20~30分とわずかに増加しましたが、これも年齢による自然な増加かもしれません。

新たな対照群となったグリープウォーターの後、就寝前に追加の授乳を試しました。息子たちはもともと自然にこの習慣を始めていたため、私たちはそれを防ごうとしていました。しかし、これはテストする絶好の機会だと思い、試してみることにしました。多くの子どもは、就寝前に前回の授乳から少し時間を置いて、就寝直前に次の授乳を行うという「クラスター授乳」をします。この授乳は、前回の授乳から通常3時間後ですが、今回は1.5~2時間後に行いました。この授乳では、日中の授乳で通常4~5オンス(約110~120ml)摂取するのに対し、4オンス(約110ml)を摂取しました。時には3オンス以上は摂取してくれないこともありました。全ての実験の中で、この方法が最も効果的だったようです。その結果、睡眠時間が最大1時間長くなりましたが、実験開始から数日経ってから効果が現れることが多かったため、睡眠パターンに影響を与えるには時間がかかるようです。A/Bテストから得られる良い教訓は、人々が新しい治療法を理解し、適応するまでに数日間の適応期間が必要になる場合があるということです。適応期間の結果と適応後の結果の両方を記録することが重要です。 Apple は、いくつかの製品、特に地図の発売時に調整期間を無視したことで有名です。

最後に、日中はより長く起きている状態をテストしました。その結果、夜間の疲労感が増し、結果として睡眠時間が長くなるという仮説です。この仮説はある程度的中したかもしれません。睡眠時間はわずかに増加しましたが、寝ない状態がストレスや疲労感をもたらし、気分を害することを考慮していませんでした。また、夜は疲れすぎてぐずっていたため、落ち着いて眠りにつくまでにかなり長い時間がかかりました。このテストから得られた教訓は、ある指標のわずかな向上のために他の指標を犠牲にしてはいけないということです。

これまでのところどう思いますか?

これらのテストの多くは結論が出ませんでした。これは主に、サンプル数が同じだったことが原因です。Facebookのようなサンプル母集団であれば、小さなセグメントでテストを実施し、統計的有意性を迅速に得ることができます。双子の場合、何が真の結果で、何が性格や自然な発達なのかを判断するのは困難です。より正確なテストを行うには、サンプル数を増やす必要があるかもしれません。これには三つ子が役立つでしょう。ただし、誰かの三つ子ならまだしも、私たちはまだその準備ができていません!

これは、テスト、測定、反復というプロセスの重要性も示しています。いくつかの方法では大きな改善は見られませんでしたが、それらを組み合わせれば改善が見られるかもしれません。治療が対照群よりも優れた結果を示した場合、それを対照群として使用することで、小さな改善が積み重なっていくのです。新しいことを迅速に試し続け、さらに前進することで、試すべき新しいアイデアが簡単に生まれます。山を動かす必要はありません。長い時間をかけて、少しずつ土を積み重ねていくだけです。この子育てのアプローチによって、息子たちも成長し続けることができます。そして幸運にも、私たちの正気、幸福、そして親としての人生も、成長し続けることができるでしょう。

A/Bテストを使って子供たちをハックする方法 | Dad on the Run

「Dad on the Run」は、一卵性双生児の初めての父親であり、マラソンランナーでもある彼の個人的な体験談とストーリーを集めたものです。父親であることの喜びや悲しみ、涙や笑顔を綴っています。

上の写真は Giu Vicente による Unsplash 経由。

毎日のニュースレター すべてをより良くする準備はできていますか?

ジョーダン・カルホーンの肖像 ジョーダン・カルフーン 編集長

Jordan とチームから毎日のヒント、コツ、技術ガイドを入手してください。

毎日のニュースレター すべてをより良くする準備はできていますか? Jordan とチームからのヒント、コツ、技術ガイドを毎日お届けします。

次の記事へスクロールしてください