子供の能力を決める要因としては、遺伝子や環境、あるいは遺伝子と環境の相互作用など、さまざまな議論があるが、子供が育つ社会的環境、特に家庭に目を向けることが必要とされている。
アメリカの子供が貧困家庭に生まれる率は以前よりも高くなっているので、能力格差を説明するうえでの家庭環境の重要性は大きな懸念材料である。そして、恵まれない環境で生まれ育つ子供が、中流以上の階級の子供が受けるような豊かな幼児教育を受けられないというのは純然たる事実だ。高学歴女性を母親に持つ子供と低学歴女性を母親に持つ子供との環境格差が生まれている。
高学歴な女性の就労率は、低学歴な女性の場合よりもはるかに高い。同時に、広範囲な調査研究によれば、大卒の母親は低学歴な母親よりも育児に多くの時間を割き、特に情操教育に熱心だ。彼女たちはわが子への読み聞かせに、より多くの時間をかけ、一緒にテレビを見る時間はより少ない。
教育程度の高い女性は結婚も出産も比較的遅く、教育を修了することを優先する傾向が強い。自分自身の収入も配偶者の収入も安定している。子供の数が少ない。こういった要素がはるかに豊かな子育て環境をもたらし、それが子供の語彙や知的能力に劇的な違いをもたらす。

幼児期の悲惨な体験は、大人になってからも尾を引く

社会学者のサラ・マクラナハンによれば、どんな家庭に生まれるかによって子供は「運命の分かれ道」に直面するという。恵まれた家庭に生まれた子供は、経済的にも認知能力的にも有利な環境を得られる可能性が高く、恵まれない家庭に生まれた子供はそれを得られる可能性が少ない。
ロバート・アンダ、ヴィンセント・フェリッティらの研究チームは、家庭内暴力や虐待、ネグレクトといった幼児期の悲惨な体験が成人後にもたらす影響について調査した。その結果、子供時代のそうした体験が、成人してからの病気や医療費の多さ、うつ病や自殺の増加、アルコールや麻薬の乱用、労働能力や社会的機能の貧しさ、能力的な障害、次世代の能力的欠陥などと相関関係があるとわかった。
この調査結果は発達心理学の分野の膨大な研究によって裏付けられ、神経学的にも筋が通っている。幼い頃にある特定の入力（インプット）が欠けていると、そのインプットに関連する情報を感じ、気づき、理解し、判断し、それに従って行動するという脳のシステムの発達に異常が生じる。
ルーマニアの幼児に関する研究は、幼い時期の重要性を示している。ルーマニアの国営孤児院では、生まれたばかりの子供たちを対象とする邪悪な実験が意図せずに実施された。孤児院の生活環境は劣悪だった。収容された子供たちは社会的・知的な刺激を最低限しか与えられずに育った結果、認知機能の発達が遅れたり、社会的行動に深刻な障害が生じたり、ストレスに対する異常な過敏性が見られたりしていた。