物理学考研人数较少的原因是多方面的，主要包括以下几点：

学习难度较大 ：物理学被认为是比较难学的学科，尤其是理论物理学，许多内容比较抽象，不易掌握。

就业前景不佳 ：物理学专业的就业面相对较窄，工作不好找，企业和公司一般不太招聘物理学专业的毕业生。

新高考改革影响 ：在新高考改革中，许多学生为了赋分高一些，放弃了物理学，转而选择其他更容易获得高分的科目。

本科阶段就业对口工作少 ：物理学专业的本科生在毕业后，除了教师等少数职业外，很难找到对口的工作。

研究生阶段专业选择有限 ：虽然物理学专业的研究生阶段有多个方向，但真正列入招生计划的物理学专业较少，且相关度较大的专业多属于工科，报考人数也有限。

科研压力和竞争激烈 ：对于想要从事科研工作的学生来说，物理学考研的弊端还包括科研压力和竞争激烈。

赋分规则不合理 ：部分省份的赋分规则可能使得选择物理专业的学生在考研中处于不利地位，分数集中，竞争激烈。

本科阶段选择物理专业的学生数量较少 ：物理专业的本科生在本科阶段选择物理的比例相对较低，这也导致了考研物理专业的生源不足。

综上所述，物理学考研人数较少的原因主要是学习难度大、就业前景不佳、新高考改革影响、本科阶段就业对口工作少、研究生阶段专业选择有限、科研压力和竞争激烈、赋分规则不合理以及本科阶段选择物理专业的学生数量较少等多方面因素共同作用的结果。