宝宝的体温在37.5℃以下属于正常范围，不必过于担心。在配方奶喂养的情况下，适当补充水分可以帮助宝宝维持水分平衡。建议在两顿奶之间适当喂水，初次尝试可以从20-30ml开始，根据宝宝的尿液量和颜色来调整加水的多少。同时，室内温度控制在26℃左右，避免过度包裹宝宝。如有体温上升趋势，建议完善血常规化验。