根据你的情况，精子数量偏少可能会影响受孕。建议你和妻子都进行全面的体检。同时，需要戒烟限酒，避免熬夜，保持良好的心态也非常重要。可以尝试服用一些富含锌和硒的保健品，如锌硒宝。定期进行精液分析以监测改善情况。你的精子数量虽然偏少，但仍有足够的正常精子进行试管婴儿治疗。试管婴儿的成功率取决于多种因素，包括年龄、健康状况等。副作用通常较小，但需要在医生的指导下进行。