精液颜色异常可能与多种因素有关，包括生殖系统感染、前列腺问题、精索静脉曲张等。建议您尽快就医，进行相关检查以确定具体原因。

虽然长时间没有性生活可能会影响精液的颜色和质量，但如果出现褐色精液，仍然需要排除其他潜在的健康问题。请务必就医，根据检查结果选择合适的治疗方法。同时，保持良好的生活习惯和规律的性生活也对男性生殖健康有益。