睾丸缩小可能是由于寒冷、紧张或提睾肌反射等原因引起的。建议你注意保暖，避免久坐，并进行进一步检查，如前列腺液常规、尿常规等。同时，男性生殖系彩超也可以帮助我们更好地了解你的情况。

手淫可能有一定关系，但不是唯一原因。建议你减少手淫频率，注意休息和保暖。至于睾丸大小的变化，需要通过专业的检查来确定。