对于4个月大的婴儿发热，首先应采用物理降温方法，例如使用冰冰贴或温水擦浴。如果体温仍然高于38.5度，且物理降温无效，可以考虑使用退热药，但必须在医生的指导下进行。同时，需要密切观察孩子的奶量和精神状态，多喂水以防脱水。如有任何不适或症状加重，应立即就医。