手拇指被油溅到起了水泡，可采取以下措施：
1.凉水冲洗：立即用凉水冲洗受伤的手拇指，以降低皮肤温度，缓解疼痛和红肿。
2.刺破水泡：如果水泡较大，可以在水泡底部用消毒的针或剪刀刺破，让液体流出，但要注意不要去除水泡皮。
3.消毒处理：用碘伏或酒精对伤口进行消毒，避免感染。
4.涂抹药膏：可在伤口处涂抹烫伤膏、红霉素软膏等，以保护创面，促进愈合。
5.包扎伤口：如果水泡较大或伤口较深，可用无菌纱布包扎，避免感染和摩擦。
6.注意事项：
避免沾水：保持伤口清洁干燥，避免沾水，以免感染。
避免摩擦：避免用手拇指接触粗糙的物品，以免摩擦伤口。
饮食清淡：少吃辛辣、刺激性食物，多吃蔬菜水果，有助于伤口愈合。
观察病情：如果伤口出现红肿、疼痛加剧、发热等症状，应及时就医。
以上信息仅供参考，如果症状持续不缓解或加重，建议及时就医。