Согласно первой версии, выражение родилось у немцев. Жены древних германцев, провожая мужей на войну, надевали им на головы шлемы с рогами. Это означало "снарядить мужа в поход и остаться свободной".
Вторая версия связывает происхождение выражения с мифом об Актеоне, который подсматривал за купающейся богиней Дианой. И за это она превратила его в оленя.
Третья версия также связана с Германией. В немецком императорском указе 1427 года запрещалось пребывание в армии с женой. Те же, кто посмел нарушить закон, должны были носить рога.
А самой распространенной считается версия, связывающая происхождение выражения с византийским императором Андроником Комнином, который жил в XII веке. Мужьям, чьи жены были любовницами императора, разрешалось охотиться в императорском зверинце. И на воротах охотники выставляли добытые оленьи рога. В шутку о таких людях говорили, что у них рога на лбу.