早在春秋时代，绿色的头巾就因为颜色和帽子种类的低贱性，就已经和精神上的侮辱含义挂钩了，把妻子女儿卖出去混饭吃的男人，是可耻的，就得戴绿头巾。到了元朝，官方规定娼妓人家的男子必须带绿头巾，就这样推动了“绿帽子”的污名化。

谈到绿帽子的起源，其实跟一个历史事件有关，出自《史记》。公元前553年，齐庄公在大夫崔杼的帮助下获得了君权。有一天，齐庄公到崔杼府上吃饭，看上了他貌美如花的妻子，这位美女也是来者不拒，两人就这么勾搭上了。之后齐庄公常常以找崔杼谈事为由，到他家里去，私会他的老婆。可崔杼却一直蒙在鼓里。

直到有一天，齐庄公不小心把崔杼的帽子夹带在长袍之内，这顶绿色的帽子映得崔杼脸都绿了，这一看就知道齐庄公进了内室！不过这时候他还没炸毛，自欺欺人地以为妻子与庄公只是正常交流，选择原谅她了。

后来齐庄公得寸进尺，直接把崔杼的帽子赏给亲信侍者，当朝官员也都知道那顶帽子是崔杼的，因为他之前天天戴着上朝，便纷纷把他当成笑话。面对这样的羞辱，崔杼终于受不了了，找个机会就把齐庄公给杀了。

在清代翟灏的《通俗编》里有这样的记载：“远在春秋时代，有货妻女求食者，绿巾裹头，以别贵贱。”意思就是把妻子女儿卖出去混饭吃的男人，是可耻的，就得戴绿头巾，显示他是低贱的人。

这个古老的羞辱办法，竟然在一千多年后被一个唐朝的公务员发扬光大了，据唐代封演所着的《封氏闻见记》记述：“李封为延陵令，吏人有罪，不加杖罚，但令裹碧头巾以辱之，随所犯轻重，以日数为等级，日满乃释。”

这说的是差不多在今天的江苏镇江、常州一带，有个公务员叫李封，他发明了一种新的刑罚，就是让有罪的犯人都戴上绿头巾，罪越重戴的天数就越多。

这事本来可能是李封临时起意的做法，觉得在肉体上的惩罚是不够的，还要在精神上心理上折磨这些犯罪的人，不料，这种刑罚的影响有点久远……慢慢地居然演变成当地民间的一种颇为牢固的习俗观念，这片地方的人们都认为戴绿头巾是一件非常没有面子的事情。

元朝时期，绿头巾这个物件的贬义含义，在元朝竟然莫名其妙地被国家制度明文确定了下来！

明代有一部重要的随笔札记《五杂俎》，它这样说过：“国初之制，绿其巾以示辱，盖古赭衣之意。而今无矣，然里閈尚以『绿头巾』相戏也。”

这个“里閈”意思就是乡里乡亲，这个记载说明绿头巾的侮辱含义当时已经在民间流行，而且重点是已经脱离本来所说的事实层面，而作为一种富有象征含义的贬义词被使用了。

然后另一部明代笔记《七修类稿》里也有这么一句话“今吴人骂人，妻有淫行者，曰绿头巾”，说明这个称呼已不仅仅是和受歧视的职业有关系，而是直接被应用于世俗夫妻出轨事件中，用来挖苦、贬低妻子不检点的男人。

后来，“绿头巾”这个称呼一直沿用到近世，而“绿帽子”之称则一直沿袭到了今天。