《荀子·大略》有这样一段记载：
古之贤人，贱为布衣，贫为匹夫，食则饘粥不足，衣则竖褐不完，非礼不进，非义不受，安取此？子夏家贫，衣若悬鹑。人曰：“子何不仕？”曰：“诸侯之骄我者，吾不为臣；大夫之骄我者，吾不复见。柳下惠与后门者同衣而不见疑，非一日之闻也。”
这个故事，讲的是孔子弟子子夏以柳下惠为榜样，虽然家境贫寒，穿得鹑衣百结，但决不曲就他人之事迹。这里说“柳下惠与后门者同衣而不见疑”，是说，柳下惠即便穿着破烂衣服和为国君看守城门的下等人在一起，人们也不会说什么。这似乎与柳下惠坐怀不乱不搭界，但很可能是故事的源头。
《毛诗·巷伯》篇云：“妪不逮门之女而国人不称其乱。”
什么是妪？《礼记·乐记》：煦妪覆育万物。郑玄注：以气曰煦，以体曰妪。也就是说，以气温来繁育叫煦，以体温来繁育叫妪。什么是逮？邢昺疏：“逮，及也。”这句话意思连起来就是：用身体温暖了一个来不及进城门的女子，国都中的人都不认为这是一种淫乱。
两个故事嫁接在一起，就是柳下惠在冬天的一个夜晚，和一个女子人城门不得，怕女子冻死，就用衣服把女子裹在自己怀里，至天明没有发生淫乱行为。
《展氏族谱·和圣年谱》载：公元前695年（鲁桓公十七年），禽二十六岁。远行归，夜宿郭外。时天大寒，有一女子趋讬，恐其冻死，乃令坐于怀中，以衣覆之，至晓不乱。
1985年，河南濮阳县地名办公室编印的《濮阳古今谈》中有文《崇尚和平的柳下惠》这样写道：
相传，盛夏某天，禽外出访友，返回时暴雨大作，他直奔柳下南郊古庙中暂避。正待跨入门槛，才见一女子正在殿中裸体拧衣，禽急步速返，且背向殿门，坐于殿前古槐之下，任凭雨水浇注。女子发觉，羞躲门后，慌着湿衣，待雨稍停，匆忙离去。后人得之，传为佳话。故有柳下惠坐怀（槐）不乱之美誉。
