这个成语来源于《吕氏春秋.察今》，楚人有涉江者，其剑自舟中坠于水，遽契其舟曰：“是吾剑之所从坠。”舟止，从其所契者入水求之。
战国时，楚国有个人坐船渡江。船到江心，他一不小心，把随身携带的一把宝剑掉落江中。他赶紧去抓，已经来不及了。
船上的人对此感到非常惋惜，但那楚人似乎胸有成竹，马上掏出一把小刀，在船舷上刻上一个记号，并向大家说：“这是我宝剑落水的地方，所以我要刻上一个记号。”
大家都不理解他为什么这样做，也不再去问他。
船靠岸后那楚人立即在船上刻记号的地方下水，去捞取掉落的宝剑。捞了半天，不见宝剑的影子。他觉得很奇怪，自言自语说：“我的宝剑不就是在这里掉下去吗?我还在这里刻了记号呢，怎么会找不到的呢?”
至此，船上的人纷纷大笑起来，说：“船一直在行进，而你的宝剑却沉入了水底不动，你怎么找得到你的剑呢?”
其实，剑掉落在江中后，船继续行驶，而宝剑却不会再移动。像他这样去找剑，真是太愚蠢可笑了。
《吕氏春秋》的作者也在写完这个故事后评论说这个，“刻舟求剑”的人是“太愚蠢可笑了”!