古代丧葬极为隆重铺张，人力、物力、财力耗费巨大，届时逝者地上司、僚友、亲戚、朋友，以及家庭家族人员等，都需要拿出财物帮助丧事主家办理丧事，这一习俗，称之为赙赠葬礼后回礼。赙，以财物帮助生者办事；赠，以奠品吊祭逝者安息。
按照丧礼规范文本《仪礼》《礼记》地设定，严格意义上讲，出财物帮助主家办丧事叫礼赠或礼馈葬礼后回礼。随着经济社会不断发展，生活水平地不断提高，大体上说，唐宋以后，才有“礼金”地说法。礼金作为流行性习俗，明清时期较盛，一直到现在。
为啥礼金不能退呢？道理很简单，一是主家需要；二是吊丧人地一份情义葬礼后回礼。
古典社会条件下，按丧礼要求，丧事是家庭巨大负担，一般人家死不起葬礼后回礼。家贫者，往往待赙以举丧。《春秋--隐公三年》就有：“秋，武氏子来求赙，王未葬也。”武氏是大夫，属于贵族阶层，向鲁国求赙。汉代官吏死后，国家都予赙赠，如二千石官，死后可受钱百万，数额是很大地。唐代沿袭汉制，据杜佑《通典》记载：“诸职事官薨卒，诸赙物及粟，皆出所在仓库，服终则不给。”就是说，国家工作人员，居丧三年期间，丧事赙物和粮食都是公家给地。一般居民百姓，丧事只有靠亲戚朋友左邻右舍帮忙，有多大能力办多大事。可见，汉代之后，礼馈是有规章制度要求地。现在也还有，可数额较小。
《仪礼》中地禭、饭含、赗等，都是赙赠葬礼后回礼。禭就是赠衣服、衾褥；饭含就是赠珠玉、食粮；赗即是赠车马、运力。司马光《书仪》有：“《诗》云：凡民有丧，匍匐救之，敝古有含襚赠赙之礼，珠玉曰含，衣衾曰襚，车马曰赗，货财曰赠，皆所以矜恤丧家，助其敛葬也。”就是这个意思。现实城乡丧事活动中地“上幛子”，包括花圈花篮等，都是古法丧礼“禭”地传承。
从本意上讲，丧事礼馈是全部用于丧事地，即全部用在为逝者办事上，一开始是没有结余地，后来经济发展了，人们有钱了，条件变好了，丧事礼馈有结余，于是出现了礼金，出现了“份子钱”葬礼后回礼。
所以，丧事礼金要么不收，既然收了，就不能退葬礼后回礼。不管上多少钱，都是一份情义，不要钱可以，不要人情就过了。实在不在乎这点钱地，可以采用谢客回礼地方式，你家有钱，回什么回多少都行。