淫祠泛滥的危害除了修建大量的庙宇祠堂浪费资财外，还表现在每年名目繁多的各种祭祀活动上，仅从保留下来的唐人与神灵祭祀有关的祭文来看，其内容五花八门，如祭百神、祭名山、大川、祭城隍等。还有所谓赛文，即举办酬报献功的祭神活动时所作的祭文，报赛的对象有大舜庙、越王庙、白石神、海神、古榄神、木瓜神、兰麻神等。此外，唐人的诗歌中也有许多描写祭神活动的内容。江南祭神活动往往场面很大，参加人数众多，仪式繁杂。从一些诗歌描绘的情景看，往往都有女巫击鼓迎神、洒酒焚香、抛撒纸钱、巫师唱诵、鬼神降临、送神离去等一系列森然古怪的仪式。参加者往往倾乡而出，不仅浪费许多财力、人力，有时甚至影响到正常的农业生产的进行。淫祠的泛滥也给巫师、方士提供了许多大显身手的机会，他们利用人们对神灵的崇拜与信仰，或骗取钱财，或妄言祸福，以巫术害人性命也不稀见。
狄仁杰正是认识到了淫祠泛滥这些弊端与危害，以其特有的果敢作风，一举焚毁了大量的祠庙，使江南百姓受惠不少。对于狄仁杰的这次行动，后人给予了高度的评价，明清之际的著名学者王夫之，认为狄仁杰此举可以与日月争辉，可见评价之高。王夫之还详细地论述了他之所以对狄仁杰这次行动评价如此之高的原因，他说：“是举也，疑夫轻率任气者亦能为之，而固不能也。鬼神者，即人心而在者也，一往而悍然以兴，气虽盛，心之惴惴者若或掣之，昧昧之士民，竞起而挠之，非心服于道而天下共服其心者，未有不踟躇而前却者也，故曰赫然与日月争光者也。”《读通鉴论》卷1《中宗》五。在王夫之看来此举决不是狄仁杰轻率任气的一时行为，而是在他的不畏鬼神、反对迷信的思想支配下的自觉的行为。王夫之这里所说的鬼神“在心”，就是指思想信仰，只有“心服于道”，思想中不信仰，不崇拜，才能克服阻力，一往无前地采取果断行动。也正是因为这样，王夫之才认为其可以与日月争辉。王夫之不愧是我国古代杰出的思想家，他对狄仁杰焚毁江南淫祠这一举动的评论，的确不同凡响，闪烁着进步的思想火花。
王夫之的看法是有道理的，狄仁杰的此次举动确有其思想根源，早在他充任度支郎中时就已有所表现。那还是在高宗统治时期，有一次车驾将前往位于山西的汾阳宫，命狄仁杰为知顿使，负责皇帝行程的安排事务。当时，并州（治今山西太原西南）长史李元冲因为原定的道路要经过一座女祠，民间传说凡是盛服车马经过此祠的必有风雷之灾，主张另外选择一条道路，以避开女祠。狄仁杰坚决不同意，他认为“天子行幸，千乘万骑，风伯清尘，雨师洒道，何女敢害而欲避之？”后来车驾经过此祠时果然没有发生什么异常现象。高宗得知此事后，赞叹地说：“可谓真丈夫也。”狄仁杰敢于让皇帝冒这样的风险，不是出于他的丈夫气概，而是他不迷信鬼神的一贯思想的反映。
继狄仁杰之后，唐代还有一些有识之士反对淫祠弊俗，如李德裕就是其中一位。他在长庆三年（823）担任浙西观察使时，“锐于布政，凡旧俗之害民者，悉革其弊。”他针对当地人信巫祝，敬鬼神的弊风，“择乡人之有识者，谕之以言，绳之以法，数年之间，弊风顿革。”同时李德裕还对管辖境内的祠庙进行了清理，除方志有所记载的前代名臣之祠外，其余淫祠一律毁去，共计毁去了1010所。看来李德裕的举措更为完善细致，这是由于他任职于当地，有较长的时间来从容不迫地部署安排此事的缘故。而狄仁杰是充使巡察，时间紧迫，只能采取断然措施，以求迅速获得成果。从焚毁的淫祠数量和影响看，李德裕不如狄仁杰多，影响只限于四州之地，不及狄仁杰这次行动影响广泛。此外，韩愈、柳宗元等在任地方官时，也都有类似举措。还有人著书立说反对淫祠滥祀，如李、沈颜等人。总之，在唐代自从狄仁杰率先反对淫祠迷信以来，一批有识之士挺身而出，或采取断然措施，或口诛笔伐，力抗流俗，从而在一定程度上抑制了这种旧风陋俗的过度泛滥和流行。中国古代文化在长期的发展过程中，能够不断地吸取有益的养分，摈弃糟粕，不致走入狭谷绝境而隳亡，这也大概是原因之一。狄仁杰就是唐代在这方面的开风气之先者，尽管他没有留下多少著述，但后人从他的这些行动上仍然看到了其思想火花的闪耀。
