存善去恶的典故主要出自《王阳明四句教》，其中“知善知恶是良知，为善去恶是格物”是这一理念的核心表述。这句话的意思是，人应该识别并追求善良，同时摒弃邪恶。王阳明认为，善恶是内心念头的外在表现，良知是人先天具有的辨别善恶的能力，而格物则是通过实践去实现和保持善良，去除邪恶的过程。

另一个著名的典故是周处的故事，他原本是乡里的祸害，后来意识到自己的错误，决心改过自新，最终成为了一位名臣。这个故事体现了从恶向善的转变，也是存善去恶的一种实践。

在《贞观政要》中，提到了“善善而恶恶”的原则，强调了对善恶行为应当有明确的奖惩措施，以此来维护社会的正义和秩序。

包拯的故事也是惩恶扬善的典型例子，他在处理案件时，能够明辨是非，公正无私，体现了存善去恶的精神。

这些典故和原则在中国传统文化中有着深远的影响，它们不仅是个人修养的指导，也是社会治理的重要原则。通过这些故事和教导，人们被鼓励去培养良好的品德，去除恶劣的行为，以此来促进个人和社会的和谐与进步。