光源氏不让紫姬离开的原因是多方面的，主要包括以下几点：

情感依赖：

光源氏对紫姬有着深厚的情感依赖，他将紫姬视为自己心中的得意玩偶，希望她如同孩童一样天真百依百顺地崇拜他，同时又希望她能够如同母亲一样包容他的一切。这种复杂的情感需求使得光源氏不愿意让紫姬离开。

占有欲：

光源氏对紫姬的占有欲极强，他甚至希望紫姬的一生都围着他转，完全属于他。这种占有欲也是他不希望紫姬离开的原因之一。

自我中心：

光源氏的所谓爱只是爱他心中主观臆想的紫姬，而不是真正的爱紫姬本身。他爱她的美貌，更像是爱他自己而不是爱紫姬。这种自我中心的思想也导致了他不愿意让紫姬离开。

社会地位与责任：

作为一位贵族，光源氏有强烈的社会责任感和家族荣誉感。他可能认为紫姬作为他的妻子和子嗣，她的存在对于他的社会地位和家族荣誉是重要的。因此，他不愿意让紫姬离开，以免影响自己的社会地位和家族形象。

缺乏自由：

紫姬虽然表面上过着幸福的生活，但实际上她的生活并不自由。她的一切都要受到光源氏的控制和安排，甚至她想要出家以获取真正的自由也没有机会实现。这种缺乏自由的生活也使得她难以离开光源氏。

综上所述，光源氏不让紫姬离开的原因是多方面的，包括情感依赖、占有欲、自我中心、社会地位与责任以及缺乏自由等。这些原因共同作用，使得光源氏在很长一段时间内不愿意让紫姬离开。