宋太宗趙炅年輕時曾鬧出不少緋聞，比如他強迫臨幸南唐後主李煜的愛妃小周后，許多古籍中都提到，他命畫師將「臨幸過程」繪製成圖，因此被冠上好色之名，不過宋太宗到了晚年，因為腿上的箭傷而收斂許多。
小周后是南唐後主李煜的愛妃，南唐亡國後，李煜被俘虜，並帶著小周后來到北宋的都城開封，根據宋人王銍（ㄓˋ）的《默記》記載，小周后必須按時和其他的命婦（官員的母親、妻子）進宮，但大家進宮後，當天即可返家，只有小周后待在宮裡好幾天才能回家，而且一回家就對著李煜又哭又罵。
除此之外，多部重要古籍中都有記載，包含明代《萬曆野獲編》、《見只編》，以及清代《帶經堂集》，宋太宗在淩辱小周后時，專門請了幾個宮廷畫師到寢室內，將整個過程畫成一幅畫，也就是歷史上著名的《熙陵幸小周后圖》，而這件事也讓宋太宗被冠上「好色」的名聲。
不過宋太宗在世期間不斷強調自己「不好色」，宋太宗好色是事實，但也有分時期，宋太宗早年和繼位之初是非常好色的，到了人生後期才逐漸收斂，最主要的原因是，他在太平興國4年的高梁河之戰中受了箭傷，這個箭傷為他帶來長達18年病痛的折磨，從此之後宋太宗便不近女色，不過最後他還是因箭傷而亡。
