在看古裝劇時會發現，犯人入獄後都會穿上白色囚衣，不過古代囚衣其實不是白的。從西周時期開始，古人產生用服裝顏色區分地位的觀念，當時的平民只能穿沒有紋飾的單色衣服，不過在春秋戰國時期，由於當時的染色技術還不夠純熟，囚衣都以「赭（讀音ㄓㄜˇ）色」為主，顏色單一且染色簡單。
西周時期就已有用顏色區分地位的觀念，而且在周代禮樂制度確立後，顏色分等級的功能越來越明顯，但主要用於貴族的車馬、服飾，以《詩經·曹風·候人》為例，其中一句「彼其之子，三白赤芾」，指的就是級別為大夫以上的人穿赤色衣服坐車，可見顏色的重要性。
而古代技術不純熟，能夠使用的顏色有限，秦朝時崇尚黑色，所以上到皇帝、下至官吏都穿黑色，因此在隋唐之前，官服都是固定顏色，不過單一顏色的衣服無法判斷官員位階高低，因此到了隋唐後，受儒家的「穿衣經」影響，還有王朝的顏色觀，進而產生「官品服色制」，不過因隋朝歷史不長，此制度在唐朝才開始成熟。
除了官服有顏色規定，囚衣也是如此，春秋戰國時期，染衣服需要技術，因此鮮艷顏色唯有貴族才能使用，由此可知，古代囚衣的染色方法應該並不困難，在《荀子·正論》記載，「殺，赭衣而不純」，指死刑犯人穿沒領子、不鑲邊的赭色衣服，雖然目前學界對囚衣造型仍有爭議，但顏色則一致認同為是「赭色」，文中提到的赭衣就是用赤褐色的泥土將衣服染成赭色。
在《漢書·刑法志》也曾記載，「赭衣塞路，囹圄成市」，表示犯人多到塞住路，監獄甚至能堆成一座城市，其中也提到「赭衣」，而在秦朝，囚犯一律穿赭色囚衣，《史記·田叔列傳》寫到，「唯孟舒、田叔等十餘人赭衣自髡鉗，稱王家奴，隨趙王敖至長安」，由此可知，雖然白色也曾是囚服顏色的一種，但在古代最常見的應為赭色。
除此之外，在漢朝有一種為名「虎穴」的牢房，官府人員會在地上挖深洞，而且下大上小，出口用一塊大石覆蓋，地牢裡會關數百名囚犯，史書曾有「數日一發現，皆相枕藉死，便輿出」的記載，而當時並沒有發放赭衣，犯人都是穿著自己的衣服入獄。
不過為何在電視劇與傳統戲曲中，經常是看到白色囚衣？在《資治通鑑．唐昭宗天復三年》紀載，「鄂曰：降將未受梁王寬釋之命，安敢乘馬衣裘乎！乃素服乘驢至大樑」，元代史學者胡三省作註解釋「素服，囚服也」，古代平民衣服顏色較單一，且白色又常用於服喪等不詳之事，由此可知，素服也能當作囚服穿，再者，傳統戲曲喜歡演平冤等劇情，主角經常穿素白服飾喊冤，也成為現代對古代囚衣的刻板印象。
