本監前身為臺灣雲林看守所，位於雲林縣虎尾鎮明正路42號，本所係於民國53年7月1日成立，當時雲林地區無監獄之設置，經判決確定之受刑人，均由本所代執行，由於受刑人日增，乃於56年1月設立臺灣雲林監獄與本所合署辦公，迨至61年7月該監新建完成，才分為二個機關獨立辦公。另設分監及少年觀護所由本所兼辦其業務，執行刑期一年未滿之受刑人及收容少年。
後鑑於房舍老舊狹小，不足因應收容人逐年擴增需求，法務部乃將之列為改善監所設施計畫，指示本所承辦遷建事宜，經覓得現址，積極規劃興建，主體建築工程於民國85年9月動工，至88年2月順利完工，後續重要設施、設備等工程則於89年6月陸續完成。89年7月19日搬遷至現址辦公，同年9月1日奉示成立臺灣雲林第二監獄，核定收容額為1,552名，並與雲林看守所及雲林少年觀護所三機構合署辦公。
本監於民國90年11月起辦理中區收容人接收調查業務，於91年1月成為全國首座專業接收調查監獄，後於99年12月1日因超額收容、專業人力及空間不足等因素，奉示停止辦理接收調查業務，回歸各監獄自行承辦調查分類業務。
民國100年1月1日法務部矯正署成立，本監奉令改制為「法務部矯正署雲林第二監獄」。
本監新(擴)建工程中長程個案計畫於民國106年8月9日奉行政院核定，新(擴)建統包工程於107年10月4日動工，並於111年2月24日全案驗收完畢啟用；核定容額依法務部函示自111年4月6日起調整為3,108名。