關於古代漢地九州，參見：豫州 (九州)，漢朝刺史部，參見：豫州刺史部。
豫州，原為九州地理區劃之一，而作為實際的行政區劃，開始於漢武帝時期。
漢武帝元封五年（公元前106年），將全國除中央之外的地域分為十三個州刺史部，豫州刺史部轄境約今淮河以北、南北汝河流域以東的豫東、皖北與江蘇豐、沛兩縣地。但這裡的州刺史部只是監察區，並無治所，並非真正意義上的行政區。
東漢漢靈帝中平五年（188年），州成為一級行政區域，其中豫州治所為譙縣（今安徽省亳州市），轄區在河南東部和安徽西部，下轄潁川郡、汝南郡2郡，梁國、沛國、陳國、魯國4國。
三國的曹魏時期，豫州的治所在安城縣（今河南正陽縣東北、南汝河西南岸）。下轄潁川郡、陳郡、魯郡、汝南郡、譙郡、弋陽郡、陽安郡、汝陰郡8郡，以及梁國、沛國2國。西晉時期，豫州治所在陳縣（今河南周口市淮陽區），下轄10個郡國。東晉治所屢有遷徙，轄境伸縮無常，最大時有今蘇、皖長江以西，望江以北的淮河南北地區。
十六國前趙移治許昌縣（今河南許昌市東）；前秦改豫州為東豫州，另置豫州治洛陽縣（今河南洛陽市東北）。南北朝時期，州的數量增多，地域縮小，南朝宋設有南豫州，治所在於湖縣（今安徽當塗縣南），南朝齊除南豫州外，還另設有豫州，治所在壽春縣（今安徽壽縣）。北魏初改豫州為洛州（後改為司州，東魏又改為洛州），另改司州為豫州，治上蔡縣（今河南汝南縣）。北周改豫州為舒州。
隋朝初年，舒州復為豫州，仁壽四年（604年）又改為溱州，大業二年（606年）再改為蔡州。大業三年（607年）改蔡州為汝南郡，改洛州為河南郡。唐初改河南郡為洛州，改汝南郡為豫州，治汝陽縣（今河南汝南縣）。天寶元年（742年）改豫州為汝南郡，乾元元年（758年）復為豫州，寶應元年（762年）再改為蔡州。
隋朝行政區劃變遷
區劃
開皇元年
州
豫州
洧州
灊州
永州
息州
郡
汝南郡
文城郡
初安郡
臨潁郡
廣寧郡
-
-
城陽郡
汝南郡
新蔡郡
梁安郡
縣
上蔡縣保城縣
武陽縣灈陽縣
安昌縣
西平縣
新蔡縣
-
-
義興縣城陽縣真陽縣
新息縣安陽縣白狗縣
苞信縣長陵縣
朗中縣
區劃
大業3年
郡
汝南郡
縣
汝陽縣 吳房縣 朗山縣 西平縣 新蔡縣 城陽縣 真陽縣 新息縣 褒信縣 上蔡縣 平輿縣
唐朝豫州轄縣
618年
汝陽縣、上蔡縣、新蔡縣、褒信縣、真陽縣、朗山縣、吳房縣、西平縣（新息縣改屬息州，平輿縣改屬輿州）
621年
汝陽縣、上蔡縣、真陽縣、吳房縣（新蔡縣、褒信縣改屬舒州，朗山縣改屬北朗州，西平縣改屬道州）
624年
汝陽縣、上蔡縣、真陽縣、吳房縣（平輿縣來屬）
627年
汝陽縣、上蔡縣、真陽縣（鮦陽縣、新蔡縣、褒信縣、新息縣、朗山縣、郾城縣來屬，廢除吳房縣、平輿縣）
634年
汝陽縣、上蔡縣、真陽縣、鮦陽縣、新蔡縣、褒信縣、新息縣、朗山縣、郾城縣（重設吳房縣）
642年
汝陽縣、上蔡縣、真陽縣、新蔡縣、褒信縣、新息縣、朗山縣、郾城縣、吳房縣（廢除鮦陽縣）
689年
汝陽縣、上蔡縣、真陽縣（改名淮陽縣）、新蔡縣、褒信縣、新息縣、朗山縣、郾城縣、吳房縣
691年
汝陽縣、上蔡縣、淮陽縣、新蔡縣、褒信縣、新息縣、朗山縣、郾城縣、吳房縣（重設平輿縣[1]、西平縣[2]）
692年
汝陽縣、上蔡縣、淮陽縣、新蔡縣、褒信縣、新息縣、朗山縣、郾城縣、吳房縣、平輿縣（廢除西平縣）
705年
汝陽縣、上蔡縣、淮陽縣（改名真陽縣）、新蔡縣、褒信縣、新息縣、朗山縣、郾城縣、吳房縣、平輿縣
723年
汝陽縣、上蔡縣、真陽縣、新蔡縣、褒信縣、新息縣、朗山縣、郾城縣[3]、吳房縣、平輿縣
738年
汝陽縣、上蔡縣、真陽縣、新蔡縣、褒信縣、新息縣、朗山縣、郾城縣、吳房縣、平輿縣（西平縣[4]來屬）
762年
汝陽縣、上蔡縣、真陽縣、新蔡縣、褒信縣、新息縣、朗山縣、郾城縣、吳房縣、平輿縣、西平縣