1960年農業機械工業部決定組建畜牧機械、水稻機械、山地機械等六個科研院所。當年9月3日農機部“農機干徐字第77號”文件要求在內蒙古自治區建立畜牧機械科研機構,建議將正在籌建中的內蒙古農牧業機械研究所改建為畜牧機械研究所,由農機部和內蒙古自治區雙重領導,以地方為主。經請示內蒙古自治區人民委員會副主席高增培,自治區農牧業機械廳和經委于9月10日電復農機部表示同意,內蒙古畜牧機械研究所(以下簡稱牧機所)正式成立。成立之初,牧機所先后隸屬內蒙古農牧業機械廳和重工業廳,所址在呼和浩特市新城東街6號。
1962年9月,第八機械工業部以(62)技研字第54號、內蒙古自治區計委以(62)計基阿字第941號文件批復,同意牧機所建設投資200萬元,編制200人。
1964年11月牧機所第一期建設任務竣工,完成固定資產200萬元,實有職工126人,其中工程技術人員96人,并由原址遷入現址。搬遷時冶金研究室由牧機所分出,成立內蒙古自治區冶金研究所。
1965年11月,內蒙古自治區人民委員會決定將內蒙古農業機械化研究所(同時掛內蒙古農牧業機械試驗鑒定站牌子)并入內蒙古畜牧機械研究所,更名為內蒙古農牧業機械化研究所,隸屬關系由自治區重工業廳調整為自治區農牧業機械管理局。當時全所職工l78人,其中工程技術人員115人。
1968年3月成立牧機所革命委員會,隸屬于自治區革命委員會生產建設指揮部領導。
1971年,內蒙古自治區重新組建廳局,牧機所劃歸自治區機械工業廳領導,全所職工l55人,其中工程技術人員72人。
1974年第一機械工業部農機局在天津市召開“農機科研座談會”,重新確定牧機所為全國畜牧機械科研的“牽頭抓總”單位。
1978年6月2日,內蒙古自治區編制委員會批復([78]內編發11號),所名恢復為內蒙古畜牧機械研究所,實有職工286人,其中工程技術人員l21人,由第一機械工業部和內蒙古自治區機械工業局雙重領導。
1979年3月國務院批準國家科委、農業機械部《關于調整內蒙古自治區畜牧機械研究所的管理體制的報告》([79]國科發技字第l92號、農機生聯字第33號),將牧機所隸屬關系調整為農業機械部與內蒙古自治區雙重領導,以農業機械部為 主。當年全所職工273人,其中工程技術人員l04人。同時,為保證自治區農機科研工作,從牧機所分出部分人員恢復了內蒙古農牧業機械化研究所。1980年6月,經自治區政府同意,在牧機所民用機械研究室的基礎上擴建為內蒙古機電研究所,從牧機所分出。
1981年9月,農業機械部批復了《畜牧機械研究所l981-1985年發展規劃》,隨后機械工業部對《畜牧機械研究所六五擴建初步設計任務書》進行了批復([82]機農字第908號),牧機所開始進行第二期基本建設,總投資700萬元。
機械工業部于l982年11月27日以(82)機辦字第l053號文通知牧機所定名為“機械工業部呼和浩特畜牧機械研究所”,隸屬于機械工業部。年底實有職工312人,其中科技人員l29人。
1984年7月,國家科委(84)國科發管字489號文件批復,同意將內蒙古呼倫貝爾盟畜牧機械試驗站(原名呼盟農牧機械研究所)劃歸牧機所領導,更名為機械工業部呼和浩特畜牧機械研究所海拉爾試驗站。年底全所職工468人(海拉爾試驗站79人),其中工程技術人員260人(海拉爾試驗站52人)。同年9月,中共機械工業部黨組(84)機黨函字214號文件批準牧機所為地專級單位。
1998年12月7日,根據國家機械工業局《關于同意中國農業機械化科學研究院與呼和浩特畜牧機械研究所合并的通知》(國機改[1998]568號),牧機所并入中國農業機械化科學研究院。
2000年1 月7日,國家經濟貿易委員會和國家科學技術部《關于印發調整國家經貿委管理的10個國家局所屬部分科研機構轉制方案的通知》(國經貿技術[2000]16號)明確牧機所進入中國農業機械化科學研究院,一同轉制為中央直屬科技型企業。同年7月,牧機所正式在內蒙古自治區工商行政管理局登記注冊,定名為中國農業機械化科學研究院呼和浩特分院。
2001年12月10日,內蒙古自治區科技廳以內科發計字[2001]38號文件批復,同意依托我院組建“內蒙古自治區畜牧業裝備工程技術研究中心”。
2004年1月6日,內蒙古自治區科技廳以內科發計字[2004]2號文件批復,同意依托我院組建“內蒙古自治區新能源工程技術研究中心”。
2005年12月19日,國家科學技術部以國科發計字[2005]503號文件批復,同意依托我院組建“國家草原畜牧業裝備工程技術研究中心”。
2009年,國家發展與改革委員會批準,依托我院組建“國家地方聯合太陽能干燥技術工程實驗室”。
2017年,我院完成公司制改革,正式更名為“中國農業機械化科學研究院呼和浩特分院有限公司”。