年轻的张合于黄巾之乱的时候应征入伍，以韩馥的军司马身份参与镇压叛乱，韩馥出让冀州后，他效力于袁绍，在攻打公孙瓒时立下不少战功，迁为宁国中郎将，被人称为河北四亭柱之一，那个时候袁绍的实力是多么雄壮？

官渡之战，张合认为曹操一定会进攻乌巢，可是袁绍听信郭图，不听张合的劝阻，派他攻打曹操军营，结果不但没攻下，缺乏救援的乌巢也被劫了。郭图将计谋失败后，诬陷张合失败后出言不逊，张合等将领惧怕被追究，于是投降了曹操。曹公对张合的投降特别高兴，亲自迎接并称“如微子去殷，韩信归汉也”，此后担任着偏将军、封都亭侯，更是成为了五子良将之一。他觉得自己遇到曹公是自己这辈子最大的造化，所以这些年一直都兢兢业业愿意为了大魏身先士卒死而后已，总觉得就算这样也不能报答曹公对自己看重的万一。

要知道张合一到曹营就颇受曹操重用，交给其部队，让他跟随自己攻打邺城，占领了邺城。张合又跟随曹操到渤海攻打袁谭，他单独率军包围了雍奴，击溃了袁军。随同曹操征讨柳城的时候，张合和张辽担任先锋，张合因为屡立战功升任平狄将军。张合还领兵征讨东莱郡，讨伐管承，还和张辽等人一起讨伐陈兰、梅成等人，大获全胜。张合跟随曹操到渭南，击溃了马超、韩遂等，又包围了安定，杨秋投降。张合、夏侯渊一起征讨盘踞在鄜城的贼寇梁兴和武都一带的氐族叛军，再次击败了马超的部队，平定了宋建统治的地区。

攻击张鲁的时候他是曹操的左右手，张鲁投降，他又被留下来协助夏侯渊镇守汉中，后来虽然失去了汉中，但他还是被留在了陈仓镇守陇右地区的咽喉之地，也算是被信任有加。

延康元年曹丕即魏王位后，任命张合为左将军，进封都乡侯爵位。等到曹丕登基之后，又进封他为鄚侯，命令张合与曹真率领兵马征伐盘踞在安定一带的卢水胡人和东部羌人。战斗结束后，曹丕又在许昌宫召见了张合、曹真，派张合南下与夏侯尚一起进攻东吴政权的江夏郡，张合独自率领几路大军渡过长江，夺取了百里洲上的吴军堡垒。

曹叡即位后，派张合来到南方，驻扎荆州，和司马懿一起进攻孙权的部将刘阿等人，大军来到祁口，与吴军激战，打败了刘阿所部。

太和二年蜀汉丞相诸葛亮大举北犯，天水、南安、安定三郡吏民叛应诸葛亮。曹叡给张合加官特进，让他总督各路军马，在街亭阻挡诸葛亮的部将马谡。

马谡依傍险要的南山扎寨，没有下山占据城池。张合断绝了他取水的道路，然後发起进攻，大败马谡。

南安、天水、安定各郡反叛魏国响应诸葛亮，张合之后领兵平定了这几处地方。