高柔，字文惠，是陈留郡圉县人。他的父亲高靖，曾担任蜀郡都尉。据《陈留耆旧传》记载，高靖的高祖父高固，在王莽时期不愿做官，后来被淮阳太守杀害，以烈节闻名。高固的儿子高慎，字孝甫，为人敦厚，不善言辞，但性格深沉稳重。他抚养了五个孤兄的儿子，对他们恩义深厚。琅邪相何英非常赞赏他的品行，把自己的女儿嫁给了他。何英就是车骑将军何熙的父亲。高慎历任两个县的县令和东莱太守。他年老病退回家后，家里只有草屋和蓬门，瓮里缶里都没有积蓄。他的妻子对他说：“你做了这么多年的官，怎么就不能为子孙留下一点积蓄呢？”高慎回答说：“我以勤奋和清廉为子孙打下基础，给他们留下二千石的官职，难道还不够吗？”他的儿子高式，非常孝顺，总是尽力供养父母。永初年间，螟蝗成灾，唯独没有吃高式的麦子，圉县县令周强把这件事上报给州郡。太守杨舜推举高式为孝子，但他谦让没有接受。后来，高式因孝廉被任命为郎官。他的次子高昌，高昌的弟弟高赐，都担任过刺史、郡守。高式的儿子高弘，也是孝廉。高弘生了高靖。
高柔留在家乡，对乡亲们说：“现在英雄纷纷崛起，陈留郡是个四战之地。曹操将军虽然占据了兖州，但他有统一天下的志向，不会安心坐守。而张邈已经在陈留得志，我担心他可能会趁机制造变乱，我想和大家避开他。”但大家都认为张邈和曹操关系很好，而且高柔还年轻，所以不认同他的话。高柔的堂兄高干，是袁绍的外甥。据谢承的《后汉书》记载，高干，字元才，才华横溢，文武双全。他的父亲高躬曾是蜀郡太守，祖父高赐是司隶校尉。根据《陈留耆旧传》和《后汉书》的记载，高干应该是高柔的堂父，而不是堂兄，不知道哪里出了错。当时，高干在河北召唤高柔，高柔就带着全族人跟随他去了。正巧高靖在西州去世，当时道路艰险，盗贼横行，但高柔还是冒着危险去蜀地迎接父亲的灵柩，历经千辛万苦，尝尽了各种艰难困苦，三年后才回来。
曹操平定袁氏后，任命高柔为菅县长。县里的人早就听说过他的名声，有几个奸诈的官吏，都自动辞职离开了。高柔发布命令说：“过去邴吉治理政事时，官吏犯了错误，他还尚且能够宽容他们。何况这些官吏对我并没有什么过失呢！应该把他们召回来。”那些官吏都回来了，他们都自我勉励，都成了好官。高干投降后，不久就在并州反叛。高柔主动回到曹操身边，曹操想借机杀掉他，就让他担任刺奸令史。高柔执法公正，案件没有积压，被任命为丞相仓曹属。据《魏氏春秋》记载，高柔执法公平，而且日夜勤勉不懈，甚至抱着文书睡觉。有一次，曹操深夜微服出行，观察各位官吏，看到高柔，很同情他，慢慢地脱下自己的皮衣盖在他身上，然后离开了。从此，曹操任命了他。曹操想派钟繇等人去讨伐张鲁，高柔劝谏说，现在仓促地派遣大军，西边有韩遂、马超，他们会认为是我们向他们发动攻击，将会互相煽动造反。应该先招集三辅地区，三辅地区如果平定了，汉中就可以用檄文来平定了。钟繇进入关中后，韩遂、马超等人果然反叛了。
魏国刚建立时，高柔担任尚书郎，后来又转任丞相理曹掾。曹操下令说：“治理安定的国家，以礼制为首。治理混乱的国家，以刑法为先。因此，舜把四个凶恶的家族流放，皋陶担任法官。汉高祖废除了秦朝的严酷法律，萧何制定了法律。你高柔见识清明，执法公平，熟悉法律，要好好努力啊！”鼓吹宋金等人在合肥逃亡。按照旧法，军队出征时士兵逃跑，要拷问他的妻子儿女。曹操担心这样还是不能阻止士兵逃跑，就加重了刑罚。宋金有母亲、妻子和两个弟弟都在官府服役，主管的人上奏要把他们全部杀掉。高柔启奏说：“士兵逃离军队，确实令人痛恨，但我听说他们中间有时也有后悔的。我认为应该宽恕他们的妻子儿女，一来可以使敌人不相信我们真的会杀掉他们，二来可以吸引他们回来。如果按照原来的法律，已经断绝了他们回来的希望，而现在又加重刑罚，我担心从今以后在军队里的士兵，看到一个人逃跑，就会认为自己也会被杀，也会跟着逃跑，就再也杀不到了。这种加重刑罚的做法，并不能阻止士兵逃跑，反而会促使他们逃跑。”曹操说：“好。”立即停止杀宋金的母亲和弟弟，因此而活下来的人很多。
高柔后来被升为颍川太守，不久又回到原来的位置，担任法曹掾。当时，曹操设置了校事卢洪、赵达等人，让他们监视手下官员的行为。高柔劝谏说：“设立官职，每个人都有自己的职责。现在设置校事，这与上级信任下级的原则不符。而且赵达等人多次因为个人的喜好和厌恶，擅自作威作福，应该对他们进行审查和治理。”曹操说：“你对赵达等人的了解，可能不如我。他们能够刺探和处理各种事务，如果让贤人君子去做，他们反而做不到。过去叔孙通任用群盗，也是有原因的。”后来，赵达等人的奸诈行为被揭露，曹操杀了他们，以此向高柔道歉。