曹操在兖州时，曾亲帅大军东征徐州，不想陈宫策动张邈在背后反叛，还把吕布迎接过来，曹操不得不停止了徐州战事。陈宫的背叛和吕布的到来，不仅仅是抄了曹操的后路，还策动了兖州的郡县反叛，要不是荀彧等人坚守着鄄城等三座城池，曹操几乎要没有立足之地了。在这些响应陈宫的人中有两个将军，叫做徐翕（音：xi）和毛晖，等到曹操平定了兖州，两人逃跑投奔了臧霸。也是命运捉弄，这个臧霸后来归属了曹操，而曹操命令臧霸将两人杀了，并让他把首级送来。
兖州的丢失几乎让曹操无家可归，从而退出诸侯争霸，因此对于背叛者的愤恨可想而知，然而，臧霸却并没有执行这道命令，而曹操竟然还容忍了他！这究竟是怎么一回事呢？
臧霸字宣高，泰山郡华县（今山东费县境内）人。年轻时就以勇敢雄壮出名。黄巾军起义后，臧霸跟随陶谦击败黄巾军，被授予骑都尉的官职。有了这一职位，臧霸可以公开到徐州征兵，和孙观、吴敦、尹礼等一起聚众起事，臧霸自任统帅，驻扎在开阳（今山东临沂地区）。曹操讨伐吕布时，臧霸等率兵帮助吕布。曹操擒获吕布以后，臧霸隐藏起来。曹操募人抓获了臧霸，见到臧霸很喜欢他，让臧霸叫来吴敦、尹礼、孙观、孙观的哥哥孙康等人，一起前来相见。曹操以臧霸为琅邪相，吴敦为利城太守、尹礼为东莞太守、孙观为北海太守、孙康为城阳太守，又划出青、徐二州，委任臧霸管理。曹操驻扎在兖州的部队，以徐翕、毛晖为统帅。吕布进驻兖州时，兖州各郡县发生骚乱，徐翕、毛晖都反叛曹操。后来兖州平定，徐翕、毛晖逃命投奔臧霸。曹操让刘备转告臧霸送来二人的脑袋。臧霸对刘备说：“我之所以能够自立，就是因为不做这种事。我受过曹公的救命之恩，不敢违背曹公的命令。但曹公是想成就大业的君主，可以用合乎大义的言辞来回复他，希望将军替我善言转达。”刘备便把臧霸的话告诉曹操，曹操很感慨，对臧霸说：“这是古人做的事而你能实行，这也是我的愿望啊！就任命徐翕、毛晖为郡太守。
曹操认可了臧霸的做法，收到了非常大的回报。史书说：“当时曹操正和袁绍对峙，臧霸几次率精兵攻人青州，所以曹操才能专心对付袁绍。不惦念东方的安危。”在这个时候，善于战阵的将军都到了官渡前线，这种守土防敌的任务，臧霸有非常大的优势。当时袁谭为青州刺史，具有相当的势力，有了臧霸的牵制，曹操才不用担心来自青州的危害。
臧霸还是个忠诚之人。曹操在南皮打败袁谭，臧霸等聚会祝贺。臧霸乘机请求让自己的子弟和诸将父兄家属到邺地来，有点儿自送人质，也就是甘为属下表忠心的意思。曹操虽然说了臧霸等人像汉高祖时期的萧何、光武帝时代的耿纯，好像是无奈改变这一做法，但应该说心里是非常满意的。后来东州发生骚乱，臧霸等人因为平定海滨泰山一带的叛乱有功，和参战诸将一道被封侯，臧霸为都亭侯，加官威虏将军。再后来和于禁讨伐昌狶，和夏侯渊讨伐黄巾军余部徐和等，都立有战功，升任为徐州刺史。
臧霸有作为大将独当一面的军事能力。
张辽讨伐陈兰时，臧霸和于禁征讨梅成。由于于禁中了梅成的伪降计，使他得以率领三千余众逃进灊（音：qian）山和陈兰汇合。曹操调臧霸到皖，讨伐吴将韩当，使孙权不能分兵去救陈兰。韩当派兵迎战臧霸，双方在逢龙交锋，韩当又派兵到夹石截击臧霸，都被臧霸打败。臧霸回师驻守舒县。孙权派数万人乘船驻守舒口，想分兵解救陈兰，听说臧霸的军队驻扎在舒县，就赶紧撤兵逃走。臧霸连夜追击敌人，等到天亮，已行程一百多里，截住吴军后，立即发动前后夹击。吴军情况窘迫，来不及上船，很多人慌忙跳水逃走。因此吴军不能及时救援陈兰，陈兰、梅成被张辽斩杀。
臧霸还是一个了解曹操为人的将领。
建安十八年（公元213），臧霸跟随曹操到濡须口讨伐孙权，和张辽一道任先锋。行军路上遇大雨，前锋军先于大军到达，见江水暴涨，而敌人的船只又逐渐靠近，将士们都因害怕而不安。张辽想撤退，臧霸阻止他，说：“曹公那么英明的一个人，深知利害所在，难道会丢弃我们吗？”第二天果然有撤退命令下达。张辽到曹操大营后，把情况汇报给曹操。曹操很赞赏臧霸，授扬威将军，持节。后来孙权乞求投降，曹操退兵，留下臧霸和夏侯惇等驻守居巢。
文帝即王位后，升镇东将军，进爵为武安乡侯，总领青州军事。等到文帝即帝位，进封为开阳侯，转封良成侯。和曹休讨伐吴国，在洞浦打败了吕范，征召进京任执金吾，加官位为特进。每遇有军事，文帝常向臧霸咨询情况。魏明帝时期臧霸去世，谥号为威侯。
臧霸为什么敢不执行曹操的杀叛将令呢？一是曹操这时候还不是很强大，徐州又刚刚到手，安定需要一个过程，他必须羁縻这些诸侯；二是臧霸说的比较委婉，他一方面说不敢违背曹公的命令，而另一方面又说可以用大义来回复，无非就是“不杀”两字，却说得这般曲折复杂；三是中间还有转圜余地，既然是曹操让刘备带话来，那就让刘备再带话回去好了。总起来说，臧霸敢不执行曹操的杀叛将令，当然因为他有“自立”的一番底气，但同时也反映了曹操的心胸容量。臧霸有义气不使气，曹操有怨气而不置气，在保全了俩将军性命的同时，也成就了两人各自的事业。
