臧霸之父臧戒为县狱掾，因据守律法不听从太守凭欲私杀狱犯。太守大怒，令人收押戒诣府备罪。时年十八的臧霸获悉父亲被押囚，召集食客十数人前往费县西山将父亲救出，时押送役卒百余人，都因惧怕臧霸的健勇而窜逃。此后，臧霸与父亲逃亡东海。经此事迹，臧霸的孝烈勇名遍闻乡野。

    黄巾起义时，臧霸从属陶谦，击破贼众，拜为骑都尉。后来臧霸收兵于徐州，与孙观、吴敦、尹礼等聚合军众，臧霸为统帅，屯于开阳一带，自成一方霸主。 [2]

    火凤燎原里的臧霸 [3]

    建安二年（197年），臧霸到莒县袭击琅邪国相萧建，攻陷莒县，得到萧建的辎重。吕布之前与萧建结交，得知此事后，亲自率步骑前往攻打莒城。吕布手下的高顺劝道：“将军亲自斩杀董卓，威震戎狄，只需安坐顾盼，远近各处便会畏服。实在不应该轻易出兵，如果交战失利，将军的威望就会损失不小。”吕布不听。臧霸担心吕布抄掠骚扰，就登城拒守，臧霸军射出药箭，击中吕布军的人马。吕布不能攻克，只得引军退回下邳。后来，臧霸与吕布和解。

    另一说，臧霸攻克莒县后，答应送给吕布财币用来结交，但还没有送到，吕布就亲自前去索取。吕布的部将高顺劝阻吕布说：“将军威名远扬，远近畏惧，想要什么会要不到，何必自己去索取财物！万一不成，岂不损害威名吗！”吕布不听。吕布到莒县后，臧霸等不知吕布的来意，坚守城池，抵御吕布，吕布空手而归。 [50]

    建安三年（198年），吕布击破刘备，臧霸等泰山诸将与吕布联合。曹操讨伐吕布时，臧霸等带兵往助吕布。吕布被擒后，臧霸隐身匿藏，然而曹操点名搜索，寻得臧霸，一见之下大悦，便使臧霸招降吴敦、尹礼、孙观、孙观之兄孙康等，往见曹操。曹操厚待臧霸等人，割青、徐二州委任于臧霸，又分琅邪、东海、北海设城阳、利城、昌虑三郡，以臧霸为琅邪相，吴敦为利城太守、尹礼为东莞太守、孙观为北海相、孙康为城阳太守。

    当初曹操在兖州时，以徐翕、毛晖二人为将。兖州乱起，徐、毛二人皆叛。后来兖州之乱平定后，徐、毛亡命出逃投靠臧霸。 [6]

    建安四年（199年），曹操命刘备起行往见臧霸，并命臧霸奉上二人首级。臧霸便向刘备说：“以前我之所以能自立一方，是因为我不会做这种事。我受曹公的存命之恩，不敢违其命令。不过有意于王霸之道的君主应该以义相告，不宜威迫，愿将军为我辞却这个命令。”刘备便以臧霸所言告诉曹操，曹操叹息地向臧霸道：“这是古人仁德之事，而你能够加以奉行，这也正是孤之所愿。”于是皆以徐、毛二人为郡守。 [6]

    八月，曹操进军黎阳，令臧霸等人率军进入青州，攻破齐国、北海、东安。 [54]

    官渡之战，曹操与袁绍相拒，而臧霸数以精兵投入青州，所以曹操不用顾念东方之事，能专心应付袁绍。

    建安十年（205年），曹操破袁谭于南皮，臧霸等前往祝贺。臧霸便求遣子弟及诸将之父兄家属前往邺城，曹操道：“诸位忠心报国，但何必要如此来表现呢。昔日萧何派遣子弟入侍，而汉高祖没有拒绝，耿纯焚烧自己的房子、马车追随，而光武帝没有辜负他的好意，现在我又怎么好改变前人的做法呢！”当时东州扰攘不止，而臧霸等执正匡义，征暴伐虐，清定海岱，其功莫大，于是皆封列侯。臧霸因功拜为都亭侯，加威虏将军。 [8]

    建安十一年（206年），臧霸与于禁讨昌豨于东海，昌豨降，为于禁引用法令所诛。

    建安十二年（207年），与夏侯渊讨黄巾余贼徐和等，再算上前讨昌豨之功劳，迁为徐州刺史。沛国人武周时为下邳令，臧霸敬重武周，认为他与众不同，常亲自到其舍作客。后来武周部下从事总詷不遵守法令，武周得悉他的罪状，便将总詷收押拷问（而未徇私），臧霸因此更加善待武周。