祖有旧。后为庐江太守，为孙策所破，自归太祖，封列侯，遂从在散伍议中。勋兄为豫州刺史，病亡。兄子威，又代从政。勋自恃与太祖有宿，日骄慢，数犯法，又诽谤。为李申成所白，收治，并免威官。
迁大理正。有盗官练置都厕上者，吏疑女工，收以付狱。芝曰：“夫刑罪之失，失在苛暴。今赃物先得而后讯其辞，若不胜掠，或至诬服。诬服之情，不可以折狱。且简而易从，大人之化也。不失有罪，庸世之治耳。今宥所疑，以隆易从之义，不亦可乎！”太祖从其议。历甘陵、沛、阳平太守，所在有绩。黄初中，入为河南尹，抑强扶弱，私请不行。会内官欲以事讬芝，不敢发言，因芝妻伯父董昭。昭犹惮芝，不为通。芝为教与群下曰：“盖君能设教，不能使吏必不犯也。吏能犯教，而不能使君必不闻也。夫设教而犯，君之劣也；犯教而闻，吏之祸也。君劣於上，吏祸於下，此政事所以不理也。可不各勉之哉！”於是下吏莫不自励。门下循行尝疑门幹盗簪，幹辞不符，曹执为狱。芝教曰：“凡物有相似而难分者，自非离娄，鲜能不惑。就其实然，循行何忍重惜一簪，轻伤同类乎！其寝勿问。”
明帝即位，赐爵关内侯。顷之，特进曹洪乳母当，与临汾公主侍者共事无涧神臣松之案：无涧，山名，在洛阳东北。系狱。卞太后遣黄门诣府传令，芝不通，辄敕洛阳狱考竟，而上疏曰：“诸应死罪者，皆当先表须报。前制书禁绝淫祀以正风俗，今当等所犯妖刑，辞语始定，黄门吴达诣臣，传太皇太后令。臣不敢通，惧有救护，速闻圣听，若不得已，以垂宿留。由事不早竟，是臣之罪，是以冒犯常科，辄敕县考竟，擅行刑戮，伏须诛罚。”帝手报曰：“省表，明卿至心，欲奉诏书，以权行事，是也。此乃卿奉诏之意，何谢之有？后黄门复往，慎勿通也。”芝居官十一年，数议科条所不便者。其在公卿间，直道而行。会诸王来朝，与京都人交通，坐免。
后为大司农。先是诸典农各部吏民，末作治生，以要利入。芝奏曰：“王者之治，崇本抑末，务农重谷。王制：‘无三年之储，国非其国也。’管子区言以积谷为急。方今二虏未灭，师旅不息，国家之要，惟在谷帛。武皇帝特开屯田之官，专以农桑为业。建安中，天下仓廪充实，百姓殷足。自黄初以来，听诸典农治生，各为部下之计，诚非国家大体所宜也。夫王者以海内为家，故传曰：‘百姓不足，君谁与足！’富足之田，在於不失天时而尽地力。今商旅所求，虽有加倍之显利，然於一统之计，已有不赀之损，不如垦田益一亩之收也。夫农民之事田，自正月耕种，耘锄条桑，耕熯种麦，穫刈筑场，十月乃毕。治廪系桥，运输租赋，除道理梁，墐涂室屋，以是终岁，无日不为农事也。今诸典农，各言‘留者为行者宗田计，课其力，势不得不尔。不有所废，则当素有馀力。’臣愚以为不宜复以商事杂乱，专以农桑为务，於国计为便。”明帝从之。
每上官有所召问，常先见掾史，为断其意故，教其所以答塞之状，皆如所度。芝性亮直，不矜廉隅。与宾客谈论，有不可意，便面折其短，退无异言。卒於官，家无馀财，自魏迄今为河南尹者莫及芝。
芝亡，子岐嗣，从河南丞转廷尉正，迁陈留相。梁郡有系囚，多所连及，数岁不决。诏书徙狱于岐属县，县请豫治牢具。岐曰：“今囚有数十，既巧诈难符，且已倦楚毒，其情易见。岂当复久处囹圄邪！”及囚室，诘之，皆莫敢匿诈，一朝决竟，遂超为廷尉。是时大将军爽专权，尚书何晏、邓飏等为之辅翼。南阳圭泰尝以言迕指，考系廷尉。飏讯狱，将致泰重刑。岐数飏曰：“夫枢机大臣，王室之佐，既不能辅化成德，齐美古人，而乃肆其私忿，枉论无辜。使百姓危心，非此焉在？”飏於是惭怒而退。岐终恐久获罪，以疾去官。居家未期而卒，年三十五。子肇嗣。