生于洪州分宁（今江西修水）双井黄氏，父黄庶工诗，家学渊源。幼年警悟，读书数过便能背诵；舅父李常过其家，取架上书随机相问，无不通晓，惊叹"一日千里，未可量也"。治平四年（1067）二十二岁进士及第，调叶县尉，开始仕宦生涯。叶县任上作《清明》，"贤愚千载知谁是，满眼蓬蒿共一丘"已见瘦硬思致。

元丰元年（1078）投书苏轼，苏轼答书称其诗"超逸绝尘，独立万物之表"，自此列"苏门四学士"之首（与秦观、晁补之、张耒并称）。元祐年间与苏轼同朝唱和，切磋诗艺，声名与之相埒，世称"苏黄"。太和任上作《登快阁》，德安任上作《寄黄几复》——"桃李春风一杯酒，江湖夜雨十年灯"传诵天下。

元祐间任《神宗实录》检讨官、著作佐郎；绍圣元年（1094）新党复起，被诬修《神宗实录》"诬毁"先朝，贬涪州别驾、黔州安置，后移戎州。蜀中士子慕名从学者甚众，讲学著述不辍，诗法书艺反在困厄中愈见精深，自号"涪翁"。情感：虽处万死投荒之地而志气不堕。

建中靖国元年（1101）出蜀东归；1102年春出峡登岳阳楼，作"未到江南先一笑，岳阳楼上对君山"。未几党祸再起，罢官寓居鄂州，南楼纳凉有"清风明月无人管"之句；1103年以所书《承天院塔记》被诬"幸灾谤国"，除名编管宜州（今广西宜山）。谪所困窘，仍读书赋诗不辍，崇宁四年（1105）九月卒于宜州贬所，年六十一。

论诗标举"点铁成金、夺胎换骨"，主张"无一字无来处"而自成一家；诗风向杜甫、韩愈溯源，讲求章法句法，风格生新瘦硬，世称"山谷体"。南宋吕本中绘《江西诗社宗派图》尊其为开山之宗；方回《瀛奎律髓》定"一祖三宗"，以杜甫为祖、黄庭坚陈师道陈与义为宗；影响延及南宋一代，陆游、杨万里早年皆从江西诗派入门。