1398年生于杭州钱塘（今浙江杭州），字廷益，号节庵。少年读书吴山三茅观，勤学不辍；相传见石灰窑煅烧，口占"粉骨碎身浑不怕，要留清白在人间"。永乐十九年（1421）进士及第，步入仕途。宣德初任御史，巡按江西，昭雪冤狱数百起（事见《明史·于谦传》），清正锋芒初露。

宣德五年（1430）以兵部右侍郎衔巡抚山西、河南，前后十九年。轻骑遍历州县，延访民隐，赈灾荒、修堤防、树屏障，两省百姓呼为"于青天"。每逢入京议事，不携土物，自咏"清风两袖朝天去"（入京不携土物，时人为语"两袖清风"）——成语"两袖清风"由此得名。

正统十四年（1449）土木堡之变，英宗被俘，京师精锐尽丧，南迁之议蜂起。于谦厉声曰："言南迁者，可斩也！"拥立景帝，任兵部尚书，总督军务；十月也先挟英宗进逼北京，于谦列阵九门、身先士卒，分遣石亨等诸将拒战，五日激战击退也先（事见《明史》），是为北京保卫战。论功加少保，人称"救时宰相"。

景泰八年正月，景帝病重，石亨、徐有贞、曹吉祥发动"夺门之变"，英宗复辟。徐有贞进言"不杀于谦，此举为无名"，遂以"意欲"二字成狱——"虽无显迹，意有之"（狱词见《明史》），于谦从容就刑，天下冤之。抄家时"家无余资"，唯正室锁钥甚固，启视，皆御赐蟒衣剑器而已（《明史》："家无余资"）。

于谦遇害后归葬杭州西湖三台山。成化初昭雪复官；弘治初追谥肃愍，万历中改谥忠肃（追谥忠肃）。杭人立祠祀之，与岳飞、张煌言后先辉映，并称"西湖三杰"（后并称）；今杭州于谦墓、于谦祠犹存（今存杭州于谦墓·于谦祠）。诗存《于忠肃集》，存诗六百余首，质朴刚健，如其人。