張蒼是陽武人， 喜好讀書，擅長律歷。 秦朝時在御史手下做事，負責整理地方的上奏文書。 後來因為犯罪， 逃回鄉里。 劉邦起事攻佔陽武， 張蒼就跟隨了劉邦。 後來張蒼犯了當死的罪， 被脫去衣服斬首， 露出一身的腱子白肉， 被大臣王陵看見， 以為他是白富帥美男子， 為他在劉邦面前求情， 放了他一馬。 後了劉邦到了漢中，又還定三秦。 這時候，陳餘在趙國反叛劉邦，打跑了常山王張耳， 張耳逃回了漢中， 劉邦乃命張蒼為常山太守， 跟隨淮陰侯韓信攻打趙國， 張蒼俘獲了陳餘， 平定了趙國， 劉邦於是任命張蒼為趙國代理丞相，保衛邊境。 後來又升任趙國丞相，幫助趙王張耳。 張耳死後，繼續輔佐趙王敖，後來轉任代國丞相。 張蒼因為參與平定燕王的叛亂有功， 被封為北平侯。

張蒼後來被調任為漢朝的CFO， 負責地方的稅賦，當時蕭何做漢朝的CEO， 蕭何認為張蒼有秦朝的從業經歷，又精通文書，律歷，是個難得的人才，就安排張蒼在相府負責國家和地方的統計工作。 後來劉邦任命兒子劉長為淮南王， 派張蒼輔佐他，再後來又調他回朝擔任御史大夫。

張蒼參與周勃等人平定諸呂大叛亂，以及立代王為孝文皇帝。 四年後，丞相灌嬰死了， 張蒼接續為相。 自從漢朝建立到孝文帝的二十幾年中， 局勢剛剛穩定， 當時朝中的官員都是由軍中的官員擔任， 到了張蒼為相時， 充分發揮了他的文官特長， 他為漢朝制定了音律和歷法。 確定漢朝的國色為黑色， 同時也制定了度量標準。 漢代人稱張蒼為音律和歷法的創始人。 

劉邦的開國元勳安國侯王陵， 因為救過張蒼的命，所以張蒼發達之後， 如同父親一樣孝敬他。 王陵病逝後， 張蒼身為丞相， 每次休假，都先去探望王陵的夫人， 親自伺候老人家吃飯，然後才回自己的府第。 

張蒼為丞相十年後， 魯人公孫臣上書說： 按照五行推斷， 漢朝為土德， 應該有黃龍出現的徵兆， 皇上就把這件事交給張蒼處理，張蒼認為公孫臣的說法不對， 但是後來在成紀縣果然出現了黃龍， 於是孝文帝召公孫臣為博士， 命他修改歷法， 改紀元， 張蒼也因此自貶，常託病不朝。 後來張蒼推薦某人為官，但是此人到任後為非作歹， 張蒼也為此被皇上斥責， 張蒼於是請求免去丞相之職， 張蒼一共做了十五年的丞相。

張蒼的父親身高不足五尺， 而張蒼身高八尺，官拜丞相， 張蒼的兒子比張蒼還要高， 繼承了他的爵位，但是到他的孫子，身高只有六尺， 因為犯法被剝奪了侯爵之位。 （司馬老先生是不是說：身高和身份有些關聯）。 張蒼免去相位之後，回家養老， 牙齒脫落， 以吃人乳為生， 他有妻妾過百， 但是凡是懷過孕的就不再與其同房。張蒼活了一百多歲，孝景帝五年，病逝。