Jón fæddist í Kollafirði á Kjalarnesi þann 23. ágúst 1946. Hann var ritstjóri Tímans frá 1978 til 1981. Hann tók þá við starfi skólastjóra Samvinnuskólans á Bifröst og varð síðar rektor skólans til ársins 1991.
Jón var seðlabankastjóri á árunum 2003 til 2006. 2006 tók hann við embætti iðnaðar- og viðskiptaráðherra í ríkisstjórn Geirs H. Haarde, og gegndi því til ársins 2007. Á sama tíma og hann gegndi ráðherraembættinu var hann formaður Framsóknarflokksins.
Jón lýsti baráttu sinni við krabbameinið opinberlega og tjáði hann sig um það í heimildamyndinni Karlameini á RÚV.