成遵是南阳穰县人。幼年聪敏颖悟，每日读书记忆数千言。家境贫寒，但成遵勤奋刻苦，不废弃学业。二十岁能作文章。当时南阳地方先辈中没有研究科举的人，成遵准备考科举，因为怕作文不合规范格式而担忧。正好杨惠刚考中进士，来做穰县县尹，成遵于是抄录自己作的几十篇文章去拜见杨惠，杨惠看后非常高兴。成遵来到京师后，跟从夏镇学习，于是进入（国子监）做国子生。元统元年，成遵考中进士，授翰林国史馆编修官。至正元年，提升为太常博士。不久授任监察御史。随从（顺帝）到上京，用封章上奏，说天子应当注意日常生活，节制嗜好欲望，以保重圣体，圣体安康那么国家就安定了。言论非常急切，顺帝为之动容并称好。又奏言关于御史台的四件事，顺帝都高兴地接受了。这一年，成遵议论时事以及举发弹劾的共七十多项，全是指责抨击当时社会的弊端，执政的大臣因此憎恨他。三年，由刑部员外郎出任陕西行省员外郎。至正五年，为母亲服丧。至正十年，改任中书右司郎中。当时刑部长期查办而不能断决的案件积有数百起，成遵与同僚们分别审阅，共同议论这些案情的轻重，分别判处相应的罪名。没过多久，就没有遗留的案件了。当时有命令交纳粮食入官府可以补授官职，有人隐瞒了自己的奸恶罪行而通过交纳粮食获得七品杂流官，被仇家告发。官府议论交纳粮食补授官职的法令，并没有犯罪不授予的条文，成遵说：“卖官鬻爵，已经不是盛世该有的制度，何况又把官职卖给奸淫之人，还将用什么来治理天下 ？一定要追回给他的敕命，退还他的粮食，并将此写成法令，才行。”中书省官员听从了这一建议。至正十四年，调任武昌路总管。正逢行省官员率军出征，成遵代理行省事务，当时行省和武昌衙署中，只有成遵一人负责。于是他远设哨所，关闭城门，征发百姓当兵，得到五千多人，设置四个万夫长，分配防守四面的城门，因此防御准备得很周到，号令严肃，赏罚分明得当。贼寇战船在长江中往来游弋，但始终不敢近岸，武昌城赖此得以安宁。至正十七年，升任中书左丞。当时，太平任丞相，因为处理事情触犯了皇太子，皇太子对他极为憎恨，认为成遵和参知政事赵中都是太平的党羽。至正十九年，当权者秉承皇太子暗示的意思，唆使邓子初等人诬告成遵与参知政事赵中等六人都接受了赃物，皇太子命御史台等部门官员共同审讯他们，罗织罪名进行结案，成遵等人最终都被杖责而死，朝廷内外都为他们感到冤屈。至正二十四年，御史台官员辨明成遵等人全都是被诬陷，皇上下诏并发还原来授予他们的委任状。