安徽合肥人。1954年生，朦朧詩代表詩人。自1984年被工廠除名后，一直靠階段性的打工為生。他前后曾從事過車間操作工、綠化工、電臺編輯、雜志編輯、計劃生育宣傳干部、廣告公司策劃等多種職業。1972年開始詩歌創作，他的詩《中國，我的鑰匙丟了》《雪白的墻》被列為新時期朦朧詩代表詩作。1991年加入中國作家協會。詩作被選入高中教材。
著有詩集《少女軍鼓隊》（中國文聯1986年版），思想隨筆集《獨自成俑》（天津社科2001年版）《地主研究》（文化藝術出版社2001年版）《梁小斌如是說》（即出）。詩歌《中國，我的鑰匙丟了》、《雪白的墻》選入《百年中國文學經典》。《雪白的墻》(選入高中語文教材)獲1982年全國中青年詩人優秀新詩獎。
2005年中央電視臺新年新詩會上，梁小斌被評為年度推薦詩人。
推薦語中這么寫到：
“詩人梁小斌，一個磨難時代的詩歌童話，他堅韌而堅強地持續寫作，在生活的邊緣依然把詩歌完全融入了生命的狀態。
新時期文學啟蒙時這位詩人堅實、清澈、透明而深邃的詩句，在中國所有城市的曠野呼嘯而過，他樸素而寓意深切的詩歌依然影響著現在的人們。
梁小斌詩歌中蘊涵的深情和智慧，是近15年來漢語寫作歷程一個多棱面的見證，更難得可貴的是，這樣冰塊一樣生活著的詩人，通過自己臥薪嘗膽的努力，恢復或說綿延著一種純粹、高貴的文學理想：以透明消解陰晦，以深沉埋葬淺薄，以少戰勝多。”