정치나 이념을 자제하고 또한 계몽적이지 않은 순수 문학을 지향했다는 평가를 받는 그는 평안북도 선천에서 출생하였고 한때 경기도 개성과 평안남도 평양에서 잠시 유아기를 보낸 적이 있으며 본관은 수안(遂安)이고 아호(雅號)넌 우서(雨西)이다.
그는 평안북도 선천의 대지주 집안에서 아버지 계항교(桂恒敎)의 1남 3녀 중 첫째로 출생하였다. 계용묵 그의 할아버지인 계창전(桂昌琠)은 조선 말기에 참봉을 지냈다. 아울러 계용묵 그에게는 이복 여동생이 3명 있었다.
1904년 9월 8일 평북 선천에서 아버지 계항교(桂恒敎)와 아버지의 총각 시절 연인이었던 진주 하씨 여인(晋州 河氏 女人) 사이에서 출생하였고 어린 시절에는 외가 집안인 진주 하씨 경기도 개성 외갓집 사저촌과 평안남도 평양 외갓집 종가에서 외조부 하재천(河載玔, 1905년 12월 하세)과 둘째 외숙부 하원(河洹, 1906년 6월 하세)의 호적에 올라 하태용(河泰鏞)이라는 이름을 받았다가 외조부(外祖父)와 외중부(外仲父, 둘째 외숙부)가 별세하고 생모 진주 하씨 여인마저 경기도 개성 여관주점에서 부점주로 일하다가 1908년 1월 16일에 끝내 병사하자 우여곡절(迂餘曲折) 끝에 생부 계항교(桂恒敎)의 평안북도 선천 친가 가노들에게 평안남도 평양에서 포섭되어 1908년 2월에 평안북도 선천 향리로 재귀향하게 되는데 그 사이에 생부 계항교(桂恒敎)는 1906년 3월에 죽산 박씨(竹山 朴氏) 부인과 이미 정식 결혼을 하고 난지 두 해 남짓이 지났고 아직 다섯살박이였던 계용묵이 1908년 2월 29일, 평안북도 선천 귀향 당시 생부 계항교(桂恒敎)와 계모 죽산 박씨(竹山 朴氏) 부인 사이에 출생한 생후 6개월 이복 누이동생 1명도 있었다. 하여 1908년 2월 29일을 기하면서 다섯살바기 계용묵은 하태용(河泰鏞) 아닌 계용묵(桂鎔默)으로 다시 불리며 평안북도 선천 향리 본가에서 자라났다. 그 후로 아버지 계항교(桂恒敎)는 계모 죽산 박씨(竹山 朴氏) 부인 사이에 2녀(두 딸)를 더 얻으면서 계용묵(桂鎔默)은 모두 이복 누이동생 3명을 보았고 한편 1911년 평안북도 선천 삼봉보통학교 입학을 하였다.
1917년 삼봉보통학교를 졸업한 그는 서울로 상경하여 휘문고등보통학교를 다녔지만, 그 당시 아직도 보수적 성향이던 할아버지 계창전(桂昌琠)에 의해 강제로 고향에 끌려갔다. 성인이 된 뒤 그는 청년기에는 가난과 질병으로 고통받았다. 뒤늦게 일본으로 유학, 도요 대학교 철학과를 다니기도 했다.
1920년 《새소리》라는 소년 잡지에 《글방이 깨어져》라는 습작 소설을 발표하여 소설가로 첫 등단하였고 1925년 《생장》이라는 잡지에 《부처님 검님 봄이 왔네》라는 시를 발표하여 시인으로 등단하였으며 1927년 《상환》을 《조선문단》에 발표하여 본격적으로 소설가로 등단하였다.
《최서방》, 《인두지주》 등 현실적이고 경향적인 작품을 발표하였으나 이후 약 10여년 가까이 절필하였다. 한때 그는 조선일보사에 입사하여 기자로 활동하기도 했다. 1935년 인간의 애욕과 물욕을 그린 《백치 아다다》를 발표하면서부터 순수문학을 지향하였고 1942년 수필가로도 등단하였다. 비교적 작품을 많이 발표하지는 않았지만, 묘사가 정교하여 단편 소설에서는 압축된 정교미를 잘 보여주었다. 대표작으로 《병풍 속에 그린 닭》, 《상아탑》 등이 있다.
현대문학에 《설수집》을 연재하던 도중 1961년 8월 9일 서울특별시 성북구 정릉동 정릉재건주택 85호 자택에서 위암으로 인하여 사망하였다. 현재 망우리묘지에 안장되어 있다.
