開国により近代港都として誕生した神戸は、六甲山系南麓の狭隘な扇状地群に立地しており水利に乏しかったが、近代水道の創設によりKobe Waterの名声を得て、国際港都としての発展をとげた。
創設水道の烏原水源地の堰堤として1905年5月竣工。水道専用ダムとしては、わが国で第4番目にあたる。
総高33.33メートル、堤長122.42メートル、有効貯水容量1,315,139立方メートル、曲線重力式ダムで表面張石粗石モルタル積で、堰堤中央上部に四連アーチの余水吐を設け、取水塔には古典的な装飾が施され、入り口には扁額「養而不窮」の文字がある。
設計は佐野藤次郎。同じ神戸市創設水道の布引水源池の五本松堰堤の漏水に苦しんだ佐野はインドへ堰堤調査に出かけ、その成果を立ヶ畑堰堤に注いだ。
一部基礎岩盤にグラウチング、モルタルの砂分にスキル(下等煉瓦を粉砕して0.15mmフルイを通過したもの)を添加してモルタルの水密性を高めるなど、漏水対策が採用されている。
また、日本で初めて集落立ち退きをして建設したダムであり、また、日本で初めて土砂バイパスの工夫をしたダムである。