王麓水是江西萍乡人，高小毕业后上了师范学校，在师范学校加入共青团，1929年参加红军，是从战士、班长、排长一路提升起来的红军战将。

红军改编前，王麓水任红二师红五团政委，改编后当了很短一段时间的685团二营教导员，部队渡河到山西侯马，由于685团团长黄永胜和政训处主任邓华不和，115师调整685团领导，黄永胜被调到红一师改编的杨成武独立团任副团长，红二师老师长杨得志从抗大二期回来