县内通用“广丰腔”，属吴方言（吴语）。祖籍闽南的有数万人，聚居在横山镇的通用闽南话（本地称“福建腔”），但散居各乡镇的一般只有少数老年人懂闽南话。北部（湖丰镇、大南镇、壶峤镇）通用“玉山腔”。东北部（管村、社后<不包括社后村及社后往广丰方向的村〉，现东阳乡）与浙江江山交界一带通用“江山腔”。这些地方的成年人大多能说“广丰腔”。据县志记载，广丰以前各有千余人说“福建麻山腔”、“南丰腔”。广丰腔（Gang Phone Kiang）属于吴语信衢支（由于江西省只有广丰县使用吴语，或属于吴语语系，其他地区属于赣鄱语系），部分词汇与吴语中心区（苏锡常片）相同，部分读音与嘉湖片相同。

现在青壮年基本上都能说普通话。