乳腺的纤维瘤是一种通俗说法，其和纤维腺瘤其实是同一种疾病。在病理上，纤维腺瘤大体上表现为境界清楚、白色、卵圆形的肿物，质地像橡皮状，一般不会大于3cm，偶尔也会有比较大者，一般见于比较年轻患者。纤维腺瘤的切面一般是白色，实性，可以见到狭长裂隙，也可以有局灶钙化，纤维腺瘤的边界也比较清楚。在乳腺组织中，呈推挤性生长，并没有向周围组织的浸润。在病理诊断中，纤维腺瘤在显微镜下，上皮细胞一般是导管上皮细胞，周围有完整的肌上皮，导管上皮可以表现出多种良性和恶性改变。
良性病变比如泌乳性改变、单纯性囊肿，还有普通的导管上皮增生、大汗腺化生、硬化性腺病。极少纤维腺瘤会发生恶变，比如导管上皮发生非典型增生、非典型小叶增生，甚至导管原位癌、小叶原位癌、浸润性乳腺癌。纤维腺瘤恶变是非常少见，纤维腺瘤的间质细胞一般比较稀疏，并没有明显的异型性，也没有太明显的核分裂。年龄比较轻的患者或妊娠患者，可以见到个别核分裂，间质细胞也没有过度生长，间质一般疏松，黏液状，黏液样间质，可以把上皮成分挤压，上皮成分呈裂隙状改变。有一些年龄比较大的患者，间质成分细胞可以比较丰富，甚至出现致密的纤维化，这都是纤维腺瘤老化的表现。
间质偶尔还可以见到营养不良性的钙化，罕见情况下甚至可以出现骨化，这说明肿瘤长的时间非常长，主要是见于绝经后的女性患者。