根据历史记载和小说《三国演义》的描述，刘繇的兵马数量存在不同说法，需结合史实与文学加工综合分析：

正史记载

《三国志·刘繇传》提到，刘繇为扬州牧时，驻守豫章（今江西南昌），拥有“万余人”。另有记载其麾下的寿春、合肥等据点共管辖“十万大军”，但此说法可能夸大其词或混淆了不同人物的兵力。

小说《三国演义》描述

孙策攻打刘繇时，双方军队规模存在显著差异。小说中刘繇以“万余人”对抗孙策的“百万之兵”，并成功坚守牛渚、豫章等地。但后续孙策通过诈死等计谋，最终以少胜多击败刘繇，俘虏其部将于糜、樊能等。

综合分析

- 正史中刘繇的兵力可能以“万余人”为主流描述，但具体数字难以精确考证。

- 小说为了增强戏剧性，可能对兵力进行了夸张处理，将刘繇的军队描绘得远超实际。

建议以《三国志》等正史文献作为主要参考，其记载的“万余人”更符合历史研究的严谨性。