ホウキは、古くは実用的なお掃除道具ということ以上に、神聖なものとして考えられており、箒神（ははきがみ）という産神（うぐがみ、出産に関係のある神様）が宿ると言われていました。
日本最古の書物『古事記（712年 奈良時代）』には、「玉箒」や「帚持（ははきもち）」という言葉で表現されており、実用的な道具としてではなく、祭祀用の道具として登場しています。

実用的な道具として、ホウキに近い形で歴史に登場したのは平安時代で、宮中で年末に一年の煤を払うすす払いの道具として使われていますが、鎌倉時代になると、禅宗ともつながり、修行の一環として掃き掃除に使われるホウキが紹介されています。
室町時代になると、ホウキ売りという職業が生まれており、広くホウキが使われるようになったことがうかがえます。

時代が下り、江戸時代になると棕櫚箒（しゅろほうき）と竹ホウキがよく使われていたようです。
棕櫚職人が江戸・大阪に現れ、ホウキを編み上げていました。
棕櫚ホウキが普及した背景には板間が広まったことがあります（毛先が柔らかく、しなやかな棕櫚は板間の掃除に適していました）。

明治維新を迎え、明治40年前後に初めて純外国産の繊維を利用した赤シダホウキが開発されます。
赤シダホウキの繊維は、パルミラ（インド・スリランカが主な生産地）の木の葉柄部分から繊維を取り出し作られています（主には土間や庭先を掃いていたようです）。
赤シダホウキが作られた背景には、棕櫚ホウキの需要に供給が追い付かず、その新たな供給先を海外に求めたことにありますが、この赤シダホウキの登場が棕櫚の衰退につながってしまいます。

戦後の昭和30年代以降はプラスティックが急速に広がり、プラスティックの穂を使った化繊ホウキが作られ、昭和48年（1973年）には、インドネシアを原産とする黒シダホウキ（ベランダや玄関を掃くのによく使われています）が開発されるなど、次々に新たな繊維を用いたホウキが作られるようになりました。

ちょうどその頃、日本の流通が大きく変わり、全国展開する小売業が登場し、それまで各地の特色があったホウキの多くが淘汰され、全国展開に乗ったホウキが市場を席巻しました。
これに伴い、販売量も格段に上がり、生産も海外へ移行され、日本でホウキを生産している方はごくわずかとなっているのが現状です。

また、住宅構造の変化がホウキの歴史に与えた影響も見逃せません。
板間から畳に移行する段階では座敷ホウキが生まれ、土間から玄関に代わる段階で黒シダホウキが生まれるなど、それぞれの環境に合うホウキが求められてきています。
そして、掃除機の登場、これによりお掃除そのものが大きく変わり、お掃除の「主」であったホウキが、「従」に代わり現在に至っています（掃除機でしない箇所または場面のお掃除にホウキが使われています）。