小磨香油的原料是芝麻。芝麻既称这种植物，又称这种植物的种子。芝麻富含油脂，故称“脂麻”；芝麻原产自非洲，相传汉代张骞在西域得其种，故称“胡麻”。晋石勒时讳“胡”字，改为芝麻。芝麻榨油技术是芝麻传入中国后开始的。
文安的小磨香油当然也和芝麻的种植有直接关系。不过，文安种植芝麻的历史，明代以前没有记载，至明末创修《文安县志》才有记载。文安人对芝麻情有独钟，“要发家，芝麻瓜”的民谣流传已久。民国9年（公元1920年），城内辟有芝麻交易场所——芝麻行。《河北通志稿》记载文安造油业作坊的户数：民国21年（公元1932年）50家、22年48家、23年51家。在这些户数中，估计小磨香油至少占一半。
据小磨香油世家在世人薪火相传的回忆，文安最早的（是回忆中最早的，实际不一定是最早的）香油坊是县城东关外姓马的大户人家开的。清光绪年间，吉村农民张树春在这家当长工，经常到香油坊打杂、帮忙，慢慢学会了小磨香油的技术。光绪十八年（公元1892年），张树春回到老家，自己开了一家香油坊。后来，他儿子张恩荣又接着干。到第三代张学增，社会1，香油坊时开时关。人民公社化后，生产队办副业，张学增又为生产队开香油坊。第四代张法明、张法信、张法光也各自在生产队开办香油坊。直到张永强、张永良、张同喜，共计五代世家。第五代遇上改革开放时期，香油坊又重新由个人开办，张永强、张永良两家迁移到县城蔬菜市场西侧，张同喜仍留在本村。吉村另一家香油坊是光绪二十一年（公元1895年）村民王汝从开办的。第二代王树德经历了自家开办和生产队办两个阶段。第三代王鸿起仍在生产队干，直到1981年又自家开办。第四代王国祥赶上改革开放的好时代，工艺不断改进，规模不断扩大。1995年建立了廊坊利珠粮油食品有限公司，厂址迁至黄甫农场食品工业园内，改作坊为工厂，成为这一行业的佼佼者。王家务村香油坊开办时间也较早，据张树芝老人回忆，第一家香油坊是民国13年（公元1924年）张万香开办的。其子张洪皂继承父业，到人民公社化后，张洪皂又为生产队开香油房。在生产队里，他带出了一批小磨香油的技术人员。至今，该村仍有5家香油坊。此外，东关、冯郭、郭辛庄、留郡、大叩皂、阜安、边王赵、马庄等村庄的香油坊开办时间也较早，这里就不一一介绍了。
纵观文安小磨香油的发展历史，清代及其以前没有文字记载，民国至中华人民共和国建立初期约有20余家，人民公社化期间，生产队共办香油坊100余家，这些香油房规模都很小，一般每家每天仅磨芝麻50斤，甚至有的两天磨50斤芝麻。香油坊由个人开办后，在改革开放的大潮中，尤其是进入20世纪90年代，“你方唱罢我登场”，香油坊时增时减。进入21世纪，香油坊基本上趋于稳定，大约80余家，其中城内(防洪堤内)8家，城外70余家，分布在县域各地。这些香油坊的数量比生产队时虽然减少了，但每家的规模都扩大了。至2005年，每家香油坊都实现了机械化，生产能力大大增强，廊坊利珠粮油食品有限公司发展最快，已成为拥有一整套生产流水线的现代工业。