上海开埠以后，由客居上海的外地人所创建的会馆、公所一般都设有丙舍，供客死的同乡寄柩，同时还设有义冢地供贫苦同乡就地落葬。义冢地最多的是广肇公所，占地538亩，潮州会馆有180亩，锡金公所有50亩。会馆、公所还承办运葬等业务。
上海解放前，客籍居民亡故后，多数要运回故土落葬。运输除铁路、公路外，大部分靠水路运。解放初期承运棺柩最多、范围较大的有安远联合运柩所，后因该所负责人亡故，各船民另立门户，成立了安远、华东、淮扬、江浙等四家运柩所。1951年间新设宁绍、宁波、永锡堂、永庆祥、苏浙皖、四明公所、中国等7家运柩所，1952年底又开设了阜扬、通商2家，前后共达13家。1960年4月，棺柩外运站全部设备和人员移交上海县交通运输管理局管理。
上海在开埠之前，墓葬之俗皆沿古风，埋葬地多为私坟、祠堂祖坟或以各种名义设立的义冢地。开埠后，外国人来沪者日增，清道光二十四年（1844年），外侨组织一公墓公司，购买海关后面一块地皮作为安葬外侨遗体棺柩之地，后又在山东路、浦东坟山码头、东新桥九庙地、八仙桥、静安寺、虹桥路等处陆续开办具有商业性的外国公墓。
清宣统元年（1909年），浙江上虞人经润山在徐家汇虹桥路购地20亩，于民国2年（1913年）辟墓穴6000余，初名薤露园。后被沪杭甬铁路占用。民国6年薤露园由经妻汪国贞西移至张虹路购地重建，名薤露园万国公墓。万国公墓是中国人开办的第一家公墓，民国23年由上海市政府卫生局接办，改称上海市立万国公墓。民国18年，天主教息焉公墓经上海市政府核准建于沪西新泾港。民国25年，佛教圆瑛法师等人出资发起创办佛教公墓，墓地建有佛堂。
上海解放后，上海市人民政府接收的有万国公墓、市立第一公墓（后改称江湾公墓），山东路公墓、浦东公墓、八仙桥公墓、静安寺公墓、虹桥公墓、番禺公墓、徐家汇公墓、卢家湾公墓等10家。解放初，上海私营公墓有100余家，后申请登记继续营业的有79家，到1952年经审批发给营业执照的有17家，共占土地1736.482亩，从业人员156人。
为积极配合市政建设，山东路公墓于1951年11月被改建成山东路体育场，即现在的黄浦体育馆。1953年3月，静安寺公墓迁葬于大场公墓，原址建成静安公园。八仙桥公墓于1957年迁至吉安公墓，原址改建为淮海公园。卢湾公墓于1959年6月拨交公用事业管理局扩建露天停车场。徐家汇公墓的土地移交给上海客车厂等单位使用。浦东公墓划出大部分土地建设浦东公园。
1964年，把土葬用地朝海滨方向发展，利用沿海围垦的滩地新建墓地，选定在奉贤县柘林镇西、沿沪杭公路以南海滨已围垦的滩地约380亩，投资11万元。建立漴缺公墓，后易名为奉南公墓。青浦朱家角的淀山湖归园（华侨公墓）开业。上个世纪80年代期间，恢复和新建的公墓有：枫泾公墓、松鹤墓园、徐泾西园、天马山公墓、仙鹤墓园、奉贤奉新公墓等。至1997年底，上海有各类公墓25所（万国公墓除外）。