数据采集工程师(高级)
深圳市世联土地房地产评估有限公司武汉分公司
- 公司规模:50-150人
- 公司性质:民营公司
- 公司行业:房地产
职位信息
- 发布日期:2021-01-14
- 工作地点:武汉-洪山区
- 招聘人数:1人
- 工作经验:3-4年经验
- 学历要求:大专
- 职位月薪:0.9-1.1万/月
- 职位类别:数据采集工程师 数据分析师
职位描述
1、 工作职责:
1、企业数据采集、备份、数据存储计算等项目规划和设计工作
2、根据项目需求,运用成熟的软件工具或自行开发脚本对上游数据进行抓取、去重、清洗和入库等工作;
3、负责处理项目反馈的数据问题,保证数据质量和精准度;
4、负责数据质量检测,保障数据准确性、完整性与实时性;
5、建立数据采集规范管理流程及日常数据采集保障制度;
6、管理采集团队、合理分配团队成员任务、验收其成果;
2.任职要求:
1、精通python语言,三年及以上网络爬虫开发工作经验,大学本科及以上学历;
2、精通爬虫框架Scrapy,熟悉Middleware、Pipeline等模块的实现原理和开发流程,有Scrapy实际项目开发维护经验,有分布式爬虫经验者优先;
3、精通解决常见的如IP反爬、浏览器反爬、字体加密、cookie验证、验证码识别等问题,有手机APP抓取经验;
4、精通爬取包requests、Selenium、webDriver,Splash等,熟悉json数据处理;
5、精通xpath语法,熟悉html、css、Javascript等前端语法,有js逆向解析经验者优先;
6、精通正则表达式,能熟练抽取各种结构化或非结构化数据;
7、熟悉Mysql、MongoDB、Redis等常用数据库, 熟悉SQL语法,有pandas经验者优先;
8、熟悉至少Flask、Django等常用python web框架中的一个;
9、请勿过度包装简历,如实填写,节约彼此时间。
公司介绍
1993年始创设于深圳,现总部设立于深圳,下设广州、东莞、佛山、武汉、成都、重庆、上海、杭州、南京、北京、天津、青岛共十二家分公司,并成立了世联策略、华房数据两家子公司及世联资产等关联公司。凭借长期的专业积累,世联评估建立了强大的估价信息数据平台和资深专业技术团队,为政府、金融与投资机构、工商、企业、法院及私人业主提供物业评估、项目评估、可行性研究、土地招投标和房地产投资咨询、评估审核等多元化的专业评估服务。
联系方式
- 公司地址:武汉市洪山区岳家嘴德成国贸中心B座21楼2105-2111