[广州][15k-20k] 高级爬虫工程师
1

岗位职责:

和初创团队开始进行一款跨境电商SAAS工具的研发(类似junglescout);

熟悉scrapy+scrapy-redis组件来实现增量式及分布式爬虫,对跨境电商网站(多国家站点)进行大规模爬取后存入mongoDB;

实现异步多任务爬取,每日数据爬取量过百万条;

熟悉处理网站的各种反爬(验证码、代理池等);

实现百万级数据量的不间断爬取及过滤。

任职要求:

有3年以上大量数据的爬取开发经验,有BI项目经验者优先

熟悉xpath、RE、str方法对数据进行抽取与清洗

熟悉redis及mongoDB数据的存入

良好的编码能力、良好的学习能力、分析问题解决问题的能力;

《L01 基础入门》
我们将带你从零开发一个项目并部署到线上,本课程教授 Web 开发中专业、实用的技能,如 Git 工作流、Laravel Mix 前端工作流等。
《L02 从零构建论坛系统》
以构建论坛项目 LaraBBS 为线索,展开对 Laravel 框架的全面学习。应用程序架构思路贴近 Laravel 框架的设计哲学。
讨论数量: 1
select_and_action

nice

2个月前

  • 请注意单词拼写,以及中英文排版,参考此页
  • 支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`, 更多语法请见这里 Markdown 语法
  • 支持表情,使用方法请见 Emoji 自动补全来咯,可用的 Emoji 请见 :metal: :point_right: Emoji 列表 :star: :sparkles:
  • 上传图片, 支持拖拽和剪切板黏贴上传, 格式限制 - jpg, png, gif
  • 发布框支持本地存储功能,会在内容变更时保存,「提交」按钮点击时清空
  请勿发布不友善或者负能量的内容。与人为善,比聪明更重要!