• 爬虫模块

  • node-crawler 爬虫框架
  • jsdom（node版本的jQuery）类库
  • superagent 是用来发起请求的，是一个轻量的,渐进式的ajax
  • superagent-charset防止爬取下来的数据乱码，更改字符格式
  • cheerio为服务器特别定制的，快速、灵活、实施的jQuery核心实现.。
  • request

• 常用函数

  • URL编码函数——encodeURI()