因为在最近的项目中需要全国的行政区划代码数据,所以特地用脚本抓取统计局的行政区划代码数据及行政区划统计数据,本blog主要记录抓取数据时遇到的一些问题及解决方案,涉及到的技术栈主要有node.js、 es6及es7的async await异步流程控制解决方案、 request请求工具库、 cheerio服务端dom解析库和mongoose存储MongoDB;
1.服务端如何发HTTP请求?
2.服务端请求的HTML页面如何解析?
3.服务端请求的HTML页面乱码怎么解决?
4.循环太多且全部是异步,如何进行流程控制?
5.数据如何入库?