课程作业的简单记录。

环境说明：

  • 操作系统：windows 10
  • Jdk：java 11
  • Elasticsearch 7.16.0
  • 谷歌浏览器：97.0.4692.71（正式版本） （64 位） 

一、目标：

1、淘宝抓取商品信息

2、利用抓取的信息搭建搜索引擎

二、设计方案

1、爬虫：如下，提取淘宝网页中的商品文本信息：包括商品标题['title']，价格['price']，付款人数['nums']，店铺名称['name']，店铺地址['address']，保存到csv文件中

2、本地搭建实验环境，安装ES，ElasticSearch-head插件，grunt，node环境。

参考链接：

Elasticsearch安装教程_smile in spring的博客-CSDN博客_elasticsearch安装教程

windows环境下elasticsearch安装教程(超详细) - hualess - 博客园

Elasticsearch对应jdk版本

  • 启动ES，在浏览器输入：http://localhost:9200，

  • 启动head插件：进入head文件夹下，执行grunt server

  • 浏览器访问 http://localhost:9100

3、基于python实现Elasticsearch的索引建立和数据上传

参考：基于python的Elasticsearch索引的建立和数据的上传 - zxNoral - 博客园

Python 操作 ElasticSearch - shaomine - 博客园

python 爬虫 上传elasticSearch (包括日期) - 刘莹小西瓜 - 博客园

三、完整代码及数据

已上传网盘

更多推荐

elasticsearch搜索引擎搭建