全文索引服务solr入门四之solr集群搭建与应用
经过前面几篇文章的努力,我们的solr服务终于跑起来了,可以对外提供服务了,虽然有一点小瑕疵(对中文支持不是很好,但可以通过IK分词来解决,示例可以看老夫之前的这篇文章),但还是存在一个致命的问题:单点!对于现代互联网公司,这个一个不可忍受的缺点,所以本节我们就来解决这个问题,在搭建集群之前,我们先看看要搭建的集群的目标:
从这张图上,我们可以清晰看到我们需要三台zookeeper服务器和四台solr服务器,一共七台服务器(实际上老夫去哪找那么多集群,所以使用伪分布式的方式搭建集群,即在同一台服务器上创建多个实例模拟集群),确定了目标之后,我们就开始搭建我们的集群。
四. zookeeper集群搭建
Zookeeper有一个选举机制,选举谁是leader谁是follower。成为主节点,需要得到半数以上的投票。尽可能为奇数节点。
1. 创建三个zookeeper实例
2. 在zookeeper1、2、3文件夹下分别创建一个data目录。在data目录下创建一个myid的文件。文件的内容zookeeper1下就是1,zookeeper2下就是2,zookeeper3下就是3。
3. 需要修改zookeeper的配置文件。把Zookeeper1confzoo_sample.cfg改名为zoo.cfg(示例有误,配置文件中的dataDir路径需要使用“/”而不是“”)
4. 启动zookeeper。
启动成功之后:
5. 启动zookeeper的客户端,测试zookeeper是否好用。
五. Solr实例搭建
需要4个solr实例来完成。
第一步:创建4个tomcat实例
第二步:搭建4个solr的单机版环境(该系列的前几篇就写这个了)。
从复制过来的单机版:
1. 修改tomcat的端口号。
2. 修改solrhome的位置。修改web.xml
六. 集群搭建
1. 搭建步骤
①. 让zookeeper集群集中管理配置文件。把配置文件上传到zookeeper。
把solrhome/collection1/conf文件夹的内容上传到zookeeper集群。
把:D:tempSolrCloudsolrhome1collection1conf上传。
命令:
java -classpath D:tempSolrCloudtomcat1webappssolrWEB-INFlib/* org.apache.solr.cloud.ZkCLI -zkhost 127.0.0.1:2181,127.0.0.1:2182,127.0.0.1:2183 -cmd upconfig -confdir D:tempSolrCloudsolrhome1collection1conf -confname myconf
需要保证执行命令之前,zookeeper集群是启动状态。
2. 查看zookeeper下的配置文件。
3. 修改每个solrhome下的solr.xml文件。
4. 告诉每个solr实例zookeeper集群的位置。
修改每一台solr的tomcat 的 bin目录下catalina.bat文件中加入DzkHost指定zookeeper服务器地址:
set JAVA_OPTS="-DzkHost=127.0.0.1:2181,127.0.0.1:2182,127.0.0.1:2183"
5. 启动所有tomcat
6. 访问solr服务
7. 创建有两片的collection。在浏览器的url中输入如下内容:
http://127.0.0.1:8080/solr/admin/collections?action=CREATE&name=collection2&numShards=2&replicationFactor=2
8. 删除collection1(之前单机版的时候创建的)
http://127.0.0.1:8080/solr/admin/collections?action=DELETE&name=collection1
删除之后,就是这个样子:
七. 集群的使用
1. 后台的管理功能和单机版完全一致,如下图,所以略过。
2. 使用solrJ管理solr集群
①. 添加集群
@Test public void addDocument() throws Exception { //使用SolrJ连接集群 //参数:zkHost是一个zookeeper集群列表 String zkHost = "127.0.0.1:2181,127.0.0.1:2182,127.0.0.1:2183"; CloudSolrServer solrServer = new CloudSolrServer(zkHost); //设置默认的collection solrServer.setDefaultCollection("collection2"); //创建一个文档对象 SolrInputDocument document = new SolrInputDocument(); document.setField("id", "a001"); document.setField("title", "测试文档"); //把文档提交到索引库 solrServer.add(document); //提交修改 solrServer.commit(); }
②. 导入数据库数据到solr集群
@Test public void importAllItems() throws Exception { //创建solrJ客户端 String zkHost = "127.0.0.1:2181,127.0.0.1:2182,127.0.0.1:2183"; CloudSolrServer solrServer = new CloudSolrServer(zkHost); //设置默认的collection solrServer.setDefaultCollection("collection2"); //使用JDBC连接数据库 Connection connection = null; PreparedStatement preparedStatement = null; ResultSet resultSet = null; //加载数据库驱动 Class.forName("com.mysql.jdbc.Driver"); //创建数据库连接 connection = DriverManager.getConnection("jdbc:mysql://localhost:3306/solr", "root", "root"); //sql语句 String sql = "select * from products"; //创建preparedStatement preparedStatement = connection.prepareStatement(sql); //执行查询 resultSet = preparedStatement.executeQuery(); //向solr中导入数据 while(resultSet.next()) { //创建一个文档对象 SolrInputDocument document = new SolrInputDocument(); document.addField("id", resultSet.getString("pid")); document.addField("name", resultSet.getString("name")); document.addField("category", resultSet.getString("catalog_name")); document.addField("price", resultSet.getString("price")); document.addField("content", resultSet.getString("description")); document.addField("url", resultSet.getString("picture")); //向solr中添加记录 solrServer.add(document); } //提交修改 solrServer.commit(); System.out.println("数据导入完成!"); }
③. 和spring集成
看到上一篇文章里面,springmvc.xml配置文件了吧,小改一下就好了
至此,我们一个完整版的solr集群服务终于完成了,好了,程序猿们你们可以回家睡觉了。
作 者: BridgeLi,https://www.bridgeli.cn
原文链接:http://www.bridgeli.cn/archives/301
版权声明:非特殊声明均为本站原创作品,转载时请注明作者和原文链接。
近期评论