全文索引服务solr入门四之solr集群搭建与应用

经过前面几篇文章的努力，我们的solr服务终于跑起来了，可以对外提供服务了，虽然有一点小瑕疵（对中文支持不是很好，但可以通过IK分词来解决，示例可以看老夫之前的这篇文章），但还是存在一个致命的问题：单点！对于现代互联网公司，这个一个不可忍受的缺点，所以本节我们就来解决这个问题，在搭建集群之前，我们先看看要搭建的集群的目标：

从这张图上，我们可以清晰看到我们需要三台zookeeper服务器和四台solr服务器，一共七台服务器（实际上老夫去哪找那么多集群，所以使用伪分布式的方式搭建集群，即在同一台服务器上创建多个实例模拟集群），确定了目标之后，我们就开始搭建我们的集群。

四. zookeeper集群搭建

Zookeeper有一个选举机制，选举谁是leader谁是follower。成为主节点，需要得到半数以上的投票。尽可能为奇数节点。

创建三个zookeeper实例
在zookeeper1、2、3文件夹下分别创建一个data目录。在data目录下创建一个myid的文件。文件的内容zookeeper1下就是1，zookeeper2下就是2，zookeeper3下就是3。
需要修改zookeeper的配置文件。把Zookeeper1confzoo_sample.cfg改名为zoo.cfg（示例有误，配置文件中的dataDir路径需要使用“/”而不是“”）

启动zookeeper。

启动成功之后：

启动zookeeper的客户端，测试zookeeper是否好用。

五. Solr实例搭建

需要4个solr实例来完成。
第一步：创建4个tomcat实例
第二步：搭建4个solr的单机版环境（该系列的前几篇就写这个了）。

从复制过来的单机版：

修改tomcat的端口号。
修改solrhome的位置。修改web.xml

六. 集群搭建

搭建步骤

①. 让zookeeper集群集中管理配置文件。把配置文件上传到zookeeper。
把solrhome/collection1/conf文件夹的内容上传到zookeeper集群。
把：D:tempSolrCloudsolrhome1collection1conf上传。
命令：


java -classpath D:tempSolrCloudtomcat1webappssolrWEB-INFlib/* org.apache.solr.cloud.ZkCLI -zkhost 127.0.0.1:2181,127.0.0.1:2182,127.0.0.1:2183 -cmd upconfig -confdir D:tempSolrCloudsolrhome1collection1conf -confname myconf

需要保证执行命令之前，zookeeper集群是启动状态。

查看zookeeper下的配置文件。

修改每个solrhome下的solr.xml文件。

告诉每个solr实例zookeeper集群的位置。
修改每一台solr的tomcat 的 bin目录下catalina.bat文件中加入DzkHost指定zookeeper服务器地址：


set JAVA_OPTS="-DzkHost=127.0.0.1:2181,127.0.0.1:2182,127.0.0.1:2183"

启动所有tomcat
访问solr服务

创建有两片的collection。在浏览器的url中输入如下内容：
http://127.0.0.1:8080/solr/admin/collections?action=CREATE&name=collection2&numShards=2&replicationFactor=2

删除collection1（之前单机版的时候创建的）
http://127.0.0.1:8080/solr/admin/collections?action=DELETE&name=collection1

删除之后，就是这个样子：

七. 集群的使用

后台的管理功能和单机版完全一致，如下图，所以略过。

使用solrJ管理solr集群

①. 添加集群


@Test  
public void addDocument() throws Exception {  
//使用SolrJ连接集群  
//参数：zkHost是一个zookeeper集群列表  
String zkHost = "127.0.0.1:2181,127.0.0.1:2182,127.0.0.1:2183";  
CloudSolrServer solrServer = new CloudSolrServer(zkHost);  
//设置默认的collection  
solrServer.setDefaultCollection("collection2");  
//创建一个文档对象  
SolrInputDocument document = new SolrInputDocument();  
document.setField("id", "a001");  
document.setField("title", "测试文档");  
//把文档提交到索引库  
solrServer.add(document);  
//提交修改  
solrServer.commit();

}

②. 导入数据库数据到solr集群


@Test  
public void importAllItems() throws Exception {  
//创建solrJ客户端  
String zkHost = "127.0.0.1:2181,127.0.0.1:2182,127.0.0.1:2183";  
CloudSolrServer solrServer = new CloudSolrServer(zkHost);  
//设置默认的collection  
solrServer.setDefaultCollection("collection2");  
//使用JDBC连接数据库  
Connection connection = null;  
PreparedStatement preparedStatement = null;  
ResultSet resultSet = null;  
//加载数据库驱动  
Class.forName("com.mysql.jdbc.Driver");  
//创建数据库连接  
connection = DriverManager.getConnection("jdbc:mysql://localhost:3306/solr", "root", "root");  
//sql语句  
String sql = "select * from products";  
//创建preparedStatement  
preparedStatement = connection.prepareStatement(sql);  
//执行查询  
resultSet = preparedStatement.executeQuery();  
//向solr中导入数据  
while(resultSet.next()) {  
//创建一个文档对象  
SolrInputDocument document = new SolrInputDocument();  
document.addField("id", resultSet.getString("pid"));  
document.addField("name", resultSet.getString("name"));  
document.addField("category", resultSet.getString("catalog_name"));  
document.addField("price", resultSet.getString("price"));  
document.addField("content", resultSet.getString("description"));  
document.addField("url", resultSet.getString("picture"));  
//向solr中添加记录  
solrServer.add(document);  
}  
//提交修改  
solrServer.commit();  
System.out.println("数据导入完成！");  
}

③. 和spring集成

看到上一篇文章里面，springmvc.xml配置文件了吧，小改一下就好了

至此，我们一个完整版的solr集群服务终于完成了，好了，程序猿们你们可以回家睡觉了。