技术选型当前使用版本：apachehadoop1.0.2hive0.10升级目标版本Apachehadoop2.4.1Hive0.13升级风险点Hdfs的升级Hadoop升级最主要是hdfs的升级，hdfs的升级是否成功，才是升级的关键，如果升级出现数据丢失，则其他升级就变的毫无意义。解决方法：1.备份hdfs的namenode元数据，升级后，对比升级前后的文件信息。2.单台升级datanode，观察升级前后的block数。备注:文件数和block数不是完全一样，hadoop1和hadoop2的计数方式不一样，可能相差2%左右。Yarn的升级Yarn的升级，它相对hdfs的升级，升级压力没有那么大，但是由于以前hive使用mapred，而现在直接使用yarn，所以兼容问题，就比hdfs多不少，所幸我们的任务基本是使用hive，所以我们的是面临hive0.13和hive0.10的兼容问题。而我们升级过程中，yarn的兼容问题，主要是资源的错误配置，兼容问题不多，而hive的升级，遇到的兼容问题，所以升级过程中，要测试的是hive升级导致的问题。
内容全部来源于网络收集，如有侵权，请联系网站删除：QQ：24596024