Hadoop实战培训教程01_Hadoop集群环境搭建配置_Linux操作系统安装

教程发布:风哥 教程分类:ITPUX技术网 更新日期:2022-02-12 浏览学习:487

Hadoop实战培训教程01_Hadoop集群环境搭建配置_Linux操作系统安装
1、准备安装Linux 1.1 系统简介  CentOS Linix是什么?CentOS是一个基于Red Hat 企业级 Linux 提供的可自由使用的源代码企业级的 Linux 发行版本。每个版本的 CentOS 都会获得七年的支持(通过安全更新方式)。新版本的 CentOS 每两年发行一次,而每个版本的 CentOS 会定期(大概每六个月)更新一次,以便支持新的硬件。这样,建立一个安全、低维护、稳定、高预测性、高重复性的 Linux 环境。  CentOS(Community Enterprise Operating System)是Linux发行版之一,它是来自于Red Hat Enterprise Linux依照开放源代码规定释出的源代码所编译而成。由于出自同样的源代码,因此有些要求高度稳定性的服务器以CentOS替代商业版的Red Hat Enterprise Linux使用。两者的不同,在于CentOS并不包含封闭源代码软件。  CentOS是一个开源软件贡献者和用户的社区。它对RHEL源代码进行重新编译,成为众多发布新发行版本的社区当中的一个,并且在不断的发展过程中,CentOS社区不断与其他的同类社区合并,使CentOS Linux逐渐成为使用最广泛的RHEL兼容版本。CentOS Linux的稳定性不比RHEL差,唯一不足的就是缺乏技术支持,因为它是由社区发布的免费版。  CentOS Linux与RHEL产品有着严格的版本对应关系,例如使用RHEL4源代码重新编译发布的是CentOS Linux 4.0,RHEL5对应的是CentOS Linux 5.0,RHEL6对应的是CentOS Linux 6。由于RHEL产品的生命周期较长(通常具有3~5年的官方支持),因此Red Hat公司在RHEL系列产品发布后每隔一段时间,都会将累积的更新程序重新打包成为更新的发行版进行发布,通常称为RHEL Update。  例如,RHEL5的第1个更新版本叫做RHEL 5 Update 1,用户通常也称为RHEL 5.1。对Red Hat公司发布的每一个RHEL Update CentOS社区都会发布对应的更新发行版,例如根据RHEL 5的Update 1更新程序源码包,CentOS会重新编译并打包发布CentOS Linux 5.1版。CentOS Linux和与之对应版本号的RHEL发行版具有软件包级别的二进制兼容性,即某个RPM软件包如果可以安装运行在RHEL产品中,就可以正常地安装运行在对应版本的CentOS Linux中。CentOS Linux由于同时具有与RHEL的兼容性和企业级应用的稳定性,又允许用户自由使用,因此得到了越来越广泛的应用。 1157  CentOS特点[list]
[*]可以把CentOS理解为Red Hat AS系列!它完全就是对Red Hat AS进行改进后发布的!各种操作、使用和RED HAT没有区别!
[*]CentOS完全免费,不存在RED HAT AS4需要序列号的问题。
[*]CentOS独有的yum命令支持在线升级,可以即时更新系统,不像RED HAT那样需要花钱购买支持服务!
[*]CentOS修正了许多RED HAT AS的BUG!
[*]CentOS版本说明: CentOS3.1 等同于 RED HAT AS3 Update1 CentOS3.4 等同于 RED HAT AS3 Update4 CentOS4.0 等同于 RED HAT AS4。

1.2 安装版本  本次安装我们选择CetOS6.0版本,下面从几个方面介绍一下这个版本。[list]
[*]集成基于内核的虚拟化。CentOS 6.0集成了基于内核的虚拟化,将KVM管理程序完全集成到内核中。这样的功能可以帮助CentOS 6.0用户在主机之间轻松迁移虚拟机,更加灵活地部署和管理IT资源,有效为企业节省资源。利用内核的硬件抽象使应用程序能够独立于底层硬件,并且提高 CPU和内存可扩展性,使每个服务器可容纳更多虚拟机。
[*]提升系统和资源管理功能。基于标准的Linux可管理性规范(SBLIM)使用基于Web的企业管理(WBEM)来管理系统。用Dracut取代mkinitrd,最大限度地减少底层硬件改变的影响,更易于维护,并使支持第三方驱动程序更容易。
[*]加强电源管理,按时的内核改进使CentOS 6.0可以将没有活动任务的处理器置为空闲状态,以达到降低CPU的温度和更进一步减少能耗。
[*]在一种叫做控制组(即cgroups)的新框架的帮助下CentOS 6.0提供对硬件资源的细颗粒度控制、分配和管理。cgroups运行在进程组水平上,可被用于为应用管理从CPU、内存、网络和硬盘I/O的资源。
[*]增强了系统的可靠性、可用性和适用性。CentOS 6.0利用新硬件能力提供热插拔特性,并且可以通过AER的PCIe设备的增强错误检查。CentOS 6.0包括高级数据完整性特性(DIF/DIX)。这类特性通过硬件检查和检验来自应用的数据。自动缺陷报告工具(ABRT)的引进提供了确定和报告系统 异常情况,包括内核故障和用户空间应用崩溃等。
[*]改进了可伸缩性和内核性能。CentOS 6.0提供了适应未来系统的可伸缩性,其可伸缩性能力从对大量CPU和内存配置的优化的支持到处理更多数量的系统互联总线和外设的能力。在虚拟化变得同裸机部署一样无处不在之时,这些能力适合于裸机环境和虚拟化环境。
[*]CentOS 6.0改进了内核性能,可以通过让更高优先级的进程在最低限度的较低优先级处理干扰的条件下,更公平地在处理器之间分配计算时间。同时CentOS 6.0将多种多处理器锁同步进行改进,以消除不必要的锁定事件、用睡眠锁定代替许多旋转(spin)锁定和采用更高效的锁定基元。
[*]稳定的应用程序开发与生产平台。CentOS 6.0是一个高性能、高度可扩展、分布式、基于内存的对象缓存系统,大大提高了动态Web应用程序的速度。在Web基础架构上主要改进了Apache、 Squid和Memcached三个方面的改进。在Java性能支持上,CentOS 6.0和OpenJDK的紧密集成包括在SystemTap中支持Java探测器,从而可支持更好的Java调试。同时,CentOS 6.0也在逐步完善Tomcat 6的支持。
[*]1.3 硬件信息  现在Linux发行版的安装程序的硬件识别能力都比较强,即使不查询什么硬件信息,安装操作系统也没有什么大问题,不过对于非常新的硬件和笔记本电脑这样比较特殊的设备,还是建议在网络上查询一下相关硬件的信息,以确保硬件可以被驱动。这里列举几种可能需要重点考察的硬件,对于任何一种发行版都需要注意如下这些问题。

[list]
[*]主板芯片组支持。这是一组比较重要的硬件信息,可能影响到硬盘是否可以使用、可以启用UDMA,是否可以使用ACPI或APM电源管理等。这里的支持程序总是和内核版本相关的,考察的时候要注意对应的内核版本。
[*]网络设备支持。目前,对于一般用户主要是以太网卡和无线网卡,有些无线网卡的驱动还没有被整合进内核,但确实已经有驱动支持了。
[*]声卡。Linux对声音芯片的支持在历史上饱受诟病,但自从ALSA(Advanced Linux Sound Architecture)诞生以来,这个问题已经得到了很大程序的缓解,现在,ALSA是2.6内核的一部分。不过,仍然有一些声卡问题不时地出现。特别的,目前大多数的用户使用的是主板板载声卡,在安装系统之前应该考察一下Linux内核对该主板芯片声效功能的支持。
[*]显卡。主流的显卡目前都可以得到支持,如果需要的话,看一下显卡芯片的厂商、型号、显存大小基本就可以了,如果希望省事的话,可以考虑选择性能虽然不强,但开源驱动的稳定性和性能最好的Intel整合显卡,而追求高性能显卡的用户可以考虑NVIDIA芯片并在日后使用官方的驱动程序,来获得更好的3D性能,ATI/ADM显卡目前的Linux驱动是不理想的,但AMD已经开放了芯片的技术规范,未来一定会得到开源驱动的良好支持。
[*]其他外设。USB键盘和鼠标一般都可以被支持,少数最低端的硬盘盒的移动硬盘可能不会被支持,摄像头这些小硬件大部分都可以被支持了,另外就是一些笔记本电脑,需要考察一下。
  为了有备无患,要考察的信息还是比较多的,除了上网查找和询问周围的朋友外,使用Live CD进行体验也是一个很不错的办法。

本文标签:
网站声明:本文由风哥整理发布,转载请保留此段声明,本站所有内容将不对其使用后果做任何承诺,请读者谨慎使用!
【上一篇】
【下一篇】