Skip to content

Latest commit

 

History

History

Homework-PythonSparkML_08

Homework - Python Spark ML(八):Hadoop 的安裝

【題目連結】

【My Answer】

因自身是機器學習初學者,此份作業參考各方資料並加入自己的理解,若有誤還請多指教(建立 Github Issue 來協助我修正),謝謝。

01、VMware Workstation 虛擬機機器軟體安裝。

  • 因課本[01]已針對 Virtual Box 有詳細安裝介紹,且學生工作因素經常接觸 VMware 牌軟體,故這邊將以不同於課本,使用 VMware Workstation 來建立 Apache Spark 實驗區的虛擬平台。

  • 解答連結:001-VMwareWorkstation

02、CenOS Linux 作業系統安裝

  • 課本所使用之 Ubuntu Linux 每半年更新一次,非常適合日新月異的機器學習領域;除了因應後面第六第七章節,若有同學想嘗試使用在伺服器界較穩定之 CentOS Linux 來作為 Apache Spark 實驗區的作業系統平台,亦可以參考本節。

  • 解答連結:002-InstallCentOS

03、Ubuntu Linux 作業系統安裝

04、Hadoop & Spark Single Node Cluster 安裝

  • 彷照課本方式,並加入自己額外的想法,將單機版的 Hadoop 及 Spark + Jupyter Notebook 架設完成。

  • 解答連結:004-HadoopSingleNodeOnUbuntu

05、Hadoop & Spark Multi Node Cluster 安裝

  • 彷照課本方式,並加入自己額外的想法,將叢集版的 Hadoop 及 Spark + Jupyter Notebook 架設完成。

  • 解答連結:005-HadoopMultipleNodeOnUbuntu

06、Hadoop & Spark 工作用 Docker Image 的製作

07、Hadoop & Spark 叢集使用 Container 建立

附錄:VMware Workstaion 網路架構圖

附錄:敬翔自製的 Container、Hadoop、Spark 設定檔。

【References】

License

Copyright {yyyy} Sean Chen

Licensed under the Apache License, Version 2.0 (the "License"); you may not use this file except in compliance with the License. You may obtain a copy of the License at

http://www.apache.org/licenses/LICENSE-2.0

Unless required by applicable law or agreed to in writing, software distributed under the License is distributed on an "AS IS" BASIS, WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. See the License for the specific language governing permissions and limitations under the License.