윈도우 하둡 예제

mapreduce 프로그램을 실행할 준비가 되어 있지만 c:>hworkrecipe-items.json 파일을 Hadoop 분산 파일 시스템에 복사해야 하기 전에 아래 단계에 따라 하두프 jar 명령을 사용하여 이 작업을 시작하기만 하면 됩니다. 스트리밍 API가 jar 파일로 정의되므로 이 명령을 사용합니다. 이 명령에는 Hadoop을 알려주는 여러 매개 변수가 있습니다: 위의 스크린 샷에서, 당신은 우리의 워드 카운트 프로그램의 출력을 볼 수 있습니다. Windows에서 Hadoop 응용 프로그램을 성공적으로 실행했습니다. 경로 C:hdpdatadfs에 네임 노드 및 데이터 노드 디렉토리가 없는 경우 만들어야 합니다. 파일 C:hdpetchadoop슬레이브를 편집하거나 만듭니다. 이 파일은 하눕 슬레이브 데몬 데이터 노드및 작업 추적기가 실행되는 한 줄당 하나의 호스트를 나열합니다. 기본적으로 여기에는 단일 항목 localhost가 포함됩니다. 참조 [1] http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html [2] http://www.microsoft.com/en-in/download/details.aspx?id=8442 [3] http://cygwin.com/setup-x86_64.exe http://www.apache.org/dist/hadoop/core/hadoop-2.2.0/hadoop-2.2.0-src.tar.gz [5] http://wiki.apache.org/hadoop/HadoopIsNot [6] http://hadoop.apache.org/ [7] https://svn.apache.org/viewvc/hadoop/common/branches/branch-2/BUILDING.txt?view=markup [8 https://wiki.apache.org/hadoop/Hadoop2OnWindows] http://en.wikipedia.org/wiki/Apache_Hadoop 컴파일되었으므로 하두프에서 이 작업을 실행하기 전에 해야 할 일이 많이 있습니다. 첫 번째는 입력 파일을 Hadoop 클러스터에 저장해야 한다는 것입니다.

이렇게 하려면 바탕 화면에 설치된 링크에서 Hadoop 콘솔 창을 열고 그림 5에서 볼 수 있듯이 Hadoop fs -put 명령을 사용합니다. 이미 단어 수 예제를 사용했기 때문에 약간 변경하고 지정된 입력을 기반으로 경마 결과를 예측하는 예제를 사용합니다. 가장 먼저 해야 할 일은 새 솔루션을 만들고 두 개의 콘솔 프로젝트를 추가하는 것입니다. 게리 쇼트는 영국 던디에 본사를 둔 프리랜서 데이터 과학 실무자이자 트레이너입니다. 그는 전체 Hadoop 및 HDInsight 환경에 대한 깊은 이해뿐만 아니라 예측 분석, 소셜 네트워크 분석, 전산 언어학 및 기계 Vison에 대한 관심을 가지고 있습니다. GNU/Linux는 개발 및 프로덕션 플랫폼으로 지원됩니다. Hadoop은 2000개의 노드가 있는 GNU/Linux 클러스터에서 시연되었습니다.

Next Post:
Previous Post: