Linux 리눅스 & 하둡 & hive (3) 썸네일형 리스트형 Linux 내 하이브 설치 페이스 북에서 만든 NoSQL ↓ 자바를 몰라도 SQL 같은 언어로 하둡의 데이터를 검색하게 해주는 프로그램 예) Hive > select * from emp where job='SALESMAN'; 하이브는 작은데이터 보다는 큰~ 데이터를 검색할 때 빛을 발합니다.! 하이브는 update, insert 안되고 오로지 조회만 가능합니다. 설치 시작 1. 하이브 설치파일을 리눅스 시스템에 올립니다. 하이브 설치 파일 다운로드 : https://drive.google.com/file/d/1m1KoO-l6DXq_iy4cE7fkgoFGisIyU9Eb/view # 압축 풀지 말고 모바텀 (root 유저 로그인) 에 압축 파일 업로드 하기 2. 하이브 설치파일의 권한을 777로 올리고 소유자로 oracle 유져로 변.. Linux 가상환경 내 하둡 설치 하둡 설치 시 큰 틀 1. java 설치 -> 하둡이 자바로 이루어져있어서 자바를 설치해야합니다. 2. keygen 생성 -> 여러 컴퓨터들을 묶어서 마치 하나의 컴퓨터 처럼 보이도록하는게 목표이므로, -> 컴퓨터들끼리 접속 할대 패스워드 물어보는데 할때마다 비밀번호를 입력하려면 번거롭기때문에 패스워드를 암호화 해서 저장해놓고 패스워드 없이 접속할 수 있게 셋팅해 주는 작업 3. 하둡 설치 -> 4개의 파일의 내용만 수정해 주면 된다. 1. [hadoop.env.sh]() : 자바 홈디렉토리와 하둡 홈디렉토리가 어딘지 지정 2. core-site.xml : 하둡의 네임노드가 어느 서버인지를 지정 3. mapred-site.xml : java 로 만들어진 mapreduce 프레임워크와 관련된 정보를 지정하.. 하둡 시스템 구조와 순서 시스템 순서 빅데이터 분석 R , Python ↑ 빅데이터 저장 Mongodb hbase cassandra couchdb (테이블 생성가능한 DB) ↑ 분산 처리 지원 hive, pig, sqoop(오라클 --> Hive), zookeeper( 분산 파일 시스템을 관리하는툴) ↑ 분산 배치 처리 hadoop 하둡 - mapReduce ↑ 분산 파일 처리 hadoop 하둡 - HDFS(실제저장 장소) HDFS -> 는 여러대의 컴퓨터를 한대의 서버처럼 보이게 해 준다. 야후의 경우는 약 5만대의 서버(컴퓨터)를 연결해 하둡 운영 페이스북은 약 1만대의 서버를 연결해 하둡을 운영하고있다. 하둡 구성도 네임 노드 : 메타 데이터가 위치하는곳을 갖고 있는곳 (데이터는 저장하지 않음) 보조 네임 노드 : 주기적으.. 이전 1 다음
