본문 바로가기

전체 글

(142)
음성데이터의 기초적인 이해 (소리의 3요소, 푸리에 변환) 보호되어 있는 글입니다.
Linux 내 하이브 설치 페이스 북에서 만든 NoSQL ↓ 자바를 몰라도 SQL 같은 언어로 하둡의 데이터를 검색하게 해주는 프로그램 예) Hive > select * from emp where job='SALESMAN'; 하이브는 작은데이터 보다는 큰~ 데이터를 검색할 때 빛을 발합니다.! 하이브는 update, insert 안되고 오로지 조회만 가능합니다. 설치 시작 1. 하이브 설치파일을 리눅스 시스템에 올립니다. 하이브 설치 파일 다운로드 : https://drive.google.com/file/d/1m1KoO-l6DXq_iy4cE7fkgoFGisIyU9Eb/view # 압축 풀지 말고 모바텀 (root 유저 로그인) 에 압축 파일 업로드 하기 2. 하이브 설치파일의 권한을 777로 올리고 소유자로 oracle 유져로 변..
Linux 가상환경 내 하둡 설치 하둡 설치 시 큰 틀 1. java 설치 -> 하둡이 자바로 이루어져있어서 자바를 설치해야합니다. 2. keygen 생성 -> 여러 컴퓨터들을 묶어서 마치 하나의 컴퓨터 처럼 보이도록하는게 목표이므로, -> 컴퓨터들끼리 접속 할대 패스워드 물어보는데 할때마다 비밀번호를 입력하려면 번거롭기때문에 패스워드를 암호화 해서 저장해놓고 패스워드 없이 접속할 수 있게 셋팅해 주는 작업 3. 하둡 설치 -> 4개의 파일의 내용만 수정해 주면 된다. 1. [hadoop.env.sh]() : 자바 홈디렉토리와 하둡 홈디렉토리가 어딘지 지정 2. core-site.xml : 하둡의 네임노드가 어느 서버인지를 지정 3. mapred-site.xml : java 로 만들어진 mapreduce 프레임워크와 관련된 정보를 지정하..
하둡 시스템 구조와 순서 시스템 순서 빅데이터 분석 R , Python ↑ 빅데이터 저장 Mongodb hbase cassandra couchdb (테이블 생성가능한 DB) ↑ 분산 처리 지원 hive, pig, sqoop(오라클 --> Hive), zookeeper( 분산 파일 시스템을 관리하는툴) ↑ 분산 배치 처리 hadoop 하둡 - mapReduce ↑ 분산 파일 처리 hadoop 하둡 - HDFS(실제저장 장소) HDFS -> 는 여러대의 컴퓨터를 한대의 서버처럼 보이게 해 준다. 야후의 경우는 약 5만대의 서버(컴퓨터)를 연결해 하둡 운영 페이스북은 약 1만대의 서버를 연결해 하둡을 운영하고있다. 하둡 구성도 네임 노드 : 메타 데이터가 위치하는곳을 갖고 있는곳 (데이터는 저장하지 않음) 보조 네임 노드 : 주기적으..
SQL developer 실행시 IO 오류 해결 SQL developer 를 실행했는데 다음과 같은 오류가 떴다. CMD 에 가서 lsnrctl start 를 명령했더니 이러한 오류가 떴다 그래서 내가 해결했던 방법은 지금은 다 실행 중이지만 실행중이지 않은것이 있다면 마우스 오른쪽 버튼을 눌러 시작 시켜 실행으로 변경 해 주었다. 가끔씩 컴퓨터에서 너무 많은 프로그램을 돌리면 저절로 사용안함으로 해놓는 경우가 있다고 함. 디벨로퍼를 다시 실행했더니 정상적으로 잘 실행 됐고 그리고 CMD 창에서 다시 lsnrctl start 명령어 수행했더니 정상적으로 수행된 명령어 볼 수 있었다. cmd 창에서 lsnrctl status ipconfig 디벨로퍼에서는 내가 접속할 (scott) 오른쪽 버튼 눌러 빨간 박스 3군데 모두 ip 가 같아야합니다.
[Python] If ~ else (들여쓰기) 어떤 조건을 참과 거짓으로 판단할 때 if 문을 사용 참과 거짓을 구분하여 코드를 실행하면 if ~else를 사용한다. 코드를 작성하다보면 조건에 따라 수행하는 일이 달리 해야하는 경우가 있다. 조건이 참인지, 거짓인지 검사하고, 참인경우에는 ____ 하고, 거짓인경우에는 ____ 해라 작성방법 if 조건 : (네번들여쓰기) 실행코드1 esle : (네번들여쓰기) 실행코드2 → 조건에 해당되면 실행코드 1 실행 해당되지 않는다면 실행코드 2 실행 IF 문 만 쓴 경우 예제 if 문 짝수의 문 출력 2는 짝수입니다. 4는 짝수입니다. 6은 짝수입니다. 라는식으로 출력 되게 하시오 dice = [1,2,3,4,5,6] for i in dice : # for 반복문을 이용해서 dice 리스트 변수의 요소를 하..
[Python] 자료형 출력 개념 (Print) print 함수 이용시 다양한 자료형을 화면에 출력 가능 문자열을 출력할 때 철자의 순서는 ( 0 번 부터 시작이다) 예제 a = 200 b = 'scott' c = [1,2,3,4,5,6] print(a) print(b) print(c) 200 Scott [1,2,3,4,5,6] → 순서대로 값이 출력된다. 예제 : b의 변수의 문자중 s 를 출력하시요 b = 'scott' print (b[0]) → 문자열 변수에서 특정 철자만 출력하려면 변수명 (b 다음에 대괄호 열고 문자열 위치 인덱스 번호를 쓰면 된다. → s c o t t → 0 1 2 3 4 ( python 은 문자열 인덱스 번호가 0 번 부터 시작이다) 문제 : c의 리스트에서 첫번째 요소 'a' 출력하시오 c = ['a','b','c'] ..
[Python] 변수 (Variable) 와 자료형 변수 = 빈컵 (이라고 생각하면 쉬움) 주의사항!! 변수에서 사용할 수 있는것. (1) 문자만 사용할 수 있다. (대소문자가 서로 구별 된다) (2) 소문자 (a~z) (3) 대문자 (A~Z) (4) 숫자 (0~9) (5) 언더스코어 (_) 변수에서 사용할 수 없는것 (6) 숫자로 시작 할 수 없다. (7) 변수에는 예약어를 사용할 수 없다 ( 예약어 : 파이썬에서 이미 사용되고 있는 단어 ) 파이썬의 예약어 확인해보기 import keyword print (keyword.kwlist) keyword 라는 모듈을 이 코드 창에서 사용하겠다 → 모듈은 어떤 목적을 위해서 작성된 프로그램 코드의 집합 → keyword 라는 모듈안에 kwlist 라는 변수의 내용을 출력해라. 출력된 예약어 ['False', ..