티스토리

깨작코딩

검색하기

블로그 홈

깨작코딩

siloam72761.tistory.com/m

IT 컴공 관련 글을 쓰고 있습니다.

구독자: 3

방명록 방문하기

주요 글 목록

처음으로 유튜브 알고리즘에 타다 1. 유튜브의 컨셉 잡기 지난 포스팅 시점에 영상을 한 10~11개쯤 올려놓은 상황이었습니다. 조회수는 평균30~50정도의 조회수에 많으면 100~200 초반까지는 갔었습니다. "어떻게 하면 조회수가 잘 나올 수 있을까?"라고 고민을 참 많이 했던 것 같습니다. 영상에 재미를 추구하기엔 생각보다 제가 끼가 별로 없는 편이기도 하고, 저보다 재밌는 사람들이 훨씬 많은데 제 영상을 왜 보겠습니까.. 그래서 다양한 각도로 영상을 많이 찍어봤었죠. 한 주제를 토대로 정보 관련 영상, 재미를 추가한 영상 등등 해보니 확실히 유입들이 많이 찾는쪽은 정보 관련 영상이긴 하더라고요. 여기서 내 유투브의 컨셉 노선을 정보글로 잡았습니다. 2. 경쟁력 그래서 어떤 이슈에 대한 정보글을 최대한 보기 쉽게 정리해서 누구보다 .. 공감수 1 댓글수 0 2023. 9. 8.
초보 유투브 조회수에 대한 고찰 1. 유튜브의 시작 옛날부터 방송을 해보고 싶었는데, 일단 해보자라는 마음으로 방송부터 시작해 봤다. 한 달간 방송을 해봤지만 생각보다 시청자가 모이지 않았다. 생각해 보면 굳이 시청자가 없는 방송을 가서 봐줄 이유가 별로 없는 거 같긴 하다. 그래도 꾸준히 나름 방송한 결과 꾸준히 와주는 시청자가 생겨서 방송할 맛이 생겼던 것 같다. 하지만 근본적인 문제가 해결되지 않았다. 즉 시청자 수가 모이지 않는다. 그래서 무료 편집 프로그램인 샷컷 강의 영상을 보면서 영상 편집을 배우게 되었고 방송할 동안 부분의 재밌는 부분을 모아서 편집하고 유튜브를 시작하게 되었다. 2. 첫 동영상의 업로드 편집툴도 익숙하지 않고, 처음 해보다 보니 8분짜리 영상을 만드는데도 거의 3~4시간이 걸렸다. 이게 생각보다 필요 없.. 공감수 0 댓글수 0 2023. 8. 23.
[Kafka] 간단하게 보는 Kafka 등장 배경, 특징, 활용 사례 1. Kafka 등장배경 처음에는 그림 첫 번째와 같이 간단한 통신 시스템을 만들었다고 생각하자. Source system과 Target system을 1:1로 연결하면 되기 때문에 문제가 없어 보인다. 하지만 두 번째 사진처럼 Source sytem이 2개로 늘어나고, Target system을 3개로 늘리게 된다. 처음에는 연결이 한 개였지만 갑자기 연결이 6개로 늘어났다. 갑자기 시스템이 복잡하게 되기 시작한다. 그래서 Source는 보내기만 하고, Target 쪽에서는 알아서 읽게만 만들고 중간에 중재해 주는 것을 만들면 어떨까? 라는 생각에 등장하게 된 개념이 Apache Kafka이다. 중간에 시스템이 한 개가 생김으로써 Source와 Target은 일명 decoupling이 된다. 2. Ka.. 공감수 1 댓글수 0 2023. 6. 1.
[프로그래머스][Python] 피로도, 코드설명 1. 문제링크 코딩테스트 연습 - 피로도 | 프로그래머스 스쿨 (programmers.co.kr) 프로그래머스 코드 중심의 개발자 채용. 스택 기반의 포지션 매칭. 프로그래머스의 개발자 맞춤형 프로필을 등록하고, 나와 기술 궁합이 잘 맞는 기업들을 매칭 받으세요. programmers.co.kr 2. 코드 from itertools import permutations def solution(k, dungeons): answer = 0 dun_len = len(dungeons) for permute in permutations(dungeons, dun_len): hp = k count = 0 #print(permute) for pm in permute: #print(pm) if hp >= pm[0]: hp.. 공감수 1 댓글수 0 2023. 5. 24.
[Window][Docker] 도커에서 파일 실행 시 오류 1. 오류메세지 error during connect: in the default daemon configuration on Windows, the docker client must be run with elevated privileges to connect: Get "http://%2F%2F.%2Fpipe%2Fdocker_engine/v1.24/containers/json?all=1&filters=%7B%22label%22%3A%7B%22com.docker.compose.config-hash%22%3Atrue%2C%22com.docker.compose.project%3Dexercisefiles%22%3Atrue%7D%7D": open //./pipe/docker_engine: The system can.. 공감수 0 댓글수 0 2023. 5. 24.
[블로그후기]1년차 코딩블로그 수익, 잘 나오는 조회수, 겪은 난항, 후기 1. 코딩 블로그를 시작하게 된 계기 예전에 이런 글을 본 것 같다. 블로그로만 한 달에 100만원, 몇 십만 원을 번다구?! 자기가 좋아하는 것을 적으면서, 돈도 벌다니 정말 매력적인 일이 아닌가라고 생각했다. 현재는 일을 하고 있지는 않지만, 일도 하고 부수입으로 블로그 수입도 들어온다면 완벽하겠는데? 라고 생각하며 블로그를 시작하게 되었다. 코딩 블로그면 내가 공부한 내용도 블로그에 남기고, 포트폴리오로도 쓸 수 있겠다는 생각이 이였다. 네이버 블로그를 운영한 경험이 있어, 쉽게 성장시킬 수 있을 것이라고 생각했다. 2. 블로그를 운영하며 겪은 난항 2-1 네이버 블로그와 다른 티스토리 블로그 올리기 힘든 조회수 네이버의 경우 서로이웃이라는 시스템이 있다. 비슷한 주제의 블로거끼리 서로 이웃을 맺고.. 공감수 7 댓글수 3 2023. 5. 15.
[파이썬][자료구조] 데크(deque)에 대한 모든 것 (정의, 함수, 활용) 1. Deque(데크) 정의 Deque는 "double-ended que"의 약자로 스택과 큐를 일반화 한 것이다. List의 경우 고정 길이 연산에 특화되어 있으며, pop(0)과 insert(0, v) 연산에 대해 O(n)의 메모리 비용이 필요한 반면 Deque의 경우 추가(append)와 꺼내기(pop) 연산을 O(1)의 속도로 지원한다. Deque는 maxlen이 지정되지 않거나, None이면 Deque의 길이는 임의로 커질 수 있다. 그렇지 않을 경우 지정된 최대 길이로 제한된다. Deque가 가득 차게 될 경우, 반대편에 있는 원소가 삭제되고 최대 크기를 유지한다. 2. Deque 함수들 함수 실행시간 설명 append(x) O(1) 데크의 오른쪽에 x를 추가합니다. appendleft(x) .. 공감수 0 댓글수 0 2023. 5. 11.
[프로그래머스][Python] 연속 부분 수열 합의 개수, 코드 설명 1. 문제 코딩테스트 연습 - 연속 부분 수열 합의 개수 | 프로그래머스 스쿨 (programmers.co.kr) 프로그래머스 코드 중심의 개발자 채용. 스택 기반의 포지션 매칭. 프로그래머스의 개발자 맞춤형 프로필을 등록하고, 나와 기술 궁합이 잘 맞는 기업들을 매칭 받으세요. programmers.co.kr 2. 문제 풀이 from collections import deque def solution(elements): answer = set() #중복제거를 위해 elements = deque(elements) for i in range(len(elements)): #수열 갯수만큼 elements.rotate(1) #회전 for j in range(1, len(elements)): answer.add(.. 공감수 0 댓글수 0 2023. 5. 6.
[Python] Set() 함수 정의, 예시, 집합 연산, 다양한 사용법 1. Set과 리스트, 튜플과의 비교 List와 tuple은 연속적으로 데이터를 저장하는 표준 파이썬 데이터 타입이다. Set도 마찬가지로 데이터를 저장하는 표준 파이썬 데이터 타입이다. 가장 큰 다른 점은 Set은 원소의 중복을 허용하지 않으며, 정렬되지 않은 값을 저장한다. Set은 불변 데이터만을 포함한다. (integer, float, string, tuple) 불변 데이터를 저장하고, 중복을 제거하고 싶을 때 Set이 유용할 수 있다. Set은 또한 교집합, 배집합 등 다양한 함수를 제공한다. 2. Set 생성방법 결과를 보면 Python, R, SQL, Git 순으로 결과가 출력되어야 하나 순서가 바뀌어서 출력된다. 이게 바로 Set이 정렬되지 않는 것을 말한다. emptySet = set().. 공감수 0 댓글수 0 2023. 5. 4.
[VirtualBox][Kubernates] LoadBalancer로 애플리케이션 인터넷에 연결하기 1. minikube 시작하기 minikube start --driver=docker --no-vtx-check 2. 인터넷 연결을 위한 Service.yml 파일 만들기 vim service.yml 아래는 service.yml에 들어가는 내용이다. --- apiVersion: v1 kind: Service metadata: name: demo-service namespace: development spec: selector: app: pod-info ports: - port: 80 targetPort: 3000 type: LoadBalancer 파일을 만들었다면 Kubernate에 적용시키자. kubectl apply -f service.yaml 정상적으로 완료된다면 "service/demo-servi.. 공감수 0 댓글수 0 2023. 4. 22.
[VirtualBox][Kubernates] BusyBox로 애플리케이션 상태 확인하기 1. BusyBox이란? BusyBox는 Unix/Linux에서 자주 쓰이는 400개 가량의 명령어를 가진 오픈소스이다. BusyBox에서는 자주 쓰이지 않는 명령어 옵션들은 제거됐다. 모든 것이 1MB 아래로 존재하며, 이러한 작은 이미지가 인베디드 시스템과 IOT 도메인, 클라우드 컴퓨팅 세계에서 사랑받는 이유이다. BusyBox는 점점 인기를 얻고 있으며, 작은 크기의 이미지를 제공하기에 Docker 사용자에게 사랑받는다. 2. BusyBox.yml 생성하기 vim 에디터로 busybox.yml 파일을 생성하고, 코딩해 준다. vim busybox.yaml 아래는 busybox.yml에 들어가는 내용이다. --- apiVersion: apps/v1 kind: Deployment metadata: n.. 공감수 0 댓글수 0 2023. 4. 22.
[YAML] YAML이란? 기본 특징, 데이터 타입, 문법 1. YAML 정의 YAML은 사람이 쉽게 이해할 수 있는 데이터 직렬화 언어이다. 구성 파일 작성에 자주 사용된다. 예시로 docker로 이루어진 파일에 쓰인다. YAML 파일은 .yml 또는 .yaml 확장자를 사용한다. 2. YAML 기본 특징 2-1 공백만 허용 (Only space allowed) YAML은 공백과 들여쓰기로 구조와 데이터 트리를 정의한다. (이는 마치 Python 프로그래밍과 비슷하다.) 2-2 문서 기본구호 (Document delimeters) --- : 문서의 시작 ... : 문서의 끝 2-3 모든 것은 딕셔너리의 일부이다. 모든 YAML 파일의 데이터는 key-value 쌍의 형식을 따른다. YAML은 대소문자를 구분하며, key는 중복되지 말아야 한다. (unique).. 공감수 0 댓글수 0 2023. 4. 22.
[VirtualBox][Kubernate] namespace 생성하기 1. namespace가 필요한 이유 같은 Kubernate cluster에서 개발(Developement), 생산(Production) 환경이 이뤄진다고 해보자. namespace는 한 애플리케이션에서 서로 다른 namespace을 이용하여 따로 분리해서 관리하게 해준다. 2. minikube 실행하기 minikube start --driver=docker --no-vtx-check Window에 있는 코드는 Ctrl + Insert로 복사하고, Linux 터미널에 Ctrl+Shift+V로 붙여넣기 한다. 만약에 복사붙여넣기가 안된다면 게스트 확장 CD를 추가해 주자. 하는 법은 아래 링크를 남긴다. 2023.04.18 - [데이터 사이언스] - [Virtualbox] 우분투 화면 크기에 따라 자동 조.. 공감수 0 댓글수 0 2023. 4. 21.
[VirtualBox] Ubuntu에 minikube 터미널로 설치하기 (설치 시 각종 오류 해결 ) 1. minikube 설치 시 발생했던 오류 Ubuntu 22.04에 Minikube를 설치하면서 생겼던 오류들이다. 해결법이 필요하신 분은 minikube 설치 밑에 부분을 참고해 주세요. Exiting due to HOST_VTX_UNAVAILABLE: Failed to start host: creating host: create: creating: Unable to start the VM: /usr/bin/VBoxManage startvm minikube --type headless failed: VBoxManage: error: VT-x is not available (VERR_VMX_NO_VMX) VBoxManage: error: Details: code NS_ERROR_FAILURE (0x80.. 공감수 1 댓글수 0 2023. 4. 19.
[VirtualBox] Ubuntu에 Docker 터미널로 설치하기 1. Docker를 설치 전 있으면 좋은 설정 기본적으로 코드를 일일이 옮겨 적기엔 코드가 긴데, 이를 복사 붙여넣기로 대체한다. Window에 있는 코드를 Ctrl + Insert로 복사하고, Linux 터미널에 Ctrl+Shift+V로 붙여넣기 한다. 하지만 우분투를 처음 깔았다면 게스트 확장 이미지 CD를 설정을 안했을텐데 이것을 하지 않으면 복사 붙여넣기가 되지 않는다. 하는 법은 아래 링크를 남긴다. 2023.04.18 - [데이터 사이언스] - [Virtualbox] 우분투 화면 크기에 따라 자동 조절하기 (여러 해결책) 2. apt repository를 이용한 설치 컴퓨터에 처음 도커 엔진을 설치하는 경우 도커 저장소가 필요하다. 설치 후에는 도커 저장소를 통해 설치, 업데이트를 한다. 2-.. 공감수 0 댓글수 0 2023. 4. 19.
[Virtualbox] 우분투 화면 크기에 따라 자동 조절하기 (여러 해결책) 1. 초기설정 처음에 우분투 작은 화면이라 불편함이 있어서 크기에 따라 자동조절을 설정하는 글이다. 단순히 간단히 해상도만 바꿔서 크기를 바꾸고 싶다면 아래 글을 참고해 주세요. 2023.04.18 - [데이터 사이언스] - [VirtualBox] 10초안에 우분투, 리눅스 화면 크기 조절, 크게하기 설치에 필요한 패키지들 설치하기 sudo apt update sudo apt -y upgrade sudo apt -y install build-essential 설치 완료 후 VM창에서 장치 -> 게스트 확장 CD 이미지 삽입을 눌러주자. 게스트 확장 이미지 CD 삽입을 눌렀으나 반응이 없을 때의 해결책도 아래 적어놓겠습니다. 누르고 나서 실행하시겠습니까?가 뜨면 실행시킨다. 혹은 실수로 닫았다면 파일을 열.. 공감수 3 댓글수 0 2023. 4. 18.
[VirtualBox] 10초안에 우분투, 리눅스 화면 크기 조절, 크게하기 1. 글을 쓰게 된 이유 Ubuntu 22.04 LTS를 쓰는데 작은 화면을 자동 조절할려고 여러자료를 찾아봤는데 이상하게 안되더라구요.. 게스트 확장 CD 삽입을 클릭해도 무반응이고.. terminal로 파일을 받아서, CD에 attach되도 실행이 안되더라구요 서론이 길었고 간단히 화면 조절하는법 알려드리겠습니다. 이 방법은 자동조절이 아닌, 사용자에 맞는 해상도를 설정하는 수동적인 방법입니다. 자동조절은 게스트 확장 CD로 설정하셔야 합니다. 2. 우분투, 리눅스 화면 크게 하기 간단히 그림으로 표현하겠습니다. 번호 순서대로 따라가시면 되겠습니다. Settings에 들어가셨다면 아래와 같은 화면이 보입니다. Resolution = 해상도를 클릭하셔서 컴퓨터에 맞는 해상도로 바꿔주세요. 4번을 하시면.. 공감수 1 댓글수 0 2023. 4. 18.
[VirtualBox] Ubuntu에서 터미널 안 열릴 때 해결방법 1. 이러한 현상이 발생한 이유 보통 virtualBox에서 가상 머신을 만들기 시작할 때 빨간색 화살표가 가르키는 방향이 체크되어 있지 않다. 체크하면 자동으로 설치할껀지 체크하지 않으면 수동으로 자기가 설정하며 설치할지 묻는 옵션이다. 이걸 체크하지 않으면 일어나는 일인것 같다. (자세한 원인은 모름) 체크하지 않고 자동설치를 진행했다면 2번으로 가자. 2. Skip Unattended Installation를 체크하지 않은 경우 자동설치를 진행하고 터미널이 잘 실행된다면 문제 없지만, 실행되지 않는 경우이다. Terminal의 단축키 alt+crl+t를 해도 반응이 없고, 앱을 눌렀을 때도 반응이 없었다. 이러한 경우 아래와 같은 화면으로 들어간다. Setting에 들어가서 언어에서 다른 언어로 아.. 공감수 2 댓글수 0 2023. 4. 18.
[Hadoop] Spark 소개, 특징, 이해하기 1. Spark 소개 Apache Spark은 오픈소스 컴퓨팅 시스템으로 데이터 분석을 빠르게 하는 것을 목표로 한다. 프로그램을 빠르게 실행시키기 위해서 Spark는 RDD data abstraction을 기반으로 한 실행 모델로 임의의 긴 수식 그래프를 최적화하는데 도움을 주거나, in-memory 컴퓨팅을 지원한다. 이것은 디스크 기반 엔진들보다 쿼리를 빠르게 한다. 2. Spark 특징 In-memory 분산 데이터 분석 in-memory computing : 운영을 위한 데이터를 하드디스크가 아닌 메인 메모리에 올려 실행하는 것 목표는 job의 실행속도를 빠르게 하는 것이다. 예시 : 일괄처리(Batches), Machine Learning, Interactive query 기존 MapReduc.. 공감수 0 댓글수 0 2023. 4. 11.
[Python] 파이썬에서 _의 역할과 기능 1. 값 무시하기 Python에서 underscore(_)은 특정 값을 이용하고 싶지 않을 때 사용할 수 있다. 아래와 같은 코드에서 1,3만 이용하고 100은 이용할 생각이 없을 때 다음과 같이 쓸 수 있다. x, _, y = (1,100,3) print(x,y) Output 1 3 *-를 이용하면 여러 가지 복수의 값을 이용하지 않을 수 있다. x, *_, y = (100, -1, -3, -6, -2, -4, 1) print(x, y) OutPut 100 1 2. _를 이용한 for문 가끔 코드에서 for _ in range(5)와 같은 코드를 봤을 것이다. Python에서 underscore(_)를 이용하여 for문, while문에 적용할 수 있다. for _ in range(3): print(_).. 공감수 0 댓글수 0 2023. 4. 4.
[Java] 클래스를 이용한 간단한 성적관리 프로그램 1. 문제 객체 배열을 사용하여 n명 학생의 성적을 국어, 수학, 영어에 대해 받아서 성적을 처리하는 프로그램을작성하시오. 사용자에게 이름, 국어, 수학, 영어를 입력받아서 처리하시오. 2. 코드 import java.util.Scanner; class Student{ String name; int math; int english; int korean; public Student(String name,int math,int english,int korean){ this.name = name; this.math=math; this.english=english; this.korean=korean; } public double SumOfGrade(){ return math+korean+english; } pu.. 공감수 0 댓글수 0 2023. 4. 4.
[Java] 간단한 369게임 코드 (3,6,9가 있을 때마다 박수) 1. 문제 369게임의 일부를 작성해보자. 1~99까지의 정수를 입력받고 수에 3, 6, 9 중 하나가 있는 경우는 “박수짝”, 두 개 있는 경우는 “박수짝짝”, 하나도 없으면 “박수없음”을 출력하는 프로그램을 출력하는 프로그램을 작성하라. 예를 들면, 13인 경우 “박수짝”, 36인 경우 “박수짝짝”, 5인 경우 “박수없음”을 출력하면 된다. 2. 코드 import java.util.Scanner; public class Game369test { public static void main(String[] args){ Scanner scanner = new Scanner(System.in); System.out.print("1~99사이의 정수를 입력하시오 >>"); int num = scanner.nex.. 공감수 1 댓글수 2 2023. 4. 1.
[Hadoop] Pig 소개, 특징, 이해하기 1. Apache Pig 소개 Apache Pig는 큰 데이터 셋을 분석하는 플랫폼이다.Pig의 대표적인 속성은 구조가 실질적 병렬화에 적합하여 매우 큰 데이터 셋을 처리할 수 있다. Hadoop의 ETL 라이브러리다. ETL : Extract, transform, load MapReduce jobs을 만든다. Yahoo에서 만들어졌다. Pig Latin 언어를 사용한다. Oink, Grunt 2. Pig 특징 프로그램의 용이성 상호 관련된 여러 데이터 변환으로 구성된 복잡한 작업은 데이터 흐름 시퀀스로 인코딩되므로 쉽게 작성, 이해, 유지 관리할 수 있다. 최적화 기회 인코딩되는 방식을 통해 시스템은 자동으로 실행을 최적화한다. 확장성 사용자는 자신의 목적에 따라 자신의 함수를 만들 수 있다. 3. P.. 공감수 0 댓글수 0 2023. 3. 31.
[Hadoop] Hive 정의, 특징, 이해하기 1. Apache Hive 소개 Apache Hive은 Hadoop위에 구축된 데이터베이스로 쉬운 데이터 요약, ad-hoc 쿼리, 큰 데이터셋의 분석이 가능하다. 이러한 데이터는 Hadoop의 호환되는 분산 파일 시스템에 저장되어 있다. 2. Hive 특징 SQL 같은 쿼리 언어로 MapReduce 코드를 만든다. Facebook에서 개발되었다. H-SQL이라는 언어를 사용한다. 일괄처리(Batch)이다. Not interactive. HBase와 함께 쓰인다. 3. Hive가 제공하는 기능 데이터 요약(ETL)을 편하게 하는 도구들이 있다. HDFS에 Ad-hoc 쿼리와 큰 데이터셋의 분석들이 저장된다. 데이터에 구조화를 하는 기법(A mechanism to put structure on this d.. 공감수 0 댓글수 0 2023. 3. 30.
[Google][Dataproc] Hive 이용해보기 1. 초기설정 클러스터 초기설정법을 모른다면 아래글을 참고하자 2023.03.20 - [데이터 사이언스] - Google Dataproc 설정하기 (클러스터 생성하기) demo라는 이름의 클러스터를 클릭하여 들어간다. 2. Demo를 클릭한 이후 이제 클러스터에 Job를 실행하라고 양식을 작성하게 된다. 작업 제출에 들어간다. 3. 작업 제출 클릭 후 세부설정 작업 ID : Job의 이름이다. 알맞게 이름을 지어주자. 작업유형 : Hive를 이용함으로 Hive로 설정해 주자. 쿼리 소스 유형 : 파일이 있다면 쿼리파일을 이용해도 되고, 코드를 복사 붙이기 한다면 쿼리 텍스트 그리고 밑에 제출을 누르면 작업 제출이 완료된다. 코드는 아래를 이용했다. 1_create-table.hql이다. https://g.. 공감수 0 댓글수 0 2023. 3. 29.
[Hadoop] MapReduce 2.0 등장 배경, 특징 1. MapReduce 1.0의 한계 일괄처리(batch processing)만 지원 일괄처리 : 컴퓨터의 프로그램의 흐름에 따라 자료를 순차적으로 처리 데이터끼리 상호작용 하지 않는다. (Not interactive) MapReduce Job을 코딩하는게 복잡하다. 개발자 인력의 부족 Job이 사업 모델에 적합하지 않은 부분이 많음 기업에서 필요로 하는 특징들이 부족함 낮은 보안성 (security) 높은 가용성(high availability) 부족 2. MapReduce 2.0의 등장 JobTracker의 역할을 분할함 JobTracker : Apache Hadoop의 MapReduce 엔진에서 실행되는 데몬이다. JobTracker는 MapReduce Job을 관리 자원관리 (Resource ma.. 공감수 0 댓글수 0 2023. 3. 29.
[Hadoop] MapReduce 최적화하기, 튜닝하기 1. MapReduce 최적화하기 Job이 실행되기 전에 최적화하기 데이터 전처리하기 (데이터를 변형하여 원하는 형태로 사용) ex) 특수문자 제거하기, 영어가 아닌 문자 제거하기 데이터를 로드할 때 최적화하기 압축비율 바꾸기 Job 부분의 map 부분 최적화하기 코드를 어떻게 잘 짜는지 Job 부분의 shuffle 최적화하기 Job 부분의 reduce 최적화하기 Job이 끝나고 난 뒤에 최적화 하기 2. 실행전에 고려해볼만한 최적화 파일 사이즈(File size) 압축(Compression) 암호화(Encryption) 3. 물리적 MapReduce 최적화 cluster configuration paremeter를 확인하여 다음을 확인한다. 사용되지 않는 자원이 있는가? 과도하게 사용되는 자원이 있는가.. 공감수 0 댓글수 0 2023. 3. 28.
[Hadoop] MapReduce 기본개념, 정의, 특징, MapReduce 1.0 1. MapReduce 프로그래밍 패러다임 하나의 문제를 풀기 위해 설계되었다. 구글이 만들었다. 두 개의 부분으로 나뉨. (Map part, Reduce part) 2. Map 파트 데이터에 Map() 함수를 실행시킨다. 각 노드를 실행시킨다. (each node) 각 노드에 쌍의 결과가 나온다. 3. Reduce 파트 데이터에 Reduce() 함수를 실행시킨다. 어떤 노드에 실행시킨다. (some node) 어떤 노드에 쌍을 종합한다. 결과 : 합쳐진 리스트 4. 간단히 그림으로 이해하기 간단설명 예를 들어 3개의 서로 다른 Map Machine에 서른 다른 크기의 데이터가 들어간 모습이다. 데이터들이 Shuffle 되고, 같은 크기의 데이터로 Sort 되고, Reduce에서 데이터들이 합쳐진다. (.. 공감수 0 댓글수 0 2023. 3. 27.
[파이썬][자료구조] Counter 설명, 예시, 문자열, 파일에서 알파벳 세기 1. Counter Counter는 dict의 서브클래스로 파이썬에서 해싱가능한 개체를 세기 위해 설계됐다. 객체를 key로 개수를 value로 저장하는 딕셔너리이다. Counter를 이용하기 위해서는 연속되거나, 반복 가능한 객체를 인자로 제공해야 한다. 2. Counter를 이용한 예시 from collections import Counter #문자열을 인자로 사용 Counter("mississippi") #리스트를 인자로 사용 Counter(list("mississippi")) Output Counter({'m': 1, 'i': 4, 's': 4, 'p': 2}) 3. set()을 이용해 1로 초기화하기 파이썬의 set은 unique 객체를 저장한다. (중복되지 않는) 아래 예제에서는 중복되는 알파.. 공감수 0 댓글수 0 2023. 3. 23.
[프로그래머스][Python] 카펫 1. 문제설명 Leo는 카펫을 사러 갔다가 아래 그림과 같이 중앙에는 노란색으로 칠해져 있고 테두리 1줄은 갈색으로 칠해져 있는 격자 모양 카펫을 봤습니다. Leo는 집으로 돌아와서 아까 본 카펫의 노란색과 갈색으로 색칠된 격자의 개수는 기억했지만, 전체 카펫의 크기는 기억하지 못했습니다. Leo가 본 카펫에서 갈색 격자의 수 brown, 노란색 격자의 수 yellow가 매개변수로 주어질 때 카펫의 가로, 세로 크기를 순서대로 배열에 담아 return 하도록 solution 함수를 작성해주세요. 제한사항 갈색 격자의 수 brown은 8 이상 5,000 이하인 자연수입니다. 노란색 격자의 수 yellow는 1 이상 2,000,000 이하인 자연수입니다. 카펫의 가로 길이는 세로 길이와 같거나, 세로 길이보.. 공감수 0 댓글수 0 2023. 3. 22.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.