시행착오와 배움을 기록하는 공간

프로그래밍이나 데이터 관련 공부를 하다보면 관련 용어들이 많이 등장하는데 용어들이 서로 비슷하기도 하고 서로간에 어떠한 관계가 있는지 정리할 필요성을 느껴 기록하게 되었다. 용어들이 점차 확장되도록 정리하려고 했다. 데이터란 ?데이터는 실세계의 가공되지 않는 모든 자료들을 말한다.우리는 실세계에서 가공되지 않은 자료들이 넘쳐나는 시대에 살고 있는데, 그 중에는 우리에게 유의미한 자료들도 있을것이고, 필요하지 않은 무의미한 정보들도 섞여 있을 것이다.정보란 ?그 많은 데이터들 중 우리에게 쓸모있고 의미있는 내용으로 추출하고 가공하여 체계적으로 조직한 데이터를 의미한다.데이터베이스(Database, DB) 란 무엇일까 ?  한마디로 '데이터의 집합'이라고 할 수 있다. 위에서 얘기한 수많은 방대한 데이터들을..

PostgreSQL PostgreSQL은 오픈소스 RDB(Relational Database)이다. MySQL 등 다른 오픈소스 RDB와 비교하면 PostgreSQL은 표준 SQL을 잘 준수하며, 윈도우함수, CTE(WITH구문) 등 분석에 필수적으로 사용하는 구문 등을 모두 구현한다. Apache Hive PostgreSQL등의 RDB에서 대량의 데이터를 처리할 때 디스크에서 보틀넥이 발생하게 된다. 디스크 I/O가 보틀넥이 되는 경우 고속으로 데이터를 처리하기 위한 아키텍처로 분산 파일 시스템이 고안되었다. 분산 파일 시스템을 사용하면 거대한 데이터를 작게 분할해서 여러 개의 디스크에 분산해서 저장하고 각 디스크에서 동시에 데이터를 읽어 들여 고속으로 대량의 데이터를 처리할 수 있게 된다. Apach..