Databricks 스파크 시작(내용무)

Databricks - Sign In community.cloud.databricks.com 노트북 생성하고, 클러스터 생성 완료 kaggle 사이트 접속, 로그인 후 데이터 내려받기
카테고리 없음 2024. 3. 26. 15:56
PostgreSQL, SparkSQL

PostgreSQL PostgreSQL은 오픈소스 RDB(Relational Database)이다. MySQL 등 다른 오픈소스 RDB와 비교하면 PostgreSQL은 표준 SQL을 잘 준수하며, 윈도우함수, CTE(WITH구문) 등 분석에 필수적으로 사용하는 구문 등을 모두 구현한다. Apache Hive PostgreSQL등의 RDB에서 대량의 데이터를 처리할 때 디스크에서 보틀넥이 발생하게 된다. 디스크 I/O가 보틀넥이 되는 경우 고속으로 데이터를 처리하기 위한 아키텍처로 분산 파일 시스템이 고안되었다. 분산 파일 시스템을 사용하면 거대한 데이터를 작게 분할해서 여러 개의 디스크에 분산해서 저장하고 각 디스크에서 동시에 데이터를 읽어 들여 고속으로 대량의 데이터를 처리할 수 있게 된다. Apach..
ALL/Data 2023. 7. 21. 15:54
1