Databricks Databricks-Certified-Professional-Data-Engineer Korean Value Pack (Frequently Bought Together)

머신러닝 팀은 델타 레이크 레이크의 레이크하우스에 있는 customer_parsams라는 테이블을 고객 이탈 예측에 사용합니다. 이 테이블에는 여러 상위 소스에서 가져온 고객 정보가 포함되어 있습니다.
현재 데이터 엔지니어링 팀은 상위 데이터 소스에서 가져온 최신 유효 값으로 테이블을 덮어쓰는 방식으로 매일 밤 이 테이블을 업데이트합니다.
데이터 엔지니어 팀은 업데이트가 완료되는 즉시 새 버전과 이전 버전 간의 차이점을 확인하고자 합니다.
현재 구현 방식을 고려할 때, 어떤 방법을 사용할 수 있을까요?

• A. Spark 이벤트 로그를 분석하여 업데이트, 삽입 또는 삭제된 행을 식별합니다.
• B. Delta Lake의 내장 버전 관리 및 타임 트래블 기능을 사용하여 새 버전과 이전 버전 간의 차이를 계산하는 쿼리를 실행합니다.
• C. Delta Lake 트랜잭션 로그를 분석하여 새로 기록된 모든 데이터 파일을 식별합니다.
• D. DESCRIBE HISTORY customer_churn_params 명령을 실행하여 추가되거나 수정된 ​​모든 레코드의 로그를 포함하여 업데이트에 대한 전체 작업 메트릭을 얻으십시오.

데이터 엔지니어링 팀은 수천 개의 테이블과 뷰를 포함하는 엔터프라이즈 시스템을 레이크하우스로 마이그레이션하고 있습니다. 그들은 브론즈, 실버, 골드 테이블을 순차적으로 사용하여 목표 아키텍처를 구현할 계획입니다.
브론즈 테이블은 주로 프로덕션 데이터 엔지니어링 워크로드에 사용되고, 실버 테이블은 데이터 엔지니어링 및 머신 러닝 워크로드를 모두 지원하는 데 사용됩니다. 골드 테이블은 주로 비즈니스 인텔리전스 및 보고 목적으로 사용됩니다. 모든 데이터 계층에 개인 식별 정보(PII)가 존재하지만, 실버 및 골드 계층의 모든 데이터에는 가명화 및 익명화 규칙이 적용됩니다.
해당 조직은 다양한 팀 간의 협업 능력을 극대화하면서 보안 문제를 줄이는 데 관심이 있습니다.
다음 중 이 시스템 구현을 위한 모범 사례를 보여주는 문장은 무엇입니까?

• A. 데이터 품질 등급에 따라 테이블을 별도의 데이터베이스에 격리하면 데이터베이스 ACL을 통해 권한 관리가 용이해지고 관리 대상 테이블의 기본 저장 위치를 ​​물리적으로 분리할 수 있습니다.
• B. Databricks의 데이터베이스는 단순히 논리적 구조이기 때문에 데이터베이스 구성에 대한 선택은 Lakehouse의 보안이나 검색 가능성에 영향을 미치지 않습니다.
• C. 기본 Databricks 데이터베이스에서 작업하면 관리형 테이블을 사용할 때 가장 높은 보안을 제공합니다. 이러한 테이블은 DBFS 루트에 생성되기 때문입니다.
• D. 모든 테이블은 생성된 데이터베이스에 사용되는 동일한 스토리지 컨테이너에 있어야 하므로, 조직은 데이터 격리 요구 사항에 따라 수십 개에서 수천 개의 데이터베이스를 생성할 준비를 해야 합니다.
• E. Storinq는 모든 프로덕션 테이블을 단일 데이터베이스에 저장하여 레이크하우스 전체에서 사용 가능한 모든 데이터 자산에 대한 통합된 보기를 제공하고, 모든 사용자에게 해당 데이터베이스에 대한 보기 권한을 부여하여 검색을 간소화합니다.

데이터 엔지니어가 현재 운영 환경에서 사용 중인 여러 Databricks 노트북에 정의된 Python 함수에 대해 일반적인 Python 테스트 프레임워크를 사용하여 단위 테스트를 실행하려고 합니다.
데이터 엔지니어는 실제 운영 환경에서 데이터를 다루는 함수에 대해 어떻게 단위 테스트를 실행할 수 있을까요?

• A. 동일한 노트북 내에서 단위 테스트와 함수를 정의합니다.
• B. 별도의 Databricks 노트북에서 단위 테스트 함수를 정의하고 가져옵니다.
• C. 프로덕션 환경과 매우 유사한 비프로덕션 데이터를 사용하여 단위 테스트를 실행합니다.
• D. 저장소의 파일을 사용하여 함수를 정의하고 단위 테스트를 수행합니다.

비즈니스 보고팀은 대시보드에 필요한 데이터를 매시간 업데이트해야 합니다. 데이터 추출, 변환 및 로드를 수행하는 파이프라인의 총 처리 시간은 10분입니다. 정상적인 운영 환경을 가정할 때, 가장 낮은 비용으로 서비스 수준 계약(SLA) 요구 사항을 충족하는 구성은 무엇일까요?

• A. 지정된 디렉터리에 새 데이터가 추가될 때마다 실행되는 작업을 구성합니다.
• B. 60분 간격으로 구조화된 스트리밍 작업을 예약합니다.
• C. 새 작업 클러스터에서 파이프라인을 한 시간마다 실행하도록 작업을 예약합니다.
• D. 전용 대화형 클러스터에서 파이프라인이 한 시간에 한 번 실행되도록 작업을 예약합니다.

거의 실시간에 가까운 워크로드를 처리하기 위해 데이터 엔지니어가 Databricks Auto Loader의 스키마 감지 및 진화 기능을 활용하는 헬퍼 함수를 ​​개발하고 있습니다. 이 함수는 소스의 스키마를 자동으로 감지하고, 소스 디렉터리에 JSON 파일이 도착하는 즉시 점진적으로 처리하며, 새 필드가 감지되면 테이블의 스키마를 자동으로 진화시킵니다.
함수는 아래와 같이 공백으로 표시됩니다.

다음 보기 중 주어진 요건을 충족하는 빈칸에 맞는 정답은 무엇입니까?

• A. 옵션 A
• B. 옵션 E
• C. 옵션 D
• D. 옵션 C
• E. 옵션 B