알림 및 Currents로 콘텐츠 카드 전송 모니터링
디버깅 툴, 임계값 알림, Currents 이벤트, API 모니터링을 사용하여 사용자가 보고하기 전에 콘텐츠 카드 전송 감소를 파악하세요.
이 예시 소개
가상의 모바일 뱅킹 브랜드인 Pyrite Financial은 앱 홈 화면의 전용 슬롯에 콘텐츠 카드를 렌더링합니다. 이 슬롯에는 대부분의 사용자에게 카드가 표시되어야 하므로, 슬롯이 비어 있다면 조사할 가치가 있는 신호입니다.
이 예시에서는 다음 방법을 보여줍니다.
- SDK 디버거, 내부 그룹, 이벤트 사용자 로그를 사용하여 테스트 중에 콘텐츠 카드 통합 검증하기
- 예상 메시지 볼륨에 대한 Campaign 또는 Canvas 임계값 알림 설정하기
- Currents에서 Canvas 진입, 콘텐츠 카드 전송, 노출 횟수, 중단 추적하기
- 메시징을 트리거하는 REST API 엔드포인트에서 볼륨 감소와 200이 아닌 응답 모니터링하기
- Datadog 또는 Canvas 내보내기 엔드포인트로 보조적인 전송 볼륨 확인 추가하기
- Braze가 관찰할 수 없는 앱 측 대체 동작 로깅하기
콘텐츠 카드 게재 위치가 비즈니스에 중요하고 전송이 감소했다는 운영 신호가 필요할 때 이 예시를 활용하세요. 각 단계는 선택 사항이므로 워크스페이스에서 이미 지원하는 단계부터 시작하세요.
고려 사항
- 먼저 타겟팅된 모든 사용자가 해당 게재 위치에서 항상 카드를 봐야 하는지, 아니면 일부 사용자에게는 빈 슬롯이 허용되는지 결정하세요. 볼륨 임계값과 대체 로직은 이 결정에 따라 달라집니다.
- Braze는 SDK 연결 상태를 모니터링하고 Braze 상태 페이지에서 장애를 보고합니다. 이 예시는 직접 모니터링하는 항목, 즉 Campaign 및 Canvas 구성, 메시지 볼륨, API 트래픽, 앱 측 대체 동작을 다룹니다.
- 모든 트리거가 메시지를 생성하는 것은 아닙니다. 트리거가 Braze에 도달한 후에도 여정 로직, 타겟팅, 최대 게재빈도 설정, 사용량 제한조치로 인해 전송이 줄어들 수 있습니다. 트리거 볼륨과 전송 볼륨은 일대일 일치가 아닌 추세로 비교하세요.
- 이벤트 수준 모니터링에는 Currents가 필요합니다. Currents가 없다면 Campaign 및 Canvas 분석, 임계값 알림, REST 내보내기 엔드포인트를 대신 사용하세요.
- Datadog 측정기준은 전송 횟수만 보고하며 Braze 대시보드 및 Currents와 약간 다를 수 있습니다.
- 과도한 새로 고침은 사용량 제한을 받을 수 있습니다. SDK는 콘텐츠 카드 새로 고침 요청에 기기별 사용량 제한을 적용합니다. 짧은 시간 내에 반복적으로 호출하기보다는 사용자 라이프사이클의 의미 있는 시점에 새로 고침 메서드를 호출하세요. Content Cards 사용량 제한 및 배너로 사용하는 Content Cards의 지연 시간 개선을 참조하세요.
- Liquid는 의도적으로 카드를 표시하지 않을 수 있습니다. Liquid가 메시지를 중단하면 Braze는 전송 대신 Content Card Abort 이벤트를 기록합니다. 중단은 조건부 콘텐츠의 예상된 동작으로 간주하고, 볼륨이 변할 때만 신호로 취급하세요.
- 사용 가능한 카드가 없을 때 앱에서 기본 콘텐츠를 표시한다면, 이를 자체 앱 분석에서 추적하세요. Braze는 무엇을 전송했는지만 알 뿐, 앱이 카드를 표시했는지 플레이스홀더를 표시했는지는 알 수 없습니다.
설정
1단계: 출시 전 통합 검증하기
프로덕션 알림이 통합상의 누락이 아닌 실제 문제를 반영하도록 예상 동작을 확인하세요.
- SDK 디버거에서 디버깅 세션을 생성하여 SDK 활동을 실시간으로 확인하고 카드 요청과 노출 횟수가 기록되는지 확인합니다.
- 테스트 계정을 내부 그룹에 추가하여 출시 전에 테스트 사용자를 대상으로 Campaign 또는 Canvas를 테스트합니다.
- 개별 사용자의 이벤트 사용자 로그를 확인하여 어떤 Campaign이 각 카드를 SDK에 전달했는지 확인합니다.
테스트 중에 확인한 전송, 노출, 중단 볼륨을 기록하세요. 이 값은 설정할 임계값의 기준이 됩니다.
2단계: Campaign 또는 Canvas에 임계값 알림 설정하기
임계값 알림은 메시지 볼륨이 예상 범위를 벗어나면 이메일 또는 웹훅으로 알려줍니다. 웹훅 알림은 Slack 채널이나 온콜 시스템으로 전달할 수 있습니다.
- Campaigns: Campaign 분석 페이지에서 상한 및 하한 임계값을 설정합니다. 설정 단계는 Campaign 알림을 참조하세요.
- Canvases: 알림 관리 페이지에서 사용자 진입, 전송된 메시지 또는 둘 다에 대한 알림을 구성합니다. 설정 단계는 Canvas 임계값 알림을 참조하세요.
정상 볼륨보다 낮고 0보다 큰 하한 임계값을 선택하세요. 그러면 완전한 중단을 기다리지 않고 부분적인 감소에도 알림이 트리거됩니다.
3단계: Currents에서 진입, 전송, 노출 추적하기
Currents는 메시지 인게이지먼트 및 고객 행동 이벤트를 거의 실시간으로 데이터 플랫폼에 스트리밍하므로, Braze 대시보드 외부에서도 볼륨과 지연 시간을 모니터링할 수 있습니다.
Canvas에서 전송된 콘텐츠 카드의 경우, 다음 이벤트가 진입부터 노출까지의 경로를 다룹니다.
| 이벤트 | Currents 이벤트 이름 | 알 수 있는 내용 |
|---|---|---|
| Canvas Entry | users.canvas.Entry |
사용자가 카드를 전송하는 Canvas에 진입함 |
| Content Card Send | users.messages.contentcard.Send |
Braze가 사용자를 위해 카드를 생성하고 전송함 |
| Content Card Impression | users.messages.contentcard.Impression |
사용자에 대해 카드 노출이 기록됨 |
| Content Card Abort | users.messages.contentcard.Abort |
Liquid 로직으로 인해 카드가 전송되지 않음 |
콘텐츠 카드 캠페인의 경우 전송, 노출, 중단 이벤트를 모니터링하고 campaign_id로 필터링하세요.
- 볼륨 모니터링: 고정된 기간 동안 Canvas 또는 Campaign별 전송 및 노출 횟수를 추적하고, 볼륨이 과거 데이터를 기반으로 한 임계값 아래로 떨어지면 알림을 보냅니다.
- 지연 시간 모니터링: 생성 지연 시간은 진입 이벤트와 전송 이벤트를, 표시 지연 시간은 전송 이벤트와 노출 이벤트를 비교합니다. 카드가 첫 노출 시점에 생성되는 경우, 진입부터 노출까지 측정하면 생성 시간과 표시 시간이 섞이므로 표시 지연 시간에는 전송부터 노출까지의 시간을 사용하세요.
단계별 볼륨을 비교하면 일반적인 실패 유형을 파악하는 데 도움이 됩니다.
- 진입이 줄어들면 상위 트리거 또는 오디언스 문제를 의미합니다.
- 진입은 일정한데 전송이 줄어들면 여정 로직, 타겟팅 또는 Liquid 중단이 원인일 수 있습니다. 카드가 첫 노출 시점에 생성되는 경우, 사용자가 아직 앱을 열지 않았다는 의미일 수도 있습니다.
- 전송은 일정한데 노출이 줄어들면 SDK 새로 고침, 게재 위치 렌더링, 기기 사용량 제한 등 카드 생성과 표시 사이의 문제를 의미합니다.
이벤트 페이로드와 필드는 메시지 인게이지먼트 이벤트를 참조하세요.
4단계: API 트래픽 및 오류 응답 모니터링하기
트리거가 자체 시스템에서 시작된다면, 트리거를 전달하는 API 계층을 모니터링하세요.
- 메시징을 트리거하는 엔드포인트에 API 사용량 알림을 설정합니다. 볼륨 감소와 200이 아닌 응답 증가에 대한 조건을 구성합니다.
- 해당 엔드포인트의
200이 아닌 응답을 검토합니다. 오류 응답이 증가하면 최근 릴리스에서 잘못된 형식의 요청이 발생했거나 호출이 사용량 제한에 도달했음을 의미할 수 있습니다.
5단계: 보조 볼륨 확인 추가하기
기존 관측 도구나 예약된 작업에서 전송 볼륨 데이터를 확인하려면 다음을 사용하세요.
- Datadog: Datadog 통합은 Campaign, Canvas, 캔버스 단계 식별자로 태그가 지정된
braze.messaging.sent측정기준을 제공합니다. 특정 기간 동안 특정 메시지 단계의 전송 횟수를 확인할 때 사용하세요. 이 횟수는 집계 수준에서 Content Card Send 볼륨의 근사치이며 사용자 또는 전송 식별자는 포함하지 않습니다. - 내보내기 엔드포인트:
/canvas/data_series및/canvas/data_summary를 주기적으로 조회하여 Canvas 진입과 메시지 전송을 확인한 다음, 실행 결과를 비교하여 추세와 이상 징후를 파악합니다.
6단계: 앱에서 대체 동작 로깅하기
Braze는 앱이 무엇을 렌더링했는지가 아니라 무엇을 전송했는지를 보고합니다. Braze가 관찰할 수 없는 경우에 대해 앱 측 로깅이나 분석을 추가하세요.
- 피드 새로 고침은 완료되었지만 해당 게재 위치에 사용 가능한 카드가 없는 경우
- 앱이 카드 대신 대체 콘텐츠를 표시한 경우
- 새로 고침 요청이 실패했거나 사용량 제한을 받은 경우
Braze 데이터와 함께 확인하려면 이를 커스텀 이벤트로 전송하거나, 자체 분석 플랫폼에 보관하고 Currents 노출 볼륨과 비교하세요.
7단계: 알림이 발생했을 때 문제 분류하기
다음 확인 사항을 순서대로 진행하세요.
- Braze 상태 페이지에 진행 중인 장애가 없는지 확인합니다.
- Currents(또는 Canvas 및 Campaign 분석)에서 동일한 기간의 진입, 전송, 노출, 중단 볼륨을 비교합니다. 카드가 첫 노출 시점에 생성되는 경우, 사용자가 앱을 열기 전까지는 진입 볼륨이 전송 볼륨보다 클 수 있으므로 볼륨을 비교할 때 이를 고려하세요.
- 메시지를 트리거하는 엔드포인트의 API 사용량 알림과
200이 아닌 응답을 확인합니다. - 앱 측 대체 이벤트 또는 빈 게재 위치 이벤트를 Currents 노출 볼륨과 비교합니다.
- SDK 디버거와 이벤트 사용자 로그에서 샘플 사용자로 문제를 재현합니다.