자주 묻는 질문

일반

Decisioning Studio Go란 무엇인가요?

Decisioning Studio Go는 Braze 대시보드에 내장된 인공지능 의사 결정 에이전트입니다. 크리에이티브 배리언트, 발송 타이밍, 요일 같은 옵션 메뉴를 큐레이트하면, 에이전트가 클릭을 최적화하도록 각 사용자에게 맞는 조합을 선택합니다. 데이터 과학자나 커스텀 통합 없이도 일대일 개인화를 제공합니다.

Decisioning Studio Go는 A/B 테스트와 어떻게 다른가요?

A/B 테스트는 전체 오디언스 또는 Segment 내에서 평균적으로 가장 성과가 좋은 배리언트를 찾아, 그 하나의 배리언트를 해당 그룹의 모든 사용자에게 배포합니다.

Decisioning Studio Go는 각 사용자가 이전에 어떤 콘텐츠에 참여했는지를 바탕으로 사용자마다 가장 적합한 배리언트를 선택합니다. 같은 발송에서도 사용자마다 서로 다른 배리언트를 받을 수 있습니다. 하나의 우승 배리언트를 그룹 전체에 배포하는 대신, Decisioning Studio Go는 개인 수준에서 콘텐츠를 개인화합니다.

Decisioning Studio Go는 Decisioning Studio Pro와 어떻게 다른가요?

Go는 셀프 서비스 등급입니다. 부담스러운 구현 작업 없이 일대일 이메일 개인화를 원하는 마케터에게 적합한 출발점입니다. 클릭을 기준으로 최적화하며, Braze 내에서 직접 구성한 옵션으로 작동합니다.

Pro는 풀 서비스 등급입니다. 어떤 비즈니스 측정기준이든 최적화할 수 있고, 모든 퍼스트파티 데이터 소스에 연결할 수 있으며, 여러 채널을 지원하고, Braze AI Decisioning Services 팀의 전담 지원을 받을 수 있습니다.

Decisioning Studio Go는 어떤 종류의 인공지능을 사용하나요? 생성형인가요?

아니요. 각 사용자에게 무엇을 보낼지 결정하는 에이전트는 의사 결정 에이전트입니다. 콘텐츠를 대신 작성하지 않습니다. 사용자가 옵션을 제공하면, 에이전트는 각 사용자에게 어떤 옵션이 가장 효과적인지 학습합니다.

Decisioning Studio Go는 강화 학습을 기반으로 합니다. 에이전트는 각 발송을 학습 기회로 삼습니다. 승인된 옵션의 조합을 시도하고, 각 사용자가 참여하는지 관찰한 뒤, 누구에게 무엇이 효과적인지에 대한 이해를 업데이트합니다. 시간이 지날수록 각 사용자를 메뉴에서 클릭을 유도할 가능성이 가장 높은 옵션과 점점 더 정확하게 연결합니다.

에이전트는 어떤 데이터로 학습하나요?

에이전트는 Braze 내의 다음 세 가지로부터 학습합니다.

• 오디언스: 에이전트에 연결된 Segment의 사용자
• 해당 오디언스의 이메일 인게이지먼트: 에이전트가 보낸 메시지에 사람들이 어떻게 반응하는지
• 콘텐츠에 대한 자체적인 이해: 크리에이티브를 추가하면 에이전트가 각 크리에이티브에 대한 자체 표현을 구축하고, 이를 활용해 어떤 콘텐츠가 어떤 사용자에게 적합한지 추론합니다

에이전트는 커스텀 속성이나 웨어하우스 데이터 같은 커스텀 데이터로는 학습하지 않습니다. 퍼스트파티 데이터를 활용하거나 커스텀 비즈니스 측정기준을 최적화하는 의사 결정이 필요하다면 Decisioning Studio Pro를 사용하세요.

오디언스 및 대조군

Decisioning Studio 그룹과 무작위 대조군의 차이점은 무엇인가요?

Decisioning Studio 그룹은 인공지능으로 최적화된 이메일 콘텐츠를 받습니다. 에이전트가 사용자마다 가장 적합한 배리언트를 선택합니다. 무작위 대조군은 구성한 옵션을 최적화 없이 무작위로 조합한 이메일을 받습니다.

두 그룹 모두 구성한 제약 조건을 따릅니다. 예를 들어 15일 이내에 같은 제목란을 반복하지 않도록 설정했다면, 이 규칙은 무작위 대조군에도 적용됩니다. 두 그룹을 비교하면 에이전트가 만들어 낸 성과 향상을 정확하게 측정할 수 있습니다.

무작위 대조군은 이메일을 전혀 받지 않는 홀드아웃 그룹인가요?

아니요. 무작위 대조군 사용자도 이메일을 받습니다. 이 사용자들은 스케줄에서 허용된 날짜에 구성한 옵션을 무작위로 조합한 이메일을 받습니다. 즉, 인공지능으로 개인화된 이메일과 같은 콘텐츠를 무작위로 선택한 이메일을 비교하는 방식입니다.

무작위 대조군이 필요한 이유는 무엇이며, 규모는 어느 정도여야 하나요?

이유는 두 가지입니다. 첫째, 무작위 기준선 대비 에이전트의 성과가 얼마나 더 나은지 지속적으로 실시간 측정할 수 있습니다. 둘째, 에이전트는 무작위 대조군의 행동을 학습 신호의 일부로 활용합니다.

무작위 대조군의 최소 규모는 5%입니다. 분할 비율은 오디언스 규모에 맞춰 조정하는 것이 좋습니다. 오디언스가 크면 작은 대조군으로도 성과 향상을 안정적으로 측정할 수 있지만, 오디언스가 작으면 그만큼 더 큰 대조군이 필요합니다.

오디언스 규모	권장 분할 비율(Decisioning Studio / 무작위 대조군)
20,000 – 100,000	80 / 20
100,000 – 1,000,000	90 / 10
1,000,000 – 40,000,000	95 / 5

다른 Canvas나 Campaign에서 이미 사용 중인 Segment를 사용할 수 있나요?

사용할 수는 있지만 권장하지 않으며, 경고가 표시됩니다. 같은 사용자가 Decisioning Studio Go와 다른 Canvases 또는 Campaigns에서 동시에 메시지를 받으면, 다른 메시지가 에이전트가 고려할 수 없는 방식으로 인게이지먼트에 영향을 줍니다. 가장 바람직한 설정은 에이전트 전용 Segment를 사용하는 것입니다.

구성

무엇을 개인화할 수 있나요?

각 기본 크리에이티브에서 Liquid 태그를 사용해 제목란, 클릭 유도 문안(CTA), 이미지를 개인화 지점으로 지정할 수 있습니다. 그러면 에이전트가 각 구성 요소에 대해 제공된 배리언트 중 하나를 사용자별로 선택합니다. 기본 크리에이티브를 여러 개 둘 수도 있으며, 이 경우 에이전트는 사용할 기본 크리에이티브도 함께 선택합니다.

크리에이티브에 Content Blocks, 카탈로그 참조 또는 Liquid를 사용할 수 있나요?

예. 에이전트는 각 크리에이티브의 내용을 완전히 렌더링된 상태로 평가합니다. Liquid, 카탈로그 참조, Content Blocks는 에이전트가 크리에이티브를 파악하기 전에 모두 확장됩니다. 따라서 동적 콘텐츠와 조합된 콘텐츠도 에이전트의 학습 대상에 포함됩니다.

단, 연결된 콘텐츠는 예외입니다. 연결된 콘텐츠를 사용하는 이메일도 정상적으로 렌더링되고 발송됩니다. 하지만 에이전트는 연결된 콘텐츠가 반환하는 내용을 보거나 학습하지 않습니다. 두 크리에이티브를 의미 있게 구분하는 요소로 연결된 콘텐츠에 의존하지 마세요.

클릭 가능한 요소가 없는 이미지 기반 템플릿을 사용할 수 있나요?

예. 이미지로만 구성된 이메일이라면 기본 크리에이티브 하나를 사용하고, 그 안에서 에이전트가 이미지를 선택하도록 하세요. 에이전트가 제목란도 선택하도록 할 수 있습니다. 이미지 변형을 각각 별도의 기본 크리에이티브로 등록하지 마세요. 이미지 전용 이메일에는 최적화할 별도의 텍스트 CTA가 없습니다.

전환 이벤트를 변경할 수 있나요?

셀프 서비스 티어에서 지원되는 전환 이벤트는 클릭입니다. Decisioning Studio Pro에서는 원하는 커스텀 비즈니스 측정기준을 최적화할 수 있습니다.

발송 빈도는 어떻게 작동하나요?

주 3회 발송처럼 빈도를 하나만 선택합니다. 에이전트가 여러 빈도 중에서 고르지는 않습니다. 대신 선택한 빈도 안에서 허용된 요일 중 어느 요일에, 어느 시간에 발송할지 결정합니다.

최대 게재빈도 설정은 어떻게 작동하나요?

설정 중에 워크스페이스의 최대 게재빈도 설정 규칙을 에이전트에 적용할 수 있습니다. 또한 에이전트의 발송을 각 사용자의 글로벌 최대 게재빈도에 포함할지도 선택할 수 있습니다. 워크스페이스의 최대 게재빈도 구성을 바탕으로 프로그램에 맞는 접근 방식을 정하고 싶다면 고객 성공 매니저나 솔루션 컨설턴트에게 도움을 요청하세요.

방해금지 시간을 설정하면 해당 시간대에 이메일이 절대 발송되지 않나요?

방해금지 시간은 에이전트가 고를 수 있는 발송 시간을 제한합니다. 발송을 확실히 차단하는 기능은 아닙니다. 특정 시간대에 메시지가 절대 발송되지 않도록 하려면 워크스페이스 수준 방해금지 시간을 추가로 설정하세요.

에이전트는 여러 시간대에 걸친 오디언스를 어떻게 처리하나요?

발송은 각 사용자의 현지 시간대를 기준으로 이루어집니다. 에이전트는 의도한 현지 시간에 정확히 발송하는 것보다 메시지를 전달하는 것을 우선합니다. 따라서 오디언스가 워크스페이스와 멀리 떨어진 시간대에 분포해 있다면 메시지가 의도한 요일이나 시간대를 벗어나 도착할 때가 있습니다. 오디언스 대부분이 한 지역에 있다면 허용 요일과 방해금지 시간을 설정할 때 이 점을 고려하세요.

에이전트가 여러 채널로 발송할 수 있나요?

각 에이전트는 하나의 채널만 사용하며, 현재 지원되는 채널은 이메일입니다. 프로그램별로 여러 에이전트를 동시에 실행할 수 있지만, 각 에이전트가 담당하는 채널은 하나입니다.

테스트 및 출시

실제 운영 전에 어떻게 테스트하나요?

Braze 작성기의 기본 테스트 발송 기능을 사용하세요. 테스트 발송은 직접 선택한 특정 배리언트 조합을 보여줍니다. 이메일 자체를 검토하기 위한 기능이며, 에이전트가 실제 사용자에게 무엇을 보낼지 예측하는 기능은 아닙니다. 작성기의 동적 미리보기에서도 다양한 배리언트 조합이 어떻게 렌더링되는지 확인할 수 있습니다.

출시 후에는 어떻게 되나요?

에이전트는 학습 기간에 들어가며, 리포트에는 현재 어느 단계에 있는지 항상 표시됩니다.

단계	진행 상황
출시됨, 아직 발송 전	활성화되었지만 첫 발송이 아직 나가지 않았습니다.
신호 대기 중	발송 중이지만 학습을 시작할 만큼 실제 클릭이 아직 충분하지 않습니다.
학습 중	학습할 만큼 신호가 충분하며, 에이전트가 여러 조합을 탐색합니다. 이 단계에서는 성능이 무작위와 비슷해 보일 수 있지만 정상적인 현상입니다.
부분 학습됨	개인화를 진행하고 있지만, 결과를 최종 결과로 보기에는 아직 충분히 안정적이지 않습니다.
완전 학습됨	학습이 완료되었고 결과가 안정적입니다. 이 시점부터 상승 효과를 신뢰하고 보고할 수 있습니다.

신규 사용자는 오디언스에 진입한 첫날에 첫 발송을 받으며, 에이전트는 그다음 날부터 해당 사용자에 대한 개인화를 시작합니다. 에이전트가 학습하는 동안에도 이메일은 계속 발송되므로 별도의 대기 기간이 없습니다.

각 단계에서 예상되는 사항과 초기 결과를 해석하는 방법은 출시 후 예상 사항을 참조하세요.

처음 몇 주 동안 에이전트 성과가 정체되거나 오히려 뒤처지는 것처럼 보입니다. 문제가 있는 건가요?

대부분은 문제가 아닙니다. 초기에는 에이전트가 아직 학습 중이며, 보통 오랜 기간에 걸쳐 이미 최적화된 성숙한 프로그램과 비교되기 때문입니다. 이러한 초기 격차는 예상된 현상입니다. 신뢰할 수 있는 판단을 위해서는 두 가지 조건이 필요합니다. 에이전트가 학습할 만큼 충분한 실제 클릭이 있어야 하고, 완전한 개인화 단계로 넘어갈 시간이 필요합니다. 결과를 판단하기 전에 에이전트가 완전 학습됨 상태가 될 때까지 기다리고, 비교가 공정한지 확인하세요. 자세한 내용은 Decisioning Studio Go 측정을 참조하세요.

출시 후에 에이전트를 수정할 수 있나요?

네. 오디언스, 스케줄, 크리에이티브, 제약 조건은 모두 출시 후에도 업데이트할 수 있으며, 배리언트와 차원도 변경할 수 있습니다. 변경 사항은 승격해야 적용됩니다. 새 배리언트를 추가해도 기존 배리언트에 대한 에이전트의 학습은 초기화되지 않습니다.

출시 후에 콘텐츠 옵션을 업데이트하면 어떻게 되나요?

처음 설정할 때와 같은 방식으로 배리언트를 추가, 제거 또는 변경할 수 있습니다. 변경 사항은 승격해야 적용됩니다. 새 배리언트를 추가해도 기존 배리언트에 대한 에이전트의 학습은 초기화되지 않습니다.

리포팅 및 결과

에이전트는 어떤 측정기준을 최적화하며, 리프트 수치는 무엇을 의미하나요?

에이전트는 클릭한 고유 사용자 수인 Unique Customers Who Clicked Daily(일별 클릭 고유 고객 수)를 최적화합니다. 리프트는 이 측정기준에서 Decisioning Studio 그룹과 무작위 대조군 간의 차이입니다.

Decisioning Studio Go 리포팅이 Braze의 다른 곳에서 보는 이메일 분석과 일치하나요?

수치가 다를 수 있습니다. 에이전트는 실제 클릭에서만 학습합니다. 따라서 모든 클릭은 집계되기 전에 자동화된 활동과 수신 거부 관련 클릭을 걸러내는 독립적인 검증 필터를 거칩니다. 이 때문에 Decisioning Studio의 클릭 총계는 원시 이메일 리포트보다 낮게 나타납니다. 하지만 동일한 필터링이 각 그룹에 똑같이 적용되므로, Decisioning Studio 그룹과 무작위 대조군 간의 상대적 비교는 여전히 유효합니다.

Decisioning Studio Go를 기존 BAU(business-as-usual) 프로그램과 어떻게 비교하나요?

기본 제공되는 비교는 항상 에이전트와 해당 무작위 대조군 간의 비교입니다. 기존 BAU 프로그램과 비교하려면 오디언스를 BAU 그룹과 Decisioning Studio Go 그룹으로 나누어 직접 설정해야 합니다. 방법은 두 가지입니다.

• Canvas 내에서: 실험 경로 단계를 사용하여 사용자를 BAU 경로 또는 에이전트의 Segment로 라우팅합니다. 이 방법을 권장합니다.
• Canvas 외부에서: 무작위 버킷 번호를 사용하여 BAU 그룹과 Decisioning Studio Go 그룹을 나눕니다.

공정한 테스트를 위해 그룹 간 발송 동작을 동일하게 유지하고(에이전트의 빈도를 BAU에 맞추거나 BAU 평균으로 설정), BAU 크리에이티브도 에이전트에 옵션으로 로드되어 있는지 확인하세요. 아직 교육 중인 에이전트는 초기에 성숙한 BAU보다 성과가 뒤처지는 경우가 많다는 점도 기억하세요. 전체 안내는 Decisioning Studio Go 측정을 참조하세요.

사용자가 어느 그룹에 속했는지 확인하거나 데이터 웨어하우스에서 결과를 분석하려면 어떻게 하나요?

각 발송은 users.messages.email.Send 이벤트의 message_extras에 식별자를 기록합니다. ds_go_agent_id(어떤 에이전트인지), ds_go_agent_regime(인공지능 기반 또는 무작위 대조군), ds_go_rec_id(결정 ID)가 기록됩니다. 이 식별자는 자동으로 기록됩니다. 데이터 웨어하우스에서 사용하려면 내보내기에 발송 이벤트의 message_extras가 포함되어 있는지 확인한 다음, user_id 및 dispatch_id를 기준으로 열람 및 클릭 데이터와 조인하세요.

리포팅은 언제 완전히 채워지나요?

리포팅 데이터는 약 하루 정도 지연되므로, 완전한 데이터를 보려면 리포팅 종료일을 오늘로부터 이틀 전으로 설정하세요. 또한 출시 후 전체 리포팅이 채워지기까지 며칠이 걸립니다. 출시 직후 리포팅이 비어 있는 것처럼 보이더라도 문제가 있다고 단정하지 말고 며칠 기다려 주세요.

어떤 조합이 가장 좋은 성과를 내는지 확인할 수 있나요?

네. 에이전트 선호도 보기에서 에이전트가 각 배리언트를 얼마나 자주 선택했는지 확인할 수 있으며, 요소별 세부 분석에서는 개별 제목란, CTA, 이미지가 여러 조합에서 어떤 성과를 내는지 확인할 수 있습니다.

에이전트가 발송하는 콘텐츠에 대한 책임은 누구에게 있나요?

사용자에게 있습니다. 에이전트는 사용자가 배리언트로 추가한 콘텐츠만 발송합니다. 에이전트는 각 사용자에게 보낼 조합을 결정하지만, 모든 개별 요소는 사용자가 제공한 배리언트에서 나옵니다.

지원

에이전트 관련 도움은 어디에서 받을 수 있나요?

구성, 성과 검토 또는 프로그램 설계에 도움이 필요하면 Braze 고객 성공 매니저 또는 솔루션 컨설턴트에게 문의하세요.