MS M365 Copilot 서비스가 동작하는 기본 서비스 구조에 대해서 알아보도록 하겠습니다. MS M365 Copilot은 대규모 언어모델 생성형 인공지능 서비스와 마이크로소프트 365 앱과 마이크로소프트 그래프 데이터, 그리고 인터넷을 결합한 인공지능 서비스입니다. 이러한 MS M365 Copilot 서비스의 기본 아키텍처에 대해서 알아보도록 하겠습니다. 첫 번째 서비스 시작 단계는 유저 프롬프트라고 표현을 합니다. 사용자가 Word나 M365 앱과 같은 마이크로소프트 365 앱에서 자연어 지시사항인 프롬프트를 입력하면 서비스 처리를 담당하는 코파일럿 레이어 쪽으로 유저 요청이 전송됩니다. 두 번째 단계인 사전 처리 단계에서 코파일럿 레이어는 공유된 지식 자료에 대한 지식 그래프 RAG 기술을 활용해서 뛰어난 응답 결과를 제공할 수 있도록 프롬프트에 대한 사전 처리를 수행합니다. 세 번째 단계인 모디파이드 프롬프트 단계에서 사전 처리 단계에서의 이메일이나 원드라이브 파일들, 일정과 채팅과 같은 사용자 컨텍스트나 지식 자료를 활용해서 응답 품질을 높일 수 있는 모디파이드 프롬프트를 구성해 내고 이렇게 처리된 프롬프트를 생성형 인공지능 서비스 레이어 쪽으로 전달을 합니다. 네 번째 단계에서 코파일럿에서 서비스되는 대규모 언어모델 인공지능 서비스는 전달받은 프롬프트에 대한 응답을 생성해서 코파일럿 레이어 쪽으로 전송을 합니다. 이 단계가 실행된다고 보시면 됩니다. 다섯 번째 단계에서 코파일럿 레이어는 전달받은 응답에 대해서 마이크로소프트 그래프 기술과 시맨틱 인덱스 방식을 활용해서 후처리 작업을 진행합니다. 인공지능 사용 횟수와 같은 응답 로그 같은 결과물을 생성하는 단계로 이해도 좋습니다. 마지막 여섯 번째 단계에서 코파일럿 레이어는 생성형 인공지능 서비스에서 전달받은 응답과 유저 프롬프트를 호출한 앱에 대한 앱 명령어를 M365 앱에 반환하는 방식으로 MS M365 코파일럿 서비스는 동작합니다. 서비스 아키텍처에서 설명드렸던 것 같은 모든 통신 과정에서 모든 요청과 응답은 HTTPS와 WSS를 통해서 암호화된 커뮤니케이션을 진행합니다. M365 서비스 레이어를 통해 전달되는 프롬프트나 응답, 프롬프트 구성에 사용되는 데이터는 마이크로소프트 그래프에서 처리되고 생성형 인공지능 서비스의 학습 모델로 사용되지 않습니다. 이 모든 서비스가 제공되는 MS Azure OpenAI 인프라에서는 책임 있는 AI 작업 정책이 적용되어서 동작합니다. 이 정책은 입력물과 출력 결과물에 대한 책임 있는 AI 사용 정책이 준수됩니다. M365 Copilot Architecture는 이러한 작업 프로세스를 통해 사용자에게 고도로 맞춤화된 응답을 안전하고 신뢰할 수 있는 정책과 데이터를 기반으로 제공되는 매우 안전하면서도 사용자의 작업 효율을 높일 수 있는 매우 독특한 기업용 생성형 인공지능 서비스입니다.