OpenAI는 2백만 명 이상의 개발자가 200개 이상의 국가에서 사용 중인 API의 새로운 기능을 발표했습니다. 새로운 기능에는 함수 호출, 구조화된 출력, 개발자 메시지, 추론 노력, 비전 입력 등이 포함됩니다. 함수 호출은 모델이 백엔드 API와 상호작용할 수 있게 하며, 구조화된 출력은 JSON 스키마에 따라 모델의 출력을 형식화합니다. 또한, 실시간 API에 WebRTC 지원을 추가하여 저지연 음성 경험을 제공합니다. 새로운 미세 조정 방법인 '선호도 미세 조정'도 도입되어 사용자 선호도에 맞춘 모델을 생성할 수 있습니다. 이 모든 기능은 개발자들이 더 나은 사용자 경험을 제공할 수 있도록 돕습니다.

OpenAI는 2023년 8월 API에 구조화된 출력 기능을 도입하여 개발자가 LLM을 통해 신뢰할 수 있는 JSON 출력을 생성할 수 있도록 했습니다. 이 기능은 JSON 스키마에 맞춰 출력을 생성하도록 모델을 제약하며, 개발자가 원하는 형식으로 데이터를 정확하게 추출할 수 있게 합니다. 예를 들어, 개인 비서 앱에서 사용자의 명령을 API 호출로 변환할 때, JSON 객체로 정확하게 변환하여 오류를 줄일 수 있습니다. 또한, 이 기능은 함수 호출과 응답 형식 매개변수 두 가지 모드로 제공되며, 각각의 모드는 개발자가 LLM을 통해 기능을 연결하거나 사용자에게 직접 응답할 때 유용합니다. 구조화된 출력은 개발자가 복잡한 스키마를 정의하고, 모델이 이를 정확히 따르도록 하여, 데이터 추출의 신뢰성을 높이고, 에이전트 워크플로우의 신뢰성을 100%로 보장합니다. 이를 통해 개발자는 더 나은 AI 애플리케이션을 구축할 수 있습니다.

Genmab의 AI 혁신 팀은 임상 시험 프로세스를 가속화하기 위해 AI 에이전트를 활용하는 방법을 설명합니다. 임상 시험은 일반적으로 8년 이상이 걸리고 수십억 달러가 소요되며, AI는 이 과정을 효율적으로 개선할 수 있는 잠재력을 가지고 있습니다. 특히, 규제 문서 생성과 관련하여 AI를 사용하여 환자별로 필요한 임상 문서를 자동으로 생성하는 방법을 소개합니다. 이 과정은 수많은 문서와 데이터 포인트를 수집하고 요약하는 데 많은 시간이 소요되며, AI는 이를 자동화하여 정확성을 높이고 시간을 절약할 수 있습니다. CELI라는 프레임워크를 통해 AI 모델이 단계별로 작업을 계획하고 실행하며, 100% 정확성을 달성할 수 있도록 지원합니다. 이 시스템은 각 단계에서 필요한 정보를 수집하고, 다음 단계에 필요한 데이터를 예측하여 문서를 작성합니다. 이를 통해 수천 명의 환자에 대한 문서 작성 시간을 몇 시간에서 몇 분으로 단축할 수 있습니다. 이는 임상 시험 기간을 단축시켜 심각한 질병을 앓고 있는 환자들이 더 빨리 치료를 받을 수 있도록 돕습니다.

데이터카인드의 부사장 Caitlyn Augustine과 동료 Ted는 인도주의적 지원을 위한 데이터의 중요성을 강조합니다. 현재 3억 명이 인도주의적 지원이 필요하며, 464억 달러의 자금 격차가 존재합니다. 데이터카인드는 UN OCHA의 아프가니스탄 대응 사례를 통해 데이터가 어떻게 효과적으로 활용될 수 있는지를 보여줍니다. 그러나 대부분의 경우 데이터의 질이 낮아 문제를 일으킵니다. 데이터카인드는 인도주의 단체와의 인터뷰를 통해 데이터 접근의 어려움을 파악하고, 생성적 AI를 활용하여 메타데이터 예측 문제를 해결하려고 합니다. 메타데이터의 부정확성 문제를 해결하기 위해 AI를 활용하여 70%의 정확도를 목표로 설정하고, 비용과 시간 효율성을 고려하여 솔루션을 개발했습니다. 이 솔루션은 인도주의적 데이터의 상호 운용성을 높이고, 신속한 대응을 가능하게 합니다.

이 발표에서는 대규모 언어 모델이 인간의 편향을 어떻게 상속받는지와 이를 해결하기 위한 연구 결과를 공유합니다. 첫 번째 연구는 Anthropic에서 진행된 것으로, 대규모 언어 모델이 고위험 결정을 내릴 때의 편향을 조사했습니다. 연구 결과, 모델은 여성이나 비백인에게 긍정적인 차별을 보였지만, 60세 이상의 사람들에게는 부정적인 연령 차별을 보였습니다. 연구자들은 모델에게 차별이 불법임을 상기시키고 인구 통계 정보를 무시하도록 지시하는 것이 편향을 줄이는 데 가장 효과적임을 발견했습니다. 두 번째 연구는 프린스턴 대학교에서 진행되었으며, 대규모 언어 모델에 암묵적 편향 테스트를 적용했습니다. 연구 결과, 명시적이고 절대적인 결정을 내리도록 요청할 때 편향이 줄어드는 것으로 나타났습니다. 실용적인 프롬프트 엔지니어링 방법으로는 모델에게 차별이 불법임을 상기시키고 인구 통계 정보를 무시하도록 지시하며, 관련 외부 데이터를 포함시키는 것이 중요합니다.

실시간 API는 음성 인식, 텍스트 변환, 음성 생성 기능을 하나의 API로 통합하여 자연스러운 대화 흐름을 제공합니다. 기존에는 여러 모델을 결합하여 복잡한 솔루션을 구축해야 했지만, 실시간 API는 이러한 과정을 단순화하여 개발자들이 더 쉽게 음성 기반 애플리케이션을 구축할 수 있도록 합니다. 예를 들어, 음성 비서 앱을 구축할 때 실시간 API를 사용하면 음성 입력을 실시간으로 처리하고, 빠르게 반응하여 자연스러운 대화를 가능하게 합니다. 또한, 실시간 API는 툴 호출을 지원하여 앱 내에서 데이터 시각화와 같은 상호작용을 구현할 수 있습니다. 실시간 API는 음성 상호작용의 비용을 절감하고, 개발자들이 더 창의적인 애플리케이션을 개발할 수 있도록 지원합니다.

Altera.AL은 인공지능을 넘어 디지털 인간을 개발하여 인간과 함께 성장하고 협력할 수 있는 에이전트를 만드는 것을 목표로 한다. 이들은 MIT에서의 연구 경험을 바탕으로 복합 아키텍처를 활용하여 시각, 인지, 행동 등 다양한 시스템을 통합한 모델을 개발하고 있다. 특히, OpenAI의 대형 언어 모델의 접근성이 높아지면서 이들의 연구는 큰 변화를 맞이했다. Altera.AL은 Minecraft 서버에서 에이전트들이 자율적으로 경제, 종교, 정부, 문화를 형성하는 실험을 진행하며, 에이전트들이 장기적으로 자율성을 유지하고 협력할 수 있는 방법을 연구하고 있다. 이들은 에이전트의 장기적인 발전을 측정하기 위해 다양한 시뮬레이션을 진행하며, 최신 언어 모델을 활용하여 에이전트의 성능을 향상시키고 있다. 또한, Altera.AL은 뇌에서 영감을 받은 동시적 아키텍처를 도입하여 에이전트가 다양한 시간 척도에서 정보를 처리할 수 있도록 하고, 작은 컨텍스트 창을 통해 중요한 정보를 집중적으로 처리하는 방식을 채택하고 있다.

Mindtrip는 AI 기반의 여행 플랫폼으로, 여행의 영감부터 계획, 예약까지 모든 과정을 지원하는 것을 목표로 한다. 기존의 텍스트 기반 여행 계획 도구들은 실행 가능성이 부족하다는 문제를 해결하기 위해, Mindtrip는 대화에서의 엔티티를 지도에 연결하고, 사진과 리뷰를 통합하여 여행 계획을 보다 실질적으로 만든다. 또한, 블로그 포스트나 이미지, 비디오 등 다양한 형태의 콘텐츠를 활용하여 여행 계획의 출발점으로 삼을 수 있도록 한다. 이를 통해 사용자는 영감을 얻고, 이를 바탕으로 구체적인 여행 계획을 세울 수 있다. Mindtrip는 이미지와 텍스트를 활용하여 여행 계획을 실현 가능하게 만들며, 새로운 Realtime API를 통해 실시간 오디오와 같은 기능도 탐색 중이다.

발표자는 싱가포르 출신으로 미국에서 15년간 거주하며 AI 엔지니어링의 중요성을 강조합니다. 그는 싱가포르를 AI 엔지니어링 국가로 만들고자 하며, 이를 위해 AI 에이전트 구축의 기초를 이해하는 것이 중요하다고 설명합니다. 발표는 AI 에이전트의 구성 요소로 LLM, 메모리, 계획, 도구 사용을 제시하며, 이를 통해 AI 시스템을 구축하는 방법을 설명합니다. 또한, AI 에이전트 구축을 위한 오픈 소스 도구와 프레임워크를 소개하고, 멀티 에이전트 시스템의 성능 향상 가능성을 강조합니다. 마지막으로, AI와 인간의 협업을 통해 더 나은 결과를 얻을 수 있음을 시연합니다.

Genmab의 AI 혁신 팀은 임상 시험 프로세스를 가속화하기 위해 AI 에이전트를 활용하는 방법을 설명합니다. 임상 시험은 일반적으로 8년 이상이 걸리고 수십억 달러가 소요되며, AI는 이 과정을 효율적으로 개선할 수 있는 잠재력을 가지고 있습니다. 특히, 규제 문서 생성과 관련하여 AI를 활용하여 환자별로 필요한 문서를 자동으로 생성하는 방법을 소개합니다. CELI라는 프레임워크를 통해 AI가 단계별로 문서를 작성하고, 필요한 정보를 검색하여 정확한 문서를 생성할 수 있도록 합니다. 이 과정은 수천 명의 환자에 대한 문서를 신속하게 작성할 수 있게 하여 임상 시험의 시간을 단축시킵니다.

SAA는 기업을 위한 AI 기반의 데이터 워크플로우 플랫폼을 개발하여, 다양한 데이터 소스를 통합하고 이를 통해 복잡한 작업을 자동화하고 있다. 이 플랫폼은 비정형 데이터와 정형 데이터를 통합하여 사용자가 하나의 인터페이스에서 데이터를 검색하고 처리할 수 있도록 한다. 예를 들어, CRM 시스템에서 특정 사용자의 기회를 검색하고 이를 Google 문서로 내보내는 작업을 자동화할 수 있다. 또한, SAA는 복잡한 도구 시퀀싱 문제를 해결하기 위해 사용자 메시지를 통해 도구 사용 지침을 제공하며, 시스템과 사용자 피드백을 통해 에이전트가 작업을 보다 효율적으로 수행할 수 있도록 한다. 이러한 접근 방식은 기업의 생산성을 크게 향상시킬 수 있다.

Video GPT는 비디오 제작을 간소화하기 위해 개발된 AI 기반 플랫폼입니다. 사용자는 간단한 아이디어를 입력하여 1분 내에 고품질의 전문 비디오를 생성할 수 있습니다. 이 플랫폼은 GPT 스토어에서 가장 인기 있는 비디오 애플리케이션으로 자리 잡았으며, 매달 약 50만 개의 비디오가 생성되고 있습니다. 사용자 친화적인 인터페이스를 통해 사용자는 스크립트를 작성하고, 비디오의 시각적 요소를 커스터마이징할 수 있습니다. 또한, PDF, 슬라이드, 블로그 포스트 등 다양한 자료를 비디오로 변환할 수 있는 기능도 제공합니다. 이러한 기능들은 사용자들이 보다 쉽게 비디오를 제작하고, 이를 통해 더 많은 가치를 얻을 수 있도록 돕습니다.

Grab의 데이터 과학자 Gorov는 Grab의 지도 서비스가 어떻게 동남아시아의 지도 제작을 혁신하고 있는지를 설명한다. Grab은 2017년에 자체 지도 서비스를 시작했으며, 기존의 타사 앱이 지역에 충분히 맞춤화되지 않았다는 문제를 발견했다. Grab Maps는 커뮤니티 기반의 정밀한 지도 제작을 목표로 하며, 360도 카메라를 사용해 도로의 세부 정보를 수집한다. 이러한 데이터는 교통 표지판, 속도 제한, 도로 접근성 등을 포함하여 매우 상세한 지도를 만드는 데 사용된다. 또한, Grab은 OpenAI의 GPT-4 비전 모델을 활용하여 이미지 이해 능력을 강화하고, 교통 표지판과 도로의 매칭 문제를 해결하고 있다. 이를 통해 Grab Maps는 내부 요구 사항뿐만 아니라 동남아시아 전역의 기업을 지원하는 엔터프라이즈 솔루션으로 발전하고 있다.

마이크는 AI 기술을 활용하여 컨택 센터 자동화를 추진하는 팔로아라는 회사에서 일하고 있습니다. 현재의 컨택 센터는 고객에게 불편한 경험을 제공하는 경우가 많습니다. 팔로아는 고객과의 상호작용을 친구와 대화하는 것처럼 자연스럽고 신뢰할 수 있게 만들고자 합니다. 이를 위해 GPT-4와 같은 오픈 AI 기술을 활용하여 멀티 에이전트 크루와 인간의 개입을 통합하여 안전하게 사용할 수 있도록 하고 있습니다. 팔로아는 AI 에이전트를 통해 인간 에이전트를 보완하고, 고객의 문제를 해결하는 데 중점을 두고 있습니다. AI 에이전트는 고객과의 상호작용을 시뮬레이션하고 평가하여 신뢰성을 확보하며, 이를 통해 고객 서비스의 품질을 향상시키고자 합니다. 또한, AI 에이전트와 인간 에이전트가 협력하여 언어 장벽을 극복하고, 고객과의 상호작용을 보다 효율적으로 처리할 수 있도록 지원합니다. 팔로아는 AI 에이전트 관리 플랫폼을 통해 이러한 과정을 지원하며, 고객 서비스의 미래를 AI 중심으로 전환하고자 합니다.

Amperity는 고객 데이터를 통합하여 브랜드가 고객 데이터를 더 잘 이해할 수 있도록 돕는 플랫폼입니다. 이들은 OpenAI의 모델을 기반으로 AmpAI라는 도구를 개발하여 비기술 사용자도 자연어를 통해 SQL을 생성할 수 있도록 지원합니다. AmpAI는 다양한 브랜드와 산업에 걸쳐 작동해야 하며, 이를 위해 데이터베이스 테이블과 필드에 대한 정보를 수집하여 SQL을 생성합니다. AmpAI는 고객의 고유한 규칙을 인코딩하여 시각화를 구축하고 출력을 맞춤화할 수 있습니다. 이 도구는 고객 유지에 중점을 두고 있으며, 고객의 고유한 요구에 맞춰 데이터를 분석할 수 있도록 설계되었습니다. AmpAI의 도입으로 Amperity의 쿼리 사용량이 130% 증가하는 등 고객에게 큰 영향을 미쳤습니다.

o1 모델은 강화 학습을 통해 사고 전략을 개선하고 실수를 인식하여 수정하는 능력을 갖추고 있습니다. 이는 매우 어려운 문제를 해결할 때 유용하며, 실패한 전략도 다음 시도에 대한 힌트를 제공할 수 있습니다. o1은 특히 수학 및 코드 문제에서 뛰어난 성능을 보이며, GPT-4o와 비교하여 더 많은 문제를 해결할 수 있습니다. o1-preview와 o1-mini는 각각 특정 용도에 맞게 최적화되어 있으며, o1-mini는 빠르고 저렴한 수학 및 코딩 작업에 적합합니다. o1 모델은 의료 진단 정확성 검출, 코딩, 하드 사이언스 연구 등 다양한 분야에서 활용될 수 있습니다.

OpenAI의 제품 개발 책임자인 Kevin Weil과 CEO Sam Altman은 AGI(인공지능 일반)의 진전에 대해 논의합니다. Altman은 AGI가 점진적으로 발전할 것이며, 현재는 레벨 2에 도달했다고 설명합니다. 그는 AGI가 과학적 발견의 속도를 증가시키는 데 중요한 역할을 할 것이라고 믿습니다. OpenAI는 연구와 제품 개발을 결합하여 안전한 AGI를 구축하는 데 중점을 두고 있으며, 연구가 여전히 핵심이라고 강조합니다. 또한, AI 에이전트의 발전과 안전성, 정렬 문제에 대해 논의하며, AI가 더 복잡한 작업을 수행할 수 있도록 하는 것이 목표라고 설명합니다. OpenAI는 정부와의 협력을 통해 AI 기술을 활용하여 사회적 문제를 해결하는 데 기여하고자 하며, 오픈 소스에 대한 긍정적인 입장을 가지고 있습니다. 마지막으로, AI의 발전이 사용자 경험을 어떻게 변화시킬지에 대한 비전을 공유합니다.

타우리스의 연구 엔지니어인 니나는 임상 환경에서 LLM을 활용하여 의사들이 컴퓨터 작업에 소요되는 시간을 줄이고, 임상 문서화를 자동화하여 효율성을 높이는 방법을 설명합니다. 의사들은 컴퓨터 작업에 많은 시간을 소비하며, 이는 번아웃의 주요 원인 중 하나입니다. 타우리스는 이러한 문제를 해결하기 위해 LLM을 활용하여 의사들이 환자와의 상담 내용을 자동으로 문서화하고, 전자 건강 기록 시스템에 저장할 수 있도록 합니다. 이를 통해 의사들은 본연의 업무에 더 집중할 수 있습니다. 타우리스는 복잡한 워크플로우를 작은 블록으로 나누어 의사들이 직접 워크플로우를 설계하고 공유할 수 있는 플랫폼을 개발했습니다. 이를 통해 의사들은 개발자와의 반복적인 협업 없이도 필요한 워크플로우를 빠르게 설계하고 실험할 수 있습니다. 또한, 실험을 통해 생성된 데이터를 기반으로 LLM의 오류를 최소화하고, 임상 안전성을 평가하여 제품의 신뢰성을 높입니다. 이러한 접근 방식은 의사들의 만족도를 높이고, 새로운 모델과 아키텍처를 빠르게 도입할 수 있게 합니다.

TAU-bench는 AI 에이전트의 성능을 실세계에서 평가하기 위한 벤치마크 도구로, Sierra의 연구팀이 개발했다. 이 도구는 LLM을 활용하여 동적이고 현실적인 사용자 시뮬레이션을 제공하며, 에이전트가 다양한 시나리오에서 얼마나 잘 작동하는지를 평가할 수 있다. 특히, 사용자가 에이전트와 상호작용할 때의 신뢰성과 정확성을 측정하는 데 중점을 두고 있다. TAU-bench는 사용자 시뮬레이션을 통해 에이전트의 신뢰성을 반복적으로 테스트할 수 있으며, 이는 인간 테스터를 사용하는 것보다 비용 효율적이고 확장 가능하다. 연구 결과, 에이전트는 단일 시나리오에서 높은 성능을 보이지만, 반복적인 시나리오에서는 성능이 저하될 수 있음을 보여준다. 이는 LLM 기반 시뮬레이터가 에이전트의 신뢰성을 평가하는 데 중요한 역할을 할 수 있음을 시사한다.

Genie는 소프트웨어 엔지니어링 작업을 자동화하기 위해 개발된 AI 모델로, GPT-40을 기반으로 미세 조정되었습니다. 이 모델은 개발자가 작업을 완료하는 방식을 학습하기 위해 합성된 실제 데이터를 사용하여 훈련되었습니다. 주요 목표는 소프트웨어 엔지니어가 작업을 수행하는 과정을 모델에 학습시키는 것이며, 이를 위해 대량의 데이터 정리와 큐레이션이 필요했습니다. Genie는 코드 리뷰와 같은 복잡한 작업을 수행할 수 있으며, 사용자 정의 추론 경로를 통해 모델이 인간처럼 사고하도록 돕습니다. 또한, Selfplay 기법을 사용하여 실제로 존재하지 않는 훈련 예제를 생성하여 모델을 더욱 효과적으로 훈련시킬 수 있습니다. Genie는 GitHub와 통합되어 코드베이스를 인덱싱하고, 에러를 자동으로 수정하는 등의 작업을 수행할 수 있습니다.

Vercel의 AI 팀이 개발한 v0는 웹 개발 에이전트로, 디자인 도구와 코딩 도구의 중간에 위치하며, 개인화된 소프트웨어 개발을 가능하게 한다. 이 도구는 고급 코드 생성과 새로운 AI 도구를 결합하여 사용자가 자신만의 소프트웨어를 쉽게 만들 수 있게 한다. 예를 들어, v0를 사용하면 복잡한 비즈니스 분석을 위한 앱을 자동으로 생성할 수 있으며, 이는 많은 비즈니스 분석가들이 엑셀을 사용하는 대신 앱을 생성할 수 있게 한다. 또한, v0는 텍스트-음성 변환 앱과 같은 간단한 앱을 빠르게 생성할 수 있으며, 사용자는 OpenAI 키를 입력하여 직접 앱을 실행할 수 있다. v0는 React 코드와 외부 라이브러리를 사용하여 앱을 생성하며, 사용자는 이를 쉽게 배포하고 공유할 수 있다. 이 도구는 소프트웨어 개발을 개인화하고 민주화하여 조직 내 모든 사람이 협력할 수 있도록 하며, 개발자와 비개발자 모두가 창의적인 작업을 수행할 수 있게 한다.

이 대화에서는 오픈 API 사양을 기반으로 클라이언트 라이브러리를 생성하는 맞춤형 SDK의 필요성과 이점에 대해 논의합니다. 오픈 소스 도구인 OpenAPI Generator를 사용하여 생성된 이전 버전의 SDK는 스트리밍 기능이 부족했습니다. 이를 해결하기 위해 맞춤형 코드를 추가하여 고객이 원하는 대로 SDK를 수정할 수 있도록 했습니다. 또한, SDK에 구조화된 출력과 같은 기능을 추가하여 API와의 매핑을 쉽게 했습니다. SDK 개발 시 중요한 결정은 HTTP 요청-응답 주기를 얇게 감싸는 것과 완전히 추상화하는 것 사이의 균형을 찾는 것입니다. 얇은 래퍼를 사용하면 API의 모든 기능을 지원할 수 있으며, 고객이 API 문서를 통해 쉽게 이해할 수 있습니다. 반면, 페이지네이션이나 자동 재시도와 같은 기능은 추상화하여 사용자 경험을 개선할 수 있습니다. 그러나 헤더와 같은 HTTP API의 중요한 세부 사항은 노출되어야 합니다. 자동 코드 생성의 단점은 비효율적인 코드가 생성될 수 있다는 점이며, 이는 오픈 소스 솔루션을 사용하지 않는 이유 중 하나입니다.

Anna Dixon은 Dimagi의 응용 연구 과학자로, AI와 머신러닝의 발전을 저소득 및 중간 소득 국가의 디지털 건강 도구에 적용하는 일을 하고 있습니다. Dimagi는 주로 최전선 근로자에게 제공되는 도구를 개발하며, 이번 프로젝트는 Bill and Melinda Gates Foundation의 지원을 받아 케냐와 세네갈에서 가족 계획을 지원하기 위한 대화형 에이전트의 효과를 평가하는 것이 목표입니다. 프로젝트는 Sheng과 같은 저자원 언어에서 GPT-4o 모델을 미세 조정하여 건강 교육 챗봇을 개발하는 데 중점을 두었습니다. 초기에는 Sheng 언어의 자연스러운 번역을 위해 800개의 Sheng 문장을 스타일 가이드로 사용했으나, 번역 품질이 일관되지 않아 새로운 기계 번역 레이어를 도입했습니다. 이로 인해 시스템의 모듈성이 향상되고 언어 품질 평가가 용이해졌습니다. 최종적으로 GPT-4o mini 모델을 미세 조정하여 Sheng 번역 품질을 크게 향상시켰으며, 다른 언어에서도 유사한 접근 방식을 탐색하고 있습니다.

앱의 사용자 기반이 빠르게 확장됨에 따라 지속 가능한 확장이 필요합니다. 1,000명의 사용자에게 효과적이었던 전략이 100만 명에게도 효과적이지 않을 수 있습니다. OpenAI의 Colin Jarvis와 Jeff Harris는 앱 확장을 위한 일반적인 함정과 기술을 다루며, 최적화 아이디어를 제공합니다. 초기에는 정확성을 최적화하고, 목표에 도달하면 지연 시간과 비용을 최적화합니다. 정확성 목표를 설정하고, 평가를 통해 모델의 성능을 측정하며, 최적화 기술로는 프롬프트 엔지니어링, RAG, 미세 조정 등이 있습니다. 비용 절감과 지연 시간 개선을 위해 네트워크 지연, 프롬프트 지연, 출력 지연을 분석하고, 프롬프트 캐싱과 BatchAPI를 활용할 수 있습니다. 이러한 기술을 통해 비용을 절감하고, 더 많은 요청을 처리할 수 있습니다.

DataKind는 인도주의적 지원에 필요한 고품질 데이터의 중요성을 강조하며, 메타데이터 예측을 통해 데이터의 상호 운용성을 개선하고자 합니다. 현재 인도주의적 데이터의 절반은 메타데이터가 없거나 부정확하며, 이는 데이터 활용에 큰 장애물이 됩니다. DataKind는 GPT 모델을 활용하여 메타데이터 태깅의 정확성을 높이고, 비용 효율적인 솔루션을 제공하고자 합니다. 이 과정에서 데이터 준비와 테스트 세트 생성의 중요성을 강조하며, 모델이 인간보다 더 정확한 경우도 발견했습니다. 최종적으로, 다양한 접근 방식을 통해 목표 정확도와 시간, 비용 제약을 충족시켰으며, 이는 인도주의적 데이터 활용을 크게 향상시킬 것입니다.

OpenAI의 DevDay에서는 새로운 AI 모델인 o1과 o1-mini를 소개하며, 이 모델들이 복잡한 문제를 해결하는 데 뛰어난 추론 능력을 가지고 있음을 강조했습니다. Cognition과 같은 고객 사례를 통해 o1이 소프트웨어 에이전트의 계획, 코드 작성 및 디버깅을 어떻게 개선할 수 있는지 보여주었습니다. 또한, Casetext와 Thomson Reuters가 법률 보조 AI에 o1을 활용하여 법률 문서의 정확성을 검증하는 데 성공한 사례도 소개되었습니다. 실시간 API를 통해 음성 인식 및 응답 기능을 강화하고, 이를 통해 더 자연스러운 사용자 경험을 제공할 수 있게 되었습니다. Healthify와 Speak와 같은 애플리케이션이 이 API를 활용하여 건강 코칭 및 언어 학습을 위한 더 현실적인 경험을 제공하고 있습니다. 마지막으로, OpenAI는 모델의 비용을 절감하고 사용자 맞춤형 모델을 만들 수 있는 기능을 강화하여 개발자들이 더 쉽게 AI를 활용할 수 있도록 지원하고 있습니다.

이 강연에서는 다양한 데이터 소스(데이터 웨어하우스, 스프레드시트, CSV 파일 등)에서 SQL 쿼리를 통합하여 비기술적 사용자도 쉽게 데이터 분석을 할 수 있도록 돕는 AI 시스템을 소개합니다. Dust라는 AI 운영 체제를 통해 사용자는 회사의 지식을 활용한 맞춤형 어시스턴트를 구축할 수 있습니다. 이 시스템은 다양한 데이터 소스를 통합하여 SQL 쿼리를 자동으로 생성하고, 이를 통해 사용자는 SQL이나 코딩 지식 없이도 데이터를 시각화하고 분석할 수 있습니다. 예를 들어, Snowflake 데이터 웨어하우스에서 데이터를 가져와 그래프를 생성하는 데모를 통해 시스템의 작동 방식을 설명합니다. 또한, Google Drive와 CSV 파일에서 데이터를 가져와 통합하는 방법도 소개합니다. 이 시스템은 데이터베이스와 파일을 통합하여 SQL 쿼리를 실행하고, 결과를 CSV 파일로 저장하여 사용자가 쉽게 접근할 수 있도록 합니다. 이를 통해 비기술적 사용자도 복잡한 데이터 분석을 수행할 수 있으며, 대시보드를 구축하는 데 소요되는 시간을 절약할 수 있습니다.

이 발표에서는 AI가 PostgreSQL 데이터베이스를 브라우저에서 직접 관리할 수 있는 새로운 도구를 소개합니다. 이 도구는 JetGPT의 코드 인터프리터와 유사하게 작동하며, AI 모델이 데이터베이스에서 여러 작업을 지연 없이 연속적으로 수행할 수 있도록 합니다. 이를 통해 AI는 더욱 인간적인 느낌을 주며 유용성을 높입니다. 이 시스템은 GP4 O의 PostgreSQL과 SQL에 대한 깊은 이해와 브라우저 내에서 실행되는 일회용 데이터베이스 덕분에 가능합니다. 사용자는 데이터 손실에 대한 걱정 없이 모델이 자유롭게 작동하도록 할 수 있습니다. 또한, 이 도구는 다양한 툴 콜을 통해 SQL 실행뿐만 아니라 그래픽 사용자 인터페이스에서만 가능한 다른 작업도 수행할 수 있습니다. 예를 들어, SQL 오류가 발생하면 언어 모델에 피드백되어 문제를 해결할 수 있는 추가 시도를 합니다. 또한, PG 벡터와 Transformers Js를 사용하여 내장된 벡터 임베딩 지원을 제공하며, 이를 통해 의미론적 검색을 수행할 수 있습니다. 이 도구는 3개월 만에 60,000명 이상의 사용자를 확보했으며, 사용자가 브라우저 내 데이터베이스에 연결할 수 있는 라이브 공유 기능도 제공합니다.