2024년 NeurIPS에서 열린 Latent Space Live에서는 합성 데이터와 소형 모델의 발전에 대한 논의가 이루어졌다. Hugging Face의 Lubna Ben-Elal은 합성 데이터가 대규모 언어 모델(LLM) 파이프라인 전반에 걸쳐 사용되고 있으며, 이는 인간 주석자보다 저렴하고 빠르다는 점에서 인기를 끌고 있다고 설명했다. 또한, 합성 데이터는 모델의 성능을 평가하는 데에도 사용되며, 이를 통해 모델 붕괴를 방지할 수 있다고 강조했다. 소형 모델 분야에서는 Apple, Google, Microsoft 등이 소형 모델을 다양한 기기에 적용하고 있으며, 이는 효율성을 높이고 비용을 절감하는 데 기여하고 있다. 특히, 소형 모델은 개인 기기에서 실행 가능하여 데이터 프라이버시를 강화할 수 있다는 점에서 주목받고 있다. Lubna는 소형 모델의 효율성을 높이기 위해 다양한 데이터셋을 활용하고, 합성 데이터를 통해 모델을 사전 훈련하는 방법을 제안했다. 이를 통해 소형 모델이 대형 모델과 유사한 성능을 발휘할 수 있음을 보여주었다.

Latent Space Live는 NeurIPS 2024에서 열린 미니 컨퍼런스로, AI 및 대체 아키텍처의 최신 발전을 다루었습니다. Together AI와 Recursal AI의 전문가들이 참여하여, 트랜스포머 대체 아키텍처의 상태와 발전을 논의했습니다. 특히, RWKV-V5와 QRDADUKV-6 모델의 발전이 강조되었으며, 이 모델들은 Microsoft의 에너지 효율적인 Windows 코파일럿 사용 사례를 지원합니다. 또한, 새로운 아키텍처가 어떻게 더 적은 계산 자원으로 동일한 성능을 달성할 수 있는지에 대한 논의가 있었습니다. 이와 함께, 효율적인 커널 지원의 중요성과 새로운 테스트 시간 패러다임에 대한 논의도 이루어졌습니다.