Startup & AI & Product (kor)

Latent Space: The AI Engineer Podcast: AI 엔지니어링의 성장과 AI 모델의 발전을 논의하며, AI의 미래 방향성을 탐구한다.

Latent Space: The AI Engineer Podcast• 9 episodes

Latent Space: The AI Engineer Podcast - Latent.Space 2024 Year in Review

AI 엔지니어링의 성장이 AI 산업의 발전을 반영하며, AI 모델의 발전과 새로운 기술의 도입이 주요 화두로 떠오르고 있다. 특히, AI 엔지니어의 역할이 중요해지고 있으며, AI 모델의 스케일링과 인퍼런스 타임 컴퓨트가 주요 이슈로 부각되고 있다. AI 모델의 발전은 연구와 실용적 적용 사이의 균형을 맞추는 것이 중요하며, AI 엔지니어링의 정의와 경계에 대한 논의가 활발하다. 또한, AI 모델의 성능을 평가하는 벤치마크가 변화하고 있으며, 새로운 기술과 접근 방식이 도입되고 있다. AI의 미래는 에이전트와 합성 데이터, 인퍼런스 컴퓨트에 달려 있으며, AI가 다양한 산업에 미치는 영향이 커지고 있다.

Key Points:

AI 엔지니어링의 중요성 증가: AI 산업의 성장과 함께 AI 엔지니어의 역할이 중요해지고 있다.
AI 모델의 스케일링과 인퍼런스 타임 컴퓨트: AI 모델의 발전과 함께 스케일링과 인퍼런스 타임 컴퓨트가 주요 이슈로 부각되고 있다.
벤치마크의 변화: AI 모델의 성능을 평가하는 벤치마크가 변화하고 있으며, 새로운 기술과 접근 방식이 도입되고 있다.
에이전트와 합성 데이터의 중요성: AI의 미래는 에이전트와 합성 데이터, 인퍼런스 컴퓨트에 달려 있다.
AI의 산업 영향력 증가: AI가 다양한 산업에 미치는 영향이 커지고 있으며, AI 기술의 실용적 적용이 중요하다.

Details:

1. 🎉 100회 에피소드: 여정의 회고

거의 2년 동안 100회의 에피소드를 진행하며 네 번의 다른 스튜디오를 옮겨 다녔음.
초기에 시도했던 번개 라운드 형식의 질문이 효과적이지 않아 변경했음. 대부분의 답변이 '커서와 당혹감'으로 끝났기 때문.
새로운 해에는 Gemini 팀과 같은 연구 및 실용적인 측면의 인물들을 더 초대하고자 함.
연구 중심의 콘텐츠를 강화하고 있으며, 예로 3DAO 및 Jeremy Howard를 초대했음.

2. 🚀 AI 엔지니어링의 부상과 발전

AI 엔지니어의 수가 증가하면서 AI 엔지니어링의 성장이 가속화되고 있다.
Gartner는 AI 엔지니어링을 하이프 사이클의 정점에 위치시켜 그 중요성을 인정한다.
GitHub의 AI 엔지니어 모델 출시는 AI 엔지니어링의 중요성과 도래를 의미한다.
AWS reInvent 행사에서 AI 엔지니어링 관련 강연에는 수백 명이 참석하여 큰 관심을 증명했다.
AI 엔지니어링의 사례로서 구글의 TensorFlow와 같은 프레임워크가 AI 개발을 가속화하는 데 기여하고 있다.

3. 🔄 AI 연구와 실무의 융합

AI 및 ML 분야는 여전히 연구 중심적이며, 이는 당연한 것으로 받아들여짐.
AI와 ML 분야가 생산으로 넘어가면서 엔지니어링의 비중이 증가할 것으로 예상됨.
NeurIPS와 같은 ML 연구 컨퍼런스에서 논의된 연구가 결국 생산 단계로 넘어갈 것이라는 기대가 있음.
연구자들은 연구 성과가 어떻게 생산에 적용되는지를 중시하며, 이에 대해 관심을 가짐.
성공의 척도가 학술적 리뷰나 인용 수에서 수익으로 변화하고 있음.

4. 🧠 AI 컨퍼런스의 변화와 도전

4.1. AI 컨퍼런스 참가자의 동기와 도전

4.2. 효과적인 AI 컨퍼런스 조직 전략

5. 📈 AI 시장과 엔지니어링의 성장

5.1. 사전훈련의 한계와 새로운 접근법

5.2. 추론 컴퓨팅 최적화

5.3. 스케일링과 트랜스포머에 대한 논의

5.4. AI 발전 및 성과

6. 🔧 AI 도구와 연구의 혁신

6.1. 경쟁 구도와 전략

6.2. 시장 점유율 변화 및 추세

7. 💡 AI의 미래와 예측

작은 모델 크기는 1-5B 범위로, Gemini 및 Apple Foundation 모델을 포함하며 경제적 인퍼런싱을 제공한다.
Lama 405B는 성능 면에서 Gemini 및 GPT-40과 경쟁할 수 있지만, 인퍼런싱이 느리고 높은 비용이 소요된다.
405B 모델은 H100s 노드에 적합하지 않으며, 대부분의 사용자는 이를 교사 모델로 사용하여 70B와 같은 작은 모델로 증류한다.
개방형 소스 산업은 상업 모델과의 성능 격차를 좁히고자 하지만, 인퍼런싱 시간에 필요한 컴퓨트가 부족하여 여전히 어려움을 겪고 있다.
405B와 같은 대형 모델은 성능은 뛰어나지만 실용성을 위해 더 작은 모델로의 전환이 필요하다.

8. 📊 AI 데이터와 품질 전쟁

OpenAI는 66억 달러 이상의 자금을 모으려 했으나 실패했습니다. 이는 고정 비용을 변동 비용으로 전환하여 고객에게 부담을 넘기고, 마진을 더 쉽게 확보하는 데 영향을 미쳤습니다.
GPT-5의 대규모 사전 훈련 모델 대신 고정 비용을 변동 비용으로 변환하여 고객에게 비용을 전가하고 있습니다. 이는 비용을 직접 사용할 수 있는 방식으로 변환하고, 마진을 조정할 수 있는 기회를 제공합니다.
연구와 관련된 자금 조달 환경이 건조해지면서 추론 패러다임의 변화가 시기적절하게 도래한 점이 흥미롭습니다.
Gemini Flash가 무료로 제공되면서 시장에서 경쟁이 심화되고 있습니다. 이는 연구소가 더 많은 수익을 창출하고 비용을 절감할 수 있는 방법을 제공합니다.
AI 콘텐츠 제작자나 벤처 캐피탈리스트라면 월 $1,000 이상을 AI에 투자해야 한다는 의견이 있습니다.
현재 구글은 Deep Research 등 다양한 서비스를 무료로 제공하고 있으며, 이는 사용자가 더 많은 AI 도구를 활용할 수 있는 기회를 제공합니다.

9. 🛠️ AI의 비즈니스 모델 변화

9.1. AI Agents Implementation Challenges

9.2. ML System Optimization

9.3. Synthetic Data Growth

9.4. Industry Insights and Future Directions

10. 🌐 AI의 글로벌 확장과 협업

OpenAI는 2016년 Ilya와 Greg가 GPU 확장을 통해 Dota 게임을 통해 얻은 인사이트를 기반으로 AI 연구를 확장했습니다.
OpenAI는 1v1 Dota에서 5v5로 훈련을 확대하기 위해 대규모 GPU 인프라의 필요성을 강조했습니다.
강화 학습을 통해 특정 작업에 능숙해질 수 있으나, 일반화에는 한계가 있음을 인지하고 있습니다.
OpenAI의 강화 미세조정 발표는 데이터 기반이 아닌 보상 모델을 활용한 새로운 접근 방식을 도입했습니다.
Ilya는 AI의 성장이 2년마다 10배 이상일 것이라 예측하며, 이는 무어의 법칙을 훨씬 초과하는 수준입니다.
OpenAI는 데이터 확장이 컴퓨팅 파워와 같은 속도로 이뤄지지 않으며, 프리 트레이닝만으로는 부족함을 언급했습니다.
다음 단계로 에이전트, 합성 데이터, 추론 컴퓨터 등의 발전을 논의했습니다.

11. 📚 AI 연구의 최신 트렌드

AI 에이전트 간의 스테가노그래피를 통한 비밀 공모에 관한 연구가 주목받고 있습니다. DeepMind의 연구는 AI 에이전트가 생성한 텍스트에 메시지를 숨기는 방법에 중점을 두고 있으며, 이는 보안과 프라이버시 분야에서 중요한 발전으로 간주됩니다.
GPT-2, LAMA-2, GPT-3.5, GPT-4와 같은 모델에서 암호화 코딩의 급격한 등장이 관찰되며, 이는 텍스트 생성 AI의 새로운 가능성을 열고 있습니다.
스테가노그래피 공모를 위한 벤치마크 개발이 진행되고 있으며, 저조한 조정으로도 가능하다는 쉘링 포인트 공모에 주목하고 있습니다. 이는 AI 모델이 협력하여 정보를 은밀하게 공유할 수 있는 가능성을 제시합니다.
NeurIPS에서 AI 모델 논문은 감소하고 데이터세트 관련 연구가 증가하고 있습니다. 이는 데이터세트와 벤치마크가 AI 연구의 주요 초점이 되고 있음을 보여줍니다. 이러한 변화는 AI 연구의 효율성을 높이고, 보다 현실적인 문제 해결을 위한 데이터 중심 접근 방식을 강화하고 있습니다.

12. 🔍 AI의 법적 문제와 윤리

산업적으로 사용되는 데이터 세트 관련 논문들이 주목받지 못했지만, DCLM 논문이 주목을 받았다.
ML 커뮤니티에서는 메타의 '로드리스 스케줄러' 최적화 논문이 학습률 최적화 논쟁을 불러일으켰다.
오픈AI를 상대로 소송을 제기한 인물들로는 저널리스트, 작가, 예술가가 있으며, 그 중 뉴욕타임즈, 스택오버플로우, 레딧, 게티 이미지, 사라 실버만, 조지 R.R. 마틴, 스칼렛 요한슨 등이 포함된다.
스케일 AI는 합성 데이터가 효과가 없다는 논문을 발표하며 논란이 되었고, 이는 합성 데이터의 유용성에 대한 논쟁을 불러일으켰다.
합성 데이터는 소규모 모델의 세부 조정 및 증류에 주로 사용되며, 애플의 웹 리프레이즈에서 사용된 바 있다.

13. 🌟 AI 혁신의 미래 기술

13.1. 데이터 품질 전쟁과 시대 변화

13.2. AI의 창의적 활용과 O1 모델

13.3. AI 모델의 데이터 사용

13.4. 법적 문제와 AI 모델의 경쟁력

13.5. 추론 능력과 AI 모델의 경쟁력

13.6. GPU 자원과 AI 개발의 경제성

14. 🎤 AI의 공공 발표와 상업화

GPU 부유층은 여전히 유지되고 있으며, 12일 만에 100,000 GPU 클러스터를 구성한 사례가 있다. 이는 AI 연구와 개발에 필요한 엄청난 컴퓨팅 파워의 중요성을 보여준다.
2020년부터 2023년까지 대형 AI 모델은 GPT-3에서 GPT-4로의 전환 시기를 겪었다. 이 과정은 AI 모델의 복잡성과 성능을 크게 향상시키는데 기여했다.
GPT-4.5나 Claude Opus 3.5는 출시되지 않으며, 개발이 2조 파라미터의 벽에 도달해 더 이상 확장하지 않는 상태에 있다. 이는 모델 확장에 따른 비용 문제를 나타내며, 일부는 더 유용한 대안을 찾고 있다.
AWS 고객들은 큰 예약 인스턴스 계약을 통해 비용 효율성을 추구하며, 많은 스타트업들이 AWS 마켓플레이스를 통해 인수된다. 이는 클라우드 기반 솔루션의 중요성을 강조한다.
GPU 중산층은 사라지고 있으며, 클라우드 서비스를 통해 GPU 자원을 확보하려는 경향이 있다. 이는 AI 연구 및 개발에서 클라우드 컴퓨팅의 역할이 커지고 있음을 나타낸다.
이종 컴퓨팅과 분산 컴퓨팅에 대한 관심이 높아지고 있으며, SF Compute는 올해 컴퓨트 마켓플레이스를 출시하였다. 이는 다양한 컴퓨팅 자원을 활용해 AI 성능을 최적화하려는 시도의 일환이다.

15. 🔧 AI 도구의 발전과 적용

GPU 자원이 부족한 스타트업들이 성공적으로 성장하고 있으며, Suno는 올해 0에서 2천만 달러의 ARR을 달성하였습니다.
Suno는 자체 GPU가 풍부하지 않지만, Moto를 이용한 훈련을 통해 성장하고 있습니다.
Bolt도 클라우드 기반으로 2천만 달러의 ARR을 발표하였습니다.
텍스트에서 비디오로의 전환은 현재 가장 주목받는 기술로 자리잡고 있으며, 새로운 멀티모달 전쟁의 중심에 있습니다.
중국의 연구소들은 비디오 모델링에서 뛰어난 성과를 보이고 있습니다.

16. 📈 AI 시장의 변화와 도전

Pika Labs는 최근 Pika 2.0을 출시하여 성공을 거두고 있으며, HeyGen은 1억 달러의 ARR을 달성함.
Assembly는 많은 광고판을 통해 높은 인지도를 보이고 있으며, 이는 그들의 성공을 암시함.
Gemini 2는 네이티브 이미지 출력을 제공하는 점에서 주목할 만함.
OpenAI와 Meta는 아직 출시되지 않았지만 이미지 출력을 제공할 예정임.
MidJourney는 새로운 에디터 기능을 출시하여 제품을 강화하고 있음.
ReCraft V3는 Flux 1.1을 능가하며 이미지 모델 분야에서 주목받고 있음.
Grok은 Black Forest Labs와의 협업을 중단하고 자체 이미지 모델 Aurora를 출시함.
멀티모달리티 전쟁에서 소형 모델이 전문화된 작업에 집중하여 우위를 점하고 있음.