![[레벨:30]](https://gujoron.com/xe/modules/point/icons/default/30.gif "포인트:697893point, 레벨:30/30"){kind=icon}
김동렬
![[레벨:10]](https://gujoron.com/xe/modules/point/icons/default/10.gif "포인트:10409point (74%), 레벨:10/30"){kind=icon}
dksnow
2024.08.19.
https://youtu.be/T_JKIkSf93Y?si=fLRv30IVI7NKKCPY
![[레벨:21]](https://gujoron.com/xe/modules/point/icons/default/21.gif "포인트:42087point (61%), 레벨:21/30"){kind=icon}
chow
2024.08.19.
유튜브 원문 https://youtu.be/T_JKIkSf93Y?si=HJbNQI35GkN-Xb_O
Eric Schmidt, 전 Google CEO가 Stanford University에서 열린 비밀 AI 컨퍼런스에 참석했습니다.
저는 약 25년 전 Eric이 Novell의 CEO로 Stanford Business School에 왔을 때 처음 만났습니다. 그 이후로 그는 많은 일을 해왔죠. 2001년부터 Google에서, 2017년부터는 Schmidt Futures에서 일했고, 그 외에도 여러분이 읽어볼 수 있는 다른 많은 일들을 했습니다. 하지만 그는 5시 15분까지만 여기 있을 수 있어서, 바로 질문으로 들어가려고 합니다. 여러분도 몇 가지 질문을 보내주셨고, 저도 여기 몇 가지 적어놨습니다. 하지만 방금 위층에서 이야기한 내용이 더 흥미로워서, Eric이 괜찮다면 그 내용부터 시작하려고 합니다.
Eric, 당신이 단기적으로 정의한 향후 1-2년 동안 AI가 어디로 향할 것으로 보시나요? 상황이 너무 빠르게 변해서 6개월마다 앞으로 일어날 일에 대해 새로운 연설을 해야 할 것 같습니다.
여기 컴퓨터 과학자들이 많이 있는데, 백만 토큰 컨텍스트 창이 무엇인지 설명해줄 수 있는 분 계신가요? 이름을 말씀해 주시고 설명해 주세요.
기본적으로 백만 개의 토큰이나 단어, 또는 원하는 대로 프롬프트를 할 수 있게 해줍니다. 즉, 백만 단어로 된 질문을 할 수 있다는 거죠.
네, 이는 현재 매우 큰 규모입니다. 아니요, 그들은 10으로 가고 있습니다. 네, 10백만이죠. 그렇습니다. Anthropic은 현재 20만에서 100만으로 가고 있고, 그런 식입니다. OpenAI도 비슷한 목표를 가지고 있다고 상상할 수 있습니다.
AI 에이전트에 대한 기술적 정의를 내릴 수 있는 분 계신가요? 다시 컴퓨터 과학자들에게 묻겠습니다. 네, 선생님?
AI 에이전트는 어떤 방식으로든 웹에서 PAG를 호출하거나 여러분을 대신해 물건을 찾는 등 다양한 일을 할 수 있는 것입니다.
그렇죠. 에이전트는 어떤 종류의 작업을 수행하는 것입니다. 또 다른 정의로는 상태와 메모리를 가진 LLM이라고 할 수 있겠죠.
다시 한 번 컴퓨터 과학자 여러분, 텍스트를 액션으로 전환하는 것을 정의할 수 있나요? 텍스트를 가져와 액션으로 바꾸는 것 말이에요. 네, 여기 계신 분?
텍스트를 더 많은 텍스트로 바꾸는 대신, AI가 텍스트를 기반으로 액션을 트리거하도록 하는 것입니다.
그렇죠. 또 다른 정의로는 언어를 파이썬으로 바꾸는 것입니다. 파이썬은 제가 살아남기를 바라지 않았던 프로그래밍 언어죠. AI의 모든 것이 파이썬으로 이루어지고 있습니다. Mojo라는 새로운 언어가 막 나왔는데, AI 프로그래밍을 마침내 해결한 것 같아 보입니다. 하지만 파이썬의 지배력을 이길 수 있을지는 두고 봐야 할 것 같습니다.
한 가지 더 기술적인 질문을 하겠습니다. NVIDIA가 왜 2조 달러의 가치를 지니고 있고 다른 회사들은 고전하고 있을까요? 기술적인 답변 부탁드립니다.
제 생각에는 대부분의 코드가 현재 NVIDIA GPU만 지원하는 CUDA 최적화로 실행되어야 하기 때문입니다. 다른 회사들이 원하는 대로 만들 수 있지만, 10년간의 소프트웨어가 없다면 머신러닝 최적화를 할 수 없습니다.
저는 CUDA를 GPU를 위한 C 프로그래밍 언어로 생각하는 것을 좋아합니다. 그렇게 생각하는 게 좋더라고요. 2008년에 설립되었죠. 저는 항상 그것이 끔찍한 언어라고 생각했지만, 지금은 지배적이 되었습니다.
또 다른 통찰이 있습니다. CUDA에 고도로 최적화된 오픈 소스 라이브러리 세트가 있고, 다른 것에는 그렇지 않습니다. 모든 사람들이 이런 스택을 만들죠. 이는 어떤 논의에서도 완전히 놓치고 있는 부분입니다. 기술적으로 VM이라고 불리는 것과 그와 같은 많은 라이브러리들이 CUDA에 고도로 최적화되어 있어서, 경쟁자라면 이를 복제하기가 매우 어렵습니다.
그래서 이 모든 것이 앞으로 1년 동안 어떤 의미를 갖게 될까요? 매우 큰 컨텍스트 창, 에이전트, 텍스트 액션이 대규모로 제공될 때, 아무도 이해하지 못하는 규모로 세상에 영향을 미칠 것입니다. 제 견해로는 소셜 미디어가 끼친 끔찍한 영향보다 훨씬 더 큰 영향을 미칠 것입니다.
그 이유는 이렇습니다. 컨텍스트 창에서는 기본적으로 단기 메모리로 사용할 수 있습니다. 컨텍스트 창이 이렇게 길어질 수 있다는 것에 놀랐습니다. 기술적인 이유는 서비스하기 어렵고 계산하기 어렵기 때문입니다. 단기 메모리에 대한 흥미로운 점은, 20권의 책을 읽고 그 내용을 말해달라고 요청하면 중간 부분을 잊어버린다는 것입니다. 이는 인간의 뇌가 작동하는 방식과 정확히 일치합니다.
에이전트와 관련해서는, 사람들이 지금 기본적으로 LLM 에이전트를 만들고 있습니다. 그들이 하는 방식은 화학과 같은 것을 읽고, 화학의 원리를 발견한 다음 테스트하고, 그것을 다시 이해에 추가하는 것입니다. 이는 매우 강력합니다.
그리고 제가 언급한 세 번째 것은 텍스트 액션입니다. 예를 들어 설명해 드리겠습니다. 정부가 TikTok을 금지하려고 하고 있습니다. 그것이 실제로 일어날지 두고 봐야겠지만, TikTok이 금지된다면 제가 제안하는 것은 여러분 모두가 다음과 같이 LLM에게 말하는 것입니다: "TikTok의 복사본을 만들어줘. 모든 사용자를 훔치고, 모든 음악을 훔치고, 내 선호도를 넣어서 이 프로그램을 30초 안에 만들어 출시해. 그리고 1시간 안에 바이럴하지 않으면 비슷한 방식으로 다른 것을 해봐." 이것이 명령입니다. 붐붐붐붐, 이해하시겠죠?
임의의 언어에서 임의의 디지털 명령으로 갈 수 있다면 얼마나 강력한지 이해하시겠죠? 이 시나리오에서 파이썬이 본질적으로 그런 역할을 합니다. 지구상의 모든 인간이 자신이 원하는 대로 실제로 하는 자신만의 프로그래머를 가지고 있다고 상상해 보세요. 제가 일하는 프로그래머들과는 달리 말이죠. 여기 계신 프로그래머들은 제가 무슨 말을 하는지 아실 겁니다.
그래서 오만하지 않고 실제로 여러분이 원하는 것을 해주는 프로그래머를, 그것도 많은 돈을 지불하지 않아도 되고 무한한 공급이 있는 프로그래머를 상상해 보세요. 이 모든 것이 앞으로 1-2년 내에 일어날 것입니다. 매우 빠르게요. 이 세 가지이며, 저는 다음 물결에서 일어날 이 세 가지의 결합이라고 확신합니다.
그래서 다음에 무슨 일이 일어날지 물으셨죠. 6개월마다 저는 진동합니다. 우리는 짝수와 홀수로 진동하고 있습니다. 현재 프론티어 모델들 사이의 격차가 커지고 있는 것 같습니다. 지금은 오직 세 개뿐이라고 말씀드리겠습니다. 6개월 전에는 격차가 좁아지고 있다고 확신했습니다. 그래서 작은 회사들에 많은 돈을 투자했죠. 하지만 지금은 확신이 서지 않습니다. 큰 회사들과 이야기를 나누고 있는데, 그들은 100억, 200억, 500억, 1000억이 필요하다고 말합니다. Stargate는 1000억 정도죠, 맞나요? 매우 매우 어렵습니다.
Sam Altman은 제 친한 친구인데, 그는 약 3000억, 어쩌면 그 이상이 필요할 것이라고 믿습니다. 저는 그에게 필요한 에너지양을 계산해 봤다고 말했습니다. 그리고 전적으로 공개하자면, 지난 금요일에 백악관에 가서 우리가 캐나다와 가장 친한 친구가 되어야 한다고 말했습니다. 왜냐하면 캐나다 사람들은 정말 좋고, AI를 발명하는 데 도움을 주었으며, 수력 발전이 많기 때문입니다. 우리나라는 이를 할 만한 충분한 전력이 없습니다.
대안은 아랍인들이 자금을 대는 것인데, 저는 개인적으로 아랍인들을 좋아합니다. 그들과 많은 시간을 보냈죠. 하지만 그들은 우리의 국가 안보 규칙을 준수하지 않을 것입니다. 반면 캐나다와 미국은 우리 모두가 동의하는 삼각동맹의 일부입니다.
이 1000억 달러, 3000억 달러의 데이터 센터, 전기... 전기가 희소 자원이 되기 시작할 것입니다.
그렇죠. 그런데 이 추론 라인을 따라가 보면, 제가 CUDA와 NVIDIA에 대해 언급한 이유가 무엇일까요? 만약 3000억 달러가 모두 NVIDIA로 간다면, 주식 시장에서 무엇을 해야 할지 아시겠죠. 물론 이건 주식 추천이 아닙니다. 저는 면허가 있는 주식 중개인이 아니니까요.
우리는 더 많은 칩이 필요할 것입니다. 하지만 Intel은 미국 정부로부터 많은 돈을 받고 있고, AMD도 마찬가지입니다. 그들은 Fab을 짓고 있습니다. 여러분 중 컴퓨팅 기기에 Intel 칩이 있는 분 손들어 보세요. 독점에 대해 많이 알려주시네요.
그게 요점입니다. 그들은 한때 독점을 했었고 지금은 NVIDIA가 독점하고 있습니다.
그렇다면 CUDA와 같은 진입 장벽이 있나요? 다른 회사들이 할 수 있는 것이 있을까요?
얼마 전에 Percy Liang과 이야기를 나눴는데, 그는 접근할 수 있는 것에 따라 TPU와 NVIDIA 칩 사이를 전환하고 있습니다. 선택의 여지가 없기 때문이죠. 만약 무한한 돈이 있다면, 오늘날에는 NVIDIA의 B200 아키텍처를 선택할 것입니다. 더 빠르니까요. 물론 경쟁이 있는 것이 좋습니다. AMD와 Lisa Su와 길게 이야기를 나눴습니다. 그들은 여러분이 설명한 이 CUDA 아키텍처에서 자신들의 것으로 변환할 수 있는 것을 만들었습니다. Rocm이라고 불리는데, 아직 완전히 작동하지는 않습니다. 그들이 작업 중입니다.
당신은 오랫동안 Google에 있었고, 그들이 Transformer 아키텍처를 발명했죠. Peter... Peter의 잘못이에요. Peter와 Jeff Dean 같은 뛰어난 사람들 덕분이죠. 하지만 지금은 그들이 OpenAI에 주도권을 잃은 것 같아 보입니다. 심지어 제가 본 마지막 리더보드에서는 Anthropic의 Claude가 맨 위에 있었습니다. Sundar에게 물어봤는데 그는 명확한 답변을 주지 않았어요. 어쩌면 당신이 더 날카롭거나 객관적인 설명을 해줄 수 있을까요?
저는 더 이상 Google 직원이 아닙니다. 아름다운 공개를 위해 말씀드리자면, Google은 일과 삶의 균형, 일찍 퇴근하고 재택근무하는 것이 승리하는 것보다 더 중요하다고 결정했습니다. 스타트업이 작동하는 이유는 사람들이 지옥처럼 일하기 때문입니다. 너무 직설적이어서 죄송하지만, 사실 여러분 모두가 대학을 떠나 회사를 설립한다면, 다른 스타트업과 경쟁하고 싶다면 사람들이 재택근무하고 일주일에 하루만 출근하도록 하지 않을 것입니다.
Microsoft의 초기 시절에도 그랬죠, 정확히 말씀하셨습니다.
하지만 지금은 AI를 지배하고 있는 몇몇 플레이어들이 있고, 그들이 계속 지배할 것 같아 보입니다. 그리고 그들은 모든 반독점 규제가 집중되어 있는 대기업들과 겹치는 것 같습니다. 이 두 가지 트렌드를 어떻게 보시나요? 규제 기관들이 이 회사들을 해체할 것으로 보시나요? 그리고 그것이 AI에 어떤 영향을 미칠까요?
제 경력에서 저는 Microsoft가 해체되도록 도왔지만 해체되지 않았고, Google이 해체되지 않도록 싸웠고 해체되지 않았습니다. 그래서 제게는 해체되지 않을 것 같아 보입니다. 회사들이 John D. Rockefeller Sr.가 되는 것을 피하는 한 말이죠. 저는 이것을 연구했습니다. 찾아보세요, 반독점법이 어떻게 생겼는지요. 정부가 행동할 것 같지는 않습니다.
이 대기업들이 지배하는 것을 보는 이유는 누가 이 데이터 센터를 구축할 자본을 가지고 있느냐 때문입니다.
제 친구 Reed와 제 친구 Mustafa가 2주 후에 옵니다. Reed가 그들이 Inflection을 가져가서 본질적으로 Microsoft에 분할하기로 한 결정에 대해 당신과 이야기를 나눴나요? 기본적으로 그들은 수백억 달러를 모을 수 없다고 결정했습니다.
그 숫자가 공개되어 있나요? 당신이 앞서 언급했던...
아니요. Reed에게 말해달라고 해보세요.
당신이 가야 한다는 걸 알아요. 붙잡고 싶지 않습니다. 마지막으로 한 가지 질문을 더 해도 될까요? 네, 어서요.
감사합니다. 간단히 하겠습니다. 이 모든 것이 프론티어 모델의 개발과 접근에 참여하지 않는 국가들을 어디로 이끌 것인지 궁금합니다. 예를 들어, 부자는 더 부자가 되고 가난한 사람들은 할 수 있는 최선을 다하게 되는 것처럼 말이죠.
그들은 파트너를 찾아야 할 것입니다. 사실 이것은 부유한 국가들의 게임입니다. 엄청난 자본, 많은 기술적으로 강한 사람들, 강력한 정부 지원이 필요합니다. 다른 많은 국가들은 여러 가지 문제가 있습니다. 그들은 그런 자원이 없습니다. 그들은 파트너를 찾아야 할 것입니다. 다른 누군가와 합류하는 등의 방법을 찾아야 할 것입니다.
가야 할 것 같습니다. 지난번에 만났을 때 AGI 하우스에서 해커톤을 하고 계셨던 걸로 기억합니다. 젊은 사람들이 많은 부를 창출할 때 그들을 돕는 데 많은 시간을 보내시는 걸로 알고 있습니다. 그것에 대해 열정적으로 말씀하셨죠. 이 수업을 듣는 사람들이 비즈니스 계획을 쓰거나 정책 제안을 하거나 연구 제안을 할 때, 이 단계에서 앞으로 나아갈 때 조언해 주실 만한 것이 있을까요?
비즈니스 스쿨에서 이에 대한 수업을 가르치고 있습니다. 제 수업에 오세요.
저는 새로운 아이디어의 데모를 얼마나 빨리 만들 수 있는지에 놀랐습니다. 제가 참여한 해커톤 중 하나에서 우승 팀의 명령은 "두 개의 타워 사이로 드론을 날려라"였습니다. 가상의 드론 공간이 주어졌고, 그들은 드론을 어떻게 날릴지, "사이"라는 단어가 무엇을 의미하는지 파악했고, Python으로 코드를 생성하여 시뮬레이터에서 드론을 타워 사이로 날렸습니다. 숙련된 전문 프로그래머들이 1-2주 걸렸을 일을 말이죠.
제가 말씀드리고 싶은 것은, 빠르게 프로토타입을 만들 수 있는 능력이 정말 중요하다는 것입니다. 기업가로서의 문제 중 하나는 모든 것이 더 빨리 일어난다는 것입니다. 지금 이 다양한 도구들을 사용해서 하루 만에 프로토타입을 만들 수 없다면, 그것에 대해 생각해 봐야 합니다. 왜냐하면 그게 바로 여러분의 경쟁자가 하고 있는 일이기 때문입니다.
제 가장 큰 조언은 회사에 대해 생각하기 시작할 때, 비즈니스 계획을 쓰는 것은 좋습니다. 사실 컴퓨터에게 비즈니스 계획을 작성하도록 요청해야 합니다. 제가 떠난 후에 그것에 대해 이야기해야 할 것 같네요.
하지만 이 도구들을 사용해서 가능한 한 빨리 아이디어의 프로토타입을 만드는 것이 매우 중요하다고 생각합니다. 왜냐하면 다른 회사, 다른 대학, 여러분이 한 번도 가보지 않은 곳에서 누군가가 정확히 같은 일을 하고 있다고 확신할 수 있기 때문입니다.
dksnow
2024.08.19.
AI robot이 득세가 되겠지만, embedded control language를 다루는 전산학이나 물리학자들이 승리하게 될겁니다. 기계와 소통하는거니까요. 너드들이 여자와 소통하는 확율은 비선형적이지만, 기계와 폴팅 (porting) 하는 가능성은 정확하게 산술적입니다. 통제가능한것이죠.
활을 쏘듯이 던져라에서
총을 쏘듯이 던져라로 바뀌는 중
점진적인 가속은 느리고
순간적인 폭발력으로 던져야 함.
동작이 크면 속도가 느려지는 것은 각운동량 보존의 법칙.
작은 동작이 빠르다는 것. 휘두르는 훅보다 끊어치는 잽이 빠르다고.