모든 AI 경영진은 심장을 통해 알려져야한다는 수가 있지만 대부분은 한 번도 해본 적이 없습니다. -Primary GPU 서버의 경우 동일한 비용이 6 개월에서 9 개월에 해당하는 구름 구름을 임대하는 것과 동일합니다.
하드웨어는 일반적으로 3 ~ 5 년 동안 지속되며 수학은 완료되지만 회의실에서 백만 파운드 인프라 결정에 대한 상식은 아닙니다.
이것은 AI 비용에 대한 우리의 생각과 그들이 실제로 축적하는 방법의 기본 차이입니다. 자본 지출 모델에 대한 운영 지출에 가면 척도가 필요할 때 직관적이라고 생각하고 큰 약속을 피할 수 있습니다.
그러나 AI 작업은 전통적인 치열한 클라우드 경제를 혼란스럽게 만드는 방식으로 이러한 추정치를 위반합니다.
Speechmatics의 SAS 및 인프라 디렉터.
클라우드는 당신에게 무엇을 말하지 않습니다
예를 들어, Hypersisler 클라우드 공급 업체에서 단일 Nvedia H1 100 GPU를 임대하면 한 달에 약 $ 8 시간 또는 $ 5500 이상을 소비 할 수 있습니다. 12 개월 이상 동안 65,000 달러 이상입니다.
대조적으로, 동등한 하드웨어를 구매하는 데는 3 년에서 5 년의 사용 가능한 수명이 약 30,000 ~ 35,000 달러가 소요될 수 있습니다. 에너지, 냉각 및 유지 보수를 추가하면 여전히 6 개월에서 9 개월 후에도 사용됩니다. 또한 하드웨어를 소유하고 있으므로 12 개월 후에는 다시 줄 필요가 없습니다.
그러나 가격 분류는 디스플레이보다 복잡합니다. FluidStack과 같은 Neocloud 공급 업체는 시간당 H1 100K $ 2를 제공하지만 Hyperser는 약 $ 8/h를 청구하므로 종료를 더 강하게 만듭니다.
실제 배치를 고려할 때 실제 비교는 무시하기가 더 어려워집니다. Del 또는 Supermicro의 8xh100 시스템은 약 250,000 달러, $ 825,000 vs vs vs vs on 3 년과 동등한 Hypersisala 용량 (예약 가격). NVIDIA의 자체 DGX 시스템은 이미 충분한 수량의 가격에 비해 50-100% 마크 업을 처벌합니다.
대부분의 AI 예산 대화에서 누락 된 숫자는 이론적이지 않고 실제 절약을 제시합니다. 특정 사용법을 조사 할 때 문제는 복합입니다.
훈련 실행을 고려하십시오. 1 년 이상 전력을 절약 한 경우 대부분의 클라우드 공급 업체는 대형 GPU 클러스터에 대한 액세스 만 보장합니다. 훈련을 위해 2 주만 필요하다면 여전히 다른 50 대에 대한 비용을 지불하고 있습니다.
한편, 가정은 그들 자신의 수학적 퍼즐을 요구합니다. 대규모 언어 모델의 경우, 토큰 기반 가격은 모델의 예상치 못한 상태를 가진 모델 비용이 재무 계획보다 날씨의 일기 예보와 비슷하게 보이게합니다.
그러나 미세 인쇄를 포함한 탄력성
클라우드의 탄력성 규모의 약속은 척도가 할당량 제한, GPU의 가용성 및 비용을 소비한다는 것을 깨닫는 한 AI-AS의 재단사에 의해 이루어집니다. 이론적으로 탄성 비용을 조달하기 위해서는 사전 예약 및 현금이 실제로 필요합니다.
그리고 일단 사용이 커지면, Capex 모델이 클라우드를 mirring함으로써 클라우드를 대체하기위한 수년간의 약속이 있습니다.
클라우드가 sclacable이 아니라는 것은 아닙니다. Scale AI 팀 (지출, 높은 중간, 바이켓 가능한 컴퓨팅)을 항상 제공하는 것은 아닙니다.
아이러니는 가격보다 더 깊습니다. 클라우드 공급 업체는 시장 유연성에서 원래 가치를 제공하지만 당시의 가장 계산하는 응용 프로그램 인 AI 워크로드는 최소한의 유연한 측정이 필요합니다.
장기 예약, 전력 계획 및 예상 기준선 부하가 전통적인 IT Collection Cycle Cloud Computing에 의해 의심스럽게 조회되기 시작했습니다. 혁명에 통보됩니다.
숨겨진 지출, 가시 마찰
숨겨진 복잡성은 상세하게 자랍니다. 사용 준비가 된 당사자는 스파이크를 사용하여 종종 사용보다 더 많은 전력을 절약하여 “만 사례”아이돌 컴퓨터를 지불합니다.
공급 업체 간의 데이터 마이그레이션은 비소 금액의 엔지니어링을 채택하여 인프라 예산에 거의 나타나지 않는 기회 비용을 제시하지만 소규모의 시간이 유지되는 당사자에게 큰 영향을 미칩니다.
이러한 기회는 복합 시간을 소비합니다. 당사자가 클라우드 공급 업체로 전환하면 성과 문제 또는 동의가 필요에 따라 주도되면 종종 몇 주간의 재 작성, 재 결선 및 재건에 직면 해 있습니다.
이것은 IT 인프라 일뿐 만 아니라 IT를 관리하는 모든 코드, 공급 업체의 내부 기술이 사라지고 배포 파이프 라인을 다시 작성해야합니다. 뚱뚱한 팀의 경우 지연된 제품 업데이트 또는 마켓-마켓 윈도우를 의미 할 수 있으며, 이는 GPU 청구서의 제목에 거의 요인이되지 않습니다.
아마도 놀랍게도, 운영 운영의 운영 부담은 정기적으로 과장되어 있습니다. 극단적 인 규모로 작업하지 않으면 복잡성은 내부 기술이나 운영되는 서비스 공급 업체를 통해 완벽하게 관리됩니다.
차이점은 이러한 복잡성이 바람직하지 않은 월간 청구서를 숨기는 대신 눈에 잘 띄고 계획된다는 것입니다.
예산에서 속임수까지
스마트 기업은 각 인프라 모델의 강도에서 작동하는 성장하는 하이브리드 접근 방식을 채택하고 있습니다. 그들은 서비스의 백본을 만드는 정상 상태 가정과 같은 기준 하중에 소유 하드웨어를 사용합니다.
클라우드 리소스 관리 스파이크 : 다양한 기간, 고객 홍보 급격 또는 실험적인 작업 스트레스로 인해 스팟 가격이 부드러워 질 수 있습니다.
이 접근법의 기관은 재정적으로 교육을받은 엔지니어링을 향한 반점에서 벗어났습니다.
클라우드는 빠른 테스트, 지리적 스케일링 및 진정으로 예측할 수없는 작업 스트레스에 귀중합니다. 그러나 이러한 시스템은 모든 AI 인프라의 기본 선택으로 간주되며 실제로 사용되는 방식의 수학적 현실을 무시합니다.
이 계산은 제대로 얻은 회사가 절약 한 돈보다 더 많은 일을하고 있습니다. 그들은 장기적인 혁신을위한보다 지속 가능하고 추정 된 기초를 만들고 있습니다.
이러한 대화는 기술 일뿐 만 아니라 전략적입니다. CFO는 깨끗한 Opex 라인을 위해 클라우드를 선호 할 수있는 반면, 엔지니어는 Finops 팀의 고통을 느낀다.
이 연결은 실제 성능 또는 사용자 경험보다는 회계 규칙에 의한 인프라 결정으로 이어질 수 있습니다. 회사는 재정 및 엔지니어링이라는 권리를 얻고 있으며 동일한 테이블에 자리 잡고 있으며 비용뿐만 아니라 Throput, 신뢰성 및 장기적인 유연성을 검토합니다. AI에서는 재정적, 기술적 진실이 원래 잠금 해제에 맞춰야합니다.
이 숨겨진 수학을 이해하면 예산을 더 잘 예산하는 데 도움이 될뿐만 아니라 실제로 작업 방식을 실제로 작동시켜 헤드 스페이스를 무료로 사용하여 가장 중요한 주제에 집중할 수 있습니다.
우리는 최고의 IT 관리 도구를 나열합니다.
이 기사는 TechraderPro Specialist Insight Channel의 일환으로 기술 산업에서 오늘날 최고의 마음을 사로 잡았습니다. 여기에 발표 된 견해는 저자에 있으며 TechRoderPro 또는 Future PLC에 필수적이지 않습니다. 기여에 관심이 있으시면 여기에서 자세히 알아보십시오. https://www.techradar.com/news/submit-your-totory-techradar-pradar
