M4 Ultra Mac Pro, от $7,999. С 192 ГБ унифицированной памяти — итого почти $10,000.
Что может запустить? Llama 3.1 70B, Qwen 2.5 72B, Mixtral 8x22B — квантованные версии этих моделей. Скорость инференса зависит от точности квантования: ~15-20 ток/с для 4-бит, ~8-12 ток/с для 8-бит.
Достаточно ли? Для ежедневного чата и простой генерации кода — да. Для сценариев, требующих высокой точности — анализ юридических контрактов, медицинские Q&A, обработка финансовых данных — нет. Квантование теряет не несколько процентов точности, а надёжность модели в long-tail сценариях.
Если считать только деньги, API побеждает
Пост на HN посчитал: $10,000 Mac, если всё потратить на OpenRouter, сколько вызовов модели это даст?
По текущим ценам OpenRouter, Llama 3.1 70B стоит ~$0.3 за миллион входных токенов и ~$0.5 за миллион выходных. Средней сложности разговор потребляет около 5,000 токенов (вход + выход), стоимость ~$0.004. $10,000 — это примерно 2.5 миллиона вызовов.
Если разработчик запускает 100 инференсов ежедневно (это тяжёлое использование), это 36,500 в год. $10,000 хватит почти на 70 лет.
Чисто математически экономика запуска моделей локально не имеет смысла.
Но счёт нельзя считать только деньгами
Три фактора, которые чистая математика не учитывает.
Приватность данных. Если ваша работа связана с данными клиентов, внутренним кодом, коммерческими секретами — можно ли отправлять эти данные в облако? Отделы комплаенса многих компаний скажут категорическое «нет». В этом случае локальный инференс — не экономический выбор, а единственный выбор.
Задержка и оффлайн-доступность. У API есть сетевая задержка, обычно 1-3 секунды. Локальный инференс может быть субсекундным. И локальный не зависит от сети — в самолёте, в зоне плохого сигнала, при отключении интернета, ваши AI-инструменты по-прежнему работают.
Ментальный учёт. Это концепция поведенческой экономики: когда предельная стоимость равна нулю (модель уже работает на вашей машине), частота использования значительно возрастает. Каждый вызов API имеет видимую цену, и этот психологический сигнал «я трачу деньги каждый раз» подавляет исследовательское использование.
Мой собственный рабочий процесс — пример. После покупки M2 Max мой локальный инференс вырос в 5 раз по сравнению с использованием API. Не потому что локальный быстрее или лучше, а потому что менталитет «всё равно бесплатно» делает меня гораздо более склонным экспериментировать с промптами, моделями и сценариями.
Так как выбрать
Если вас беспокоит приватность данных, нужен оффлайн-режим, или вы интенсивно экспериментируете — запускайте локально.
Если вам нужны сильнейшие модели, не хотите управлять инфраструктурой, и использование умеренное — используйте API.
Если вам нужны и сильнейшие модели, и приватность — это действительно сложная задача. Текущее оптимальное решение, вероятно, гибридное: ежедневные эксперименты на локальных моделях, критические задачи на сильнейших моделях в облаке.
Но стоит ли этот $10,000 Mac своих денег? Если вы разработчик, который ежедневно работает с AI, это не просто инструмент — это верстак. Инвестицию в верстак нельзя считать по количеству использований.
Основные источники:
- Обсуждение на Hacker News — оригинальный анализ William Angel
- Цены OpenRouter
- Технические спецификации Apple M4 Ultra