knyazev-v

Вот тут меня душит жаба сделать пару покупок. И я в сомнениях, согнать с шеи мерзкое пупырчатое земноводное или оно дело говорит.

1. Хочу складной швертбот. Стоит он 300Круб. Но я не уверен что буду им активно пользоваться. А тратить такую кучу денег чтобы оно пылилось на чердаке.... У меня уже телескоп пылится, а у Ирины - вязальная машина.
2. Задумался над приобретением плюс-минус мощного GPU в десктоп. Чтобы нейронки локально гонять. Как посмотрю сколько народ денег тратит на подписки на сервисы нейронок, возникает мысль, что при активном использовании приличный GPU на 8-12 гигов окупится за 2-3 месяца. (но это при условии что удастся разобратся c ROCm). Тут еще вопрос - имеет ли смысл ограничиваться 8Гб картой за 25К или нужно не пожалеть вдвое больших денег и купить 12Гб. Насколько я понимаю, приемлемых денег сейчас стоят только АМД-шные видеокарты. На NVidia цены уже взлетели, потому что по умолчанию все нейронки хотят CUDA. Но у меня давняя нелюбовь к NVidia. Глюкавое оно. А ATI-AMD наоборот люблю с 1997 года.

Тут в ходе некоей дискуссии в ЖЖ появилось предсказание о том, какая будет вторая ИИ-революция.

1) Для начала очень многие, если не люди, то фирмы, начнут гонять LLM на своих локальных мощностях, дабы можно было спокойно доверять им конфиденциальную информацию, и она бы никуда не утекла.

2) Как только это явление станет массовым, возникнет спрос на LLM заточенные под конкретные задачи. В принципе уже сейчас крупные производители LLM выкатывают по десятку моделей слегка приспособленных к тем или иным задачам - эта для писания кода, эта для разговоров на общие темы и т.д. Но по идее, количество специализированных дообученных LLM должно быть сравнимо с количеством специальностей, которым сейчас обучает система высшего и среднего персонального образования.

3) Далее, фирмы будут брать профессионально обученную LLM и дообучать ее уже на конкретном "рабочем месте" своим внутренним процессам. Очевидно, что позволить себе вычислительные мощности, на несколько порядков превосходящие те, на которых модель способна отвечать на конкретные вопросы, сможет далеко не каждый пользователь модели. Но это и не надо. Большую часть работы по обучению сделают специализированные организации на двух предыдущих пунктах.

Как мы знаем, человек тратит примерно 17 лет для получения общего образования и базовой социализации, 3-6 лет для получения профессионального образования, и несколько месяцев для того, чтобы вписаться в рабочий коллектив на новом месте. Человек отличается тем, что он использует ровно ту же самоую аппаратную часть и для обучения своей нейросети и для inference. Как мы знаем хорошего геймерского десктопа для inference современных LLM вполне достаточно. А куда большие мощности для обучения нужны потому, что создатели моделей не готовы ждать 15-20 лет, пока модель обучится до уровня выпускника общеобразовательной школы. Им нужно прогнать это за несколько месяцев. Но, в отличие от естественного интеллекта, модель копируется. Соответсвенно скопировав созданную на супер-пупер компьютерах базовую модель, можно на компьютере на порядок слабее за пару месяцев дать ей "профессиональное образование", А там еще раз раскопировать и пусть уже дообучается на рабочем месте малой скоростью.

Самое главное это чтобы она дообучалась на любых своих действиях, как это делает человек. Сейчас, когда у нас имеется одна модель и миллионы пользователей, вводится искусственное разделение на модель, скиллы, контекст и прочее. Если моделей будет много, такое разделение с возможностью отбросить более специализированные части будет лишним. (в крайнем случае всегда можно на бэкап откатиться).

Собрался, наконец и нарисовал карту того региона Ирганто, где происходит большая часть действия "Императрицы Кэт". А то во второй части там сплошная экономгеография, и без карты никак. То есть я-то это в голове держу а Ирине текст перерабатывать без карты плохо было. Надо бы еще карту мира нарисовать со всеми тремя материками.

Задумался над тем, что к OsmAnd надо бы прикрутить режим навигации без использования GPS. Пусть грубый, с ошибками, но работающий в условиях отсутсвия сигнала от спутников и прочих внешних источников геолокации. Для пешеходных маршрутов расстояния можно мерить в шагах. Акселерометр телефона вполне себе позволяет считать шаги, и приложений-шагомеров полный плеймаркет. На автомобиле можно добраться до показаний одометра через блютусный донгл на диагностическом разъеме. Тоже железяка вполне стандартная. Естественно погрешность будет гигантская. Поэтому необходимо иметь удобный жест для указания своего реального места на карте. Благо на суше достаточно легко привязаться к какому-нибудь перекрестку или, тем более, бензоколонке, на которой остановился.

Основная беда в том. что для того, чтобы правильно вести счисление, нужно не только лаг, но и компас. Магнитные компасные датчики, которые есть в телефоне, даже в пешем маршруте показывают погоду на Марсе. Погрешность у них составляет в лучшем случае десятки градусов. А для более-менее приличного счисления нужно не более градуса. То есть в железной машине придется магнитному компасу девиацию уничтожать. Хотя основная проблема в том, что этот датчик хоть как-то работает только если телефон расположен горизонтально, экраном вверх. А что в пешем маршруте, что при закреплении на торпеде автомобиля, он будет расположен скорее вертикально. Похоже, нужен внешний компасный датчик с bluetooth интерфейсом. Интересно, кстати, есть ли где-нибудь доступная для скачивания карта магнитного склонения? А то без карты склонения по магнитному компасу особо не поориентируешься. Так что лучше внешний датчик делать на базе гирокомпаса. Правда, тут вылезает проблема в том, что на MEMS-гироскопах гирокомпас не сделаешь. Он основан на явлении прецессии, возникающей у гироскопа на вращающейся Земле. Поэтому через некоторое время после включения сам входит в меридиан.

Прошёл месяца с того момента, как я несколько опрометчиво решил что "Императрица Кэт" закончена. С тех пор текст вырос в объеме примерно на треть, и на днях Ирина согласилась с тем, что первая часть, до момента появления людораков, закончена и взялась за переработку второй.

Во второй части есть парочка эпизодов, которые ещё надо написать, и по крайней мере один - в третьей.

Еще появилось некоторое количество иллюстраций. Большую часть которых я, по мере их создания. публиковал либо в DW, либо в ВК, но не все.

Не знаю сколько времени у нас займет доработка второй и третьей части, но редактор нам всё равно понадобится. А может и корректор. Корректуру "Детей пространства" делала в своё время Ирина, поскольку её вклад как соавтора в текст был задолго до начала редактуры и глаз не замылен. А тут она как раз активно работает с текстом в самой финальной фазе.