Запускаем llama.cpp на RISC-V VisionFive 2
Пробуем запускать LLM на RISC-V
Целью эксперимента было не столько проверить производительность, сколько понять применимость процессоров RISC-V в качестве управляющих в серверах для ИИ.
Компания Nvidia использует ARM процессоры Vera в качестве управляющих для GPU Rubin.
Почему бы не попробовать использовать RISC-V?
В качестве инференес-движка выбрал LLaMA C++ - LLM inference in C/C++
Критерием успеха для себя выбрал: модель LLM работает и ответила мне хотя бы одним словом.
На чем пробовал и как собирал
Одноплатник StarFive VisionFive 2: