Exo

Reparte un modelo entre varias máquinas, de modo que un hardware que no podría ejecutarlo solo lo ejecuta en conjunto. Es el equivalente para varias máquinas de Ollama.

Empecé a explorar Exo porque, a diferencia de Ollama, puede agrupar hardware en un clúster mediante RDMA y paralelismo de tensores, de modo que la memoria que puede usar un modelo se vuelve, en la práctica, ampliable.

Sitio web oficial

github.com/exo-explore/exo

Antigüedad

2 años (desde 2024)

Aspectos destacados

• Dos Mac mini con 64 GB de memoria unificada cada uno pueden funcionar como un solo Mac mini con 128 GB.
• Combino dispositivos compatibles en un clúster de IA que se descubre automáticamente.
• Experimento con modelos demasiado grandes para cualquiera de las máquinas por sí sola.