redis

Recursos de programación de redis
Juan Francisco Huete Verdejo nos presenta "Como compartir grandes Datasets entre procesos sin perder la salud mental". Resumen: Cuando hablamos de datasets grandes y procesos que pueden ejecutar de forma paralela quizás no lo sabemos pero tenemos un buen reto por delante. Para compartir estos datasets a un proceso de python, incluso de celery o airflow, generalmente tendremos que pasar por pickle o escribir en csv y esto nos va a consumir mucho tiempo. Tanto que realmente no va a merecer la pena la paralelización de procesos. Pero existen alternativas con distintos enfoques. En esta charla se va a exponer como resolver este problema según la complejidad, viendo tecnologías como redis para datasets pequeños, pyarrow y plasma para datasets un poco más grandes y por último pondremos toda la carne en el asador con Vaex en un file system HDFS utilizando formato parquet. --- La novena edición de la PyConES se celebra como un evento en línea y totalmente gratuito durante los días 2 y 3 de Octubre de 2021. Web: https://2021.es.pycon.org Agenda: https://2021.es.pycon.org/ #schedule
La entrevista a David Vaquero es como encontrarse con el amigo de la uni o el colega de la juventud para charlar de lo que hacemos ahora. También descubrirá algunas cosas de su pasado. Premio por recibir el newsletter el 7 de Febrero ¿Sabes lo que es JetBrains, IntelliJ, PHPStorm, WebStorm o PyCharm? Si, esos editores de código, IDE, que usan developers pro de todo el mundo. Pues algo muy bueno relacionado con esto puede pasarte si estás suscrito a La Selecta Newsletter y recibes el envío...
Federated learning promises to improve data security, model accuracy and system resilience. Operational challenges dominate the time required to bring these promises to production: obtaining training data, comparing learning strategies and maintaining model integrity despite network unreliability. Techniques to address each of these problems are well-known: generating training data from physically accurate models, for example. But addressing each of these issues with individual applications creates inefficiencies: data scientists and architects must navigate a complex collection of parts rather than a seamless integrated solution. An efficient system must integrate best-in-class services and minimize or eliminate the boundaries between them. We develop, tune and deploy an anomaly-detecting machine learning model to demonstrate the enterprise benefits of streaming data from physical models into a federated learning architecture. Accurate physical models produce multiple training data sets, each training a single machine learning model to recognize a specific anomaly. Federated learning combines individual machine learning models into a robust production-ready classifier. Integrating streaming data into the development process mimics the production environment, enabling data scientists to validate their solutions under real-world conditions. A single platform for developing training, federated learning and classification algorithms enables a rapid feedback loop for model evolution. Sharing a networked datastore between the development environment and the production system provides a mechanism for continuous training and redeployment of improved models. Our system uses MATLAB for algorithm development and validation, Kafka for streaming data management, MATLAB Production Server to host classification algorithms, Redis for machine learning model deployment and Grafana to monitor the production system and display alerts for detected anomalies. Simulink models provide physically accurate synthetic data for the training data sets. We show how on-premises hosting speeds development and then scale the solution horizontally via integration with cloud-based platforms. We present both our architecture and a demonstration of the system in development and production. We will walk through the end-to-end workflow, with particular emphasis on the integration of streaming data into the development environment and the benefits to data scientists of a simulated production environment. We show how physical models accelerate bootstrapping the system by providing training data without requiring access to real-world assets, and how the use of model parameterization allows injection of behavioral anomalies into the data stream without damaging or destroying those assets. We discuss the system in the context of MLOps, highlighting operational successes and areas for future growth. In particular, the use of design principles such as dependency inversion allowed us to create a production-quality architecture focused on system integration and cooperation. Throughout, we emphasize the importance of knowing your core competencies and competitive advantages and using that understanding to choose between software development and component integration. We identify the strengths of our platform – algorithm development and physical model-based design — and show how that knowledge shaped the architecture of a federated machine learning system. Separating configuration from code, for example, was particularly important: provisioning strategies like infrastructure as code require architectures to be externally configurable. But designing an externally configurable system requires additional effort to choose, name and scope configuration parameters. We conclude with a summary of the effect of such architectural tradeoffs in an operational system as they informs the system’s evolution. #BIGTH20 #AI #NLP #DeepLearning #MachineLearning Session presented at Big Things Conference 2020 by Peter Webb, Principal Technical Specialist at MathWorks and Lucio Cetto, Principal Engineer at MathWorks 18th November 2020 Home Edition Do you want to know more? https://www.bigthingsconference.com/
How technology can support business in times of crisis by José Ruiz, Paradigma Digital; Pablo Carlier, Google Cloud; Jaume Brunet, Denodo; Ignacio Cabrera, IBM; Jim Webber, Neo4j; Alicia Domarco, Fujitsu; Guy Korland, Redis Labs. #BIGTH20 #AI #Cloud #DataScience #BigData #MachineLearning Session presented at Big Things Conference 2020 16th November 2020 Home Edition Do you want to know more? https://www.bigthingsconference.com/
Meetup #AperiTech della Community di GraphRM Knowledge Graph: Conoscere i propri client, migliorare il prodotto, ottimizzare i costi Demo: Combattere il corona virus con GraphAware Hume Speaker: Alessandro Negro, Chief Scientist @ GraphAware Introduzione a RedisGraph Probabilmente hai già sentito parlare di Redis, ma non di RedisGraph. In questa sessione ti introdurrò al variegato ecosistema di moduli che permette di aggiungere nuove strutture dati a Redis e discuterò di come in realtà usare Redis come graph database non sia un’idea così malvagia, specialmente quando vuoi poter applicare transazioni su più data model contemporaneamente. Speaker: Loris Cro, Developer Advocate @ RedisLabs Puoi trovarci sui seguenti canali: Chat Slack GraphRM + CodeGarden: http://codegardenroma.herokuapp.com/ Twitter: https://twitter.com/graph_rm Youtube: https://www.youtube.com/channel/UCOwf5lRfIfrRLOJFfaabO0Q Slideshare: https://www.slideshare.net/GraphRM Per restare aggiornato su tutti gli #AperiTech: Telegram #AperiTech https://t.me/aperitech Calendario del Developer https://bit.ly/devcalendar Codemotion Tech Community https://bit.ly/CodemotionTC
Cuando montas una infraestructura en la nube es muy probable que necesites muchas máquinas distintas: bases de datos SQL y NoSQL, servidores NodeJS, PHP o Java, Redis y un sinfín de cosas más. Cada una de estas máquinas tiene su propia configuración y podemos tardar varios días en tenerlas a punto. Por si esto fuera poco, debes tener la infraestructura de producción replicada exactamente igual para un entorno de testing, otro para integración continua y puede que incluso para cada desarrollador. Además de la confianza en el equipo de DevOps, ¿hay algo que nos garantice que esos entornos son exactamente iguales y no se desalinean con el tiempo? ¿Qué pensarías si después de toda una mañana creando y configurando máquinas tuvieras que crear una más por cada entorno? La infraestructura como código está aquí para hacernos la vida más fácil. Con Terraform vamos a despedirnos de crear máquinas a golpe de click y daremos la bienvenida al control de versiones y a la integración continua de nuestra infraestructura. ------------- Todos los vídeos de Commitconf 2019 en: https://lk.autentia.com/Commit19-YouTube ¡Conoce Autentia! Twitter: https://goo.gl/MU5pUQ Instagram: https://lk.autentia.com/instagram LinkedIn: https://goo.gl/2On7Fj/ Facebook: https://goo.gl/o8HrWX
En mayo de 2016, IBM lanzó Quantum Experience, la primera plataforma web, abierta a todo el mundo, para acceder a un chip cuántico real. Dicha plataforma web, así como la API para conectarse con el chip real, fueron desarrolladas con la ayuda de un equipo de españoles, compuesto por cuatro personas, en a penas 10 semanas. En esta charla nos adentraremos en todas las experiencias vividas durante las semanas de desarrollo del proyecto, para contar todo lo vivido de primera mano, desde las arduas jornadas de trabajo hasta como fue la interacción con uno de los equipos de investigación más relevantes del mundo: el grupo de Computación Cuántica de IBM Research. Detallaremos las tecnologías usadas, que fueron múltiples y diversas: Node.js con Loopback.io, Angular.js, Snap.svg, Cloudant NoSQL DB, Python, Redis, Bluemix, etc. El primer chip cuántico de 5 Qbits accesible para todo el mundo es una realidad, y nosotros contaremos como fue el desarrollo del proyecto a nivel mundial.
Por Mario Pérez Esteso Cuando montas una infraestructura en la nube es muy probable que necesites muchas máquinas distintas: bases de datos SQL y NoSQL, servidores NodeJS, PHP o Java, Redis y un sinfín de cosas más. Cada una de estas máquinas tiene su propia configuración y podemos tardar varios días en tenerlas a punto. Más información: https://t3chfest.uc3m.es/2019/programa/infraestructura-como-codigo-con-terraform ------------------- T3chFest es un evento sobre nuevas tecnologías e innovación anual gratuito celebrado en Madrid. Consulta en nuestro canal las charlas de las pasadas ediciones. Sitio web: https://t3chfest.uc3m.es Twitter: https://twitter.com/t3chfest
En esta charla podremos ver los conceptos básicos de Redis, un ejemplo práctico de cómo instalar y configurar un cluster Redis, y una aplicación SpringBoot de ejemplo en la que veremos cómo podemos utilizar el cluster instalado como sistema de caché de dicha aplicación. ------------- Todos nuestras charlas In-House en: https://www.youtube.com/playlist?index=1&playnext=1&list=PLKxa4AIfm4pVVBeMkXMz2BkPo9_Z3KJxk ¡Conoce Autentia! Twitter: https://goo.gl/MU5pUQ Instagram: https://lk.autentia.com/instagram LinkedIn: https://goo.gl/2On7Fj/ Facebook: https://goo.gl/o8HrWX
???? Nueva edición de #ElCodeToday comentando novedades de Redis 5 y cómo podría cambiar el planteamiento en arquitecturas basadas en eventos, mejoras en UX de GitHub, GitHub Actions, git:logs, y nuestro nuevo repo dotfiles para configurar tu Mac en segundos ???? Enlaces relacionados: ???? Extensión Refined GitHub: https://chrome.google.com/webstore/detail/refined-github/hlepfoohegkhhmjieoechaddaejaokhf ???? Novedades Redis 5: https://redislabs.com/blog/redis-5-0-is-here/ ???? Info sobre Redis Streams: https://brandur.org/redis-streams ???? Curso Event-Driven Architecture con RabbitMQ y AWS SNS+SQS: http://bit.ly/ctv-eda ???? git:logs: https://www.gitlogs.com/ ???? Repo dotfiles CodelyTV: https://github.com/CodelyTV/dotfiles