[B급 프로그래머] 3월 2주 소식(빅데이터/인공지능, 하드웨어, 읽을거리 부문)

(오늘의 짤방: Scaling laws are wild. via @tunguz)

1. 빅데이터/인공지능
   • GN⁺: 70B 언어 모델을 집에서 파인튜닝하기 (answer.ai)
   • Anthropic Unveils Claude 3 Models, Highlighting Opus and Its Near-Human Capabilities
   • GaLore: Memory-Efficient LLM Training by Gradient Low-Rank Projection
   • Controllable Symbolic Music Generation with MusicLang Predict
   • The GPT-4 barrier has finally been broken
   • 🤗 Transformers.js WebGPU Benchmark
   • Code Hierarchy Node Parser
   • RAG Arena is an open-source Next.js project made my mendable.ai that interfaces with LangChain to provide a RAG chatbot experience where queries receive multiple responses.
   • Mixtral of Experts
   • Text Embeddings Reveal (Almost) As Much As Text
   • What do Threads, Mastodon, and hospital records have in common?
   • Top 5 JavaScript Tools for AI Engineering
   • LUMIERE - A Space-Time Diffusion Model for Video Generation
   • Merge Large Language Models - Combine Mistral, WizardMath and CodeLlama in one model!
   • 일문일답 | “AI 코딩 도구로 얻은 교훈, 전사에 확대 중”··· 깃허브 COO 카일 데이글
   • Here is a Claude 3 prompt that can help you validate business ideas quickly.
   • Sora: A Review on Background, Technology, Limitations, and Opportunities of Large Vision Models
   • h2oGPTe RAG Benchmarks
   • Easily Train a Specialized LLM: PEFT, LoRA, QLoRA, LLaMA-Adapter, and More
   • Retrieval-Augmented Generation for AI-Generated Content: A Survey
   • LangCon 2024 발표 목록
   • AI 시대, 오픈소스의 핵심 문제는 ‘라이선스’
   • '물밀듯이 추가되는 AI 비서'… 생성형 AI 코파일럿의 결과를 이끌어내는 법
   • 4-bit Quantization with GPTQ - Quantize your own LLMs using AutoGPTQ
   • Numbers every LLM Developer should know
   • Miso.ai 창립자 2인이 전하는 ‘생성형 AI의 답변 개선’
   • 생성형 AI 프로젝트를 성공으로 이끄는 3가지 요소
   • "퍼셉트론에서 트랜스포머, CNN까지" 신경망 기본 개념과 최신 스타일의 이해
   • “자신 있게 출시했는데…” 구글 제미나이에 생긴 일
   • “SK브로드밴드가 생성형 AI를 빠르게 도입한 비결은...” 이철행 AIX 개발 담당
   • VideoDB Retriever - RAG: Instantly Search and Stream Video Results 📺
   • screenshot-to-code - This simple app converts a screenshot to code (HTML/Tailwind CSS, or React or Bootstrap or Vue). It uses GPT-4 Vision (or Claude 3) to generate the code and DALL-E 3 to generate similar-looking images.
   • 스토리 입력하면 웹툰 만들어주는 생성 AI 출시
   • It’s only been 48 hours since the release of Claude 3. 10 crazy examples:
   • For those struggling with Claude 3, you're probably prompting it wrong. How do you do it right? Use XML tags.
   • Retrieval-Augmented Generation for AI-Generated Content: A Survey
   • Croissant: a metadata format for ML-ready datasets
   • Launch: Auto Label Images with Roboflow
   • Evaluation Metrics For Information Retrieval
   • How Gemini and GPT4 completely messed a standard task that Claude 3 easily did.
   • Claude 3 Opus structured query agent
   • 왓챠 추천 서비스 MLOps 적용기 Part2
   • Prompt Injection attack against LLM-integrated Applications
   • Design2Code: How Far Are We From Automating Front-End Engineering?
   • UDOP is an exciting document AI model from Microsoft Research. It has an encoder-decoder architecture, hence it's a generative model. It relies on an OCR engine, like LayoutLMv3. However, unlike LayoutLMv3, it has a text decoder, which means that the model generates answers one token at a time.
   • InfiMM-HD - A Leap Forward in High-Resolution Multimodal Understanding
   • Assisting in Writing Wikipedia-like Articles From Scratch with Large Language Models
   • PromptHero - The #1 website for prompt engineering. Search millions of AI art images by models like Stable Diffusion, Midjourney...
   • More Useful Things: AI Resources (Prompt for Student Exercise)
   • Claude 3 모델 공개 (anthropic.com)
   • sora와 gemini 1.5사태가 시사하는 보통 기업들의 AI전략
   • Fuck You, Show Me The Prompt.
   • Google DeepMind, "생성형 인터랙티브 환경" Genie 공개 (sites.google.com)
   • [해외 미디어 동향] AI가 만든 유튜브 키즈 콘텐츠로 16억 벌었다
   • 코파일럿에 밀린 '스택오버플로', 구글 제미나이 손 잡아 - "AI 정확성과 개발자 생산성 높이는 것 목표"
   • Building a Personal Coding Assistant 💻
   • Awesome_CatBoost - The repository to showcase the best framework for tabular data - the Awesome CatBoost!
   • Announcing Vespa Long-Context ColBERT
   • “배설물보다 못한 게 넘쳐난다”... 페북·네이버 이용자 급감 이유
   • Sam Partee on Retrieval Augmented Generation (RAG)
   • 쿠폰 또 줘? 3년치 문자로 분석한 컬리의 CRM
   • Introduction to Graph Science(Python notebook)
   • bm25-pt - A minimal implementation of Okapi BM25 using PyTorch.
   • More than 50% of the reported reasoning abilities of LLMs might not be true reasoning.
   • “지원 코딩 언어 600여 개”··· 오픈소스 AI 코딩 LLM ‘스타코더2’ 출시
   • AI의 ‘과’를 이해하고 관리하기
   • Advanced RAG series: Indexing - How to optimize embeddings for accurate retrieval
   • "큰 힘에는 큰 책임이 따르는 법" 생성형 AI를 만난 데이터 거버넌스의 과제
   • 자체 LLM 구축, 적합한 선택인지 알아보는 5가지 질문
   • Towards Long Context RAG
   • RecurseChat - 매일 사용을 위한 로컬 AI 대화 앱 (recurse.chat)
   • Build and Scale a Powerful Query Engine with LlamaIndex and Ray
   • Potential LLM learning course for python developers :
   • State of Open Source AI Book - 2023 Edition#
   • Lots of discussions about @huggingface and model repository security (e.g., malicious LLMs)
   • 🎼 ChatMusician: Understanding and Generating Music Intrinsically with LLM
   • GN⁺: 1비트 LLM 시대: 비용 효율적인 컴퓨팅을 위한 삼진 파라미터 (arxiv.org)
   • 수백억 들여 AI 투자한다고? 기다려라 비용 확 낮아진다 [Cover Story]
   • Getting Started with Gemma Tokenizer including Multilingual Testing
   • ColBERT-XM: A Modular Multi-Vector Representation Model for Zero-Shot Multilingual Information Retrieval
   • Why large language models aren’t headed toward humanlike understanding Generative AI is not very skillful at applying what it learns to new situations
   • No-code is code
   • Fine-tuning the latest Google Gemma model locally using MLX
   • Large Language Models Are Drunk at the Wheel
   • 도이치텔레콤 "스마트폰에서 앱 없어지고 AI가 대신 할 것"
   • Building A RAG System with Gemma, MongoDB and Open Source Models
   • Native RAG on Apple Sillicon Mac with MLX 🧑‍💻
   • GN⁺: 애플, 전기차 개발 중단하고 팀을 생성형 AI로 전환 (bloomberg.com)
   • Generative AI’s environmental costs are soaring — and mostly secret
   • If you want to finetune #Gemma 7b on a free Colab instance, have a notebook!
   • Generative AI Design Patterns: A Comprehensive Guide
   • Baseline OpenAI End-to-End Chat Reference Architecture
   • Au Large - Mistral Large is our flagship model, with top-tier reasoning capacities. It is also available on Azure.
   • 꽁꽁 닫힌 '정부망' 17년만에 개방 … 공공데이터 금맥캔다
   • Will we run out of data? An analysis of the limits of scaling datasets in Machine Learning
   • GN⁺: 마이크로소프트, OpenAI를 넘어서 Mistral과 다년간 협약 체결 (ft.com)
   • OpenCodeInterpreter: Integrating Code Generation with Execution and Refinement
   • Gemma in PyTorch
   • Should We Respect LLMs? A Cross-Lingual Study on the Influence of Prompt Politeness on LLM Performance
   • 💻 LLM Prompt Engineering Simplified
   • RAG From Scratch using Langchain
   • Gemma 한국어 SQL챗봇 LoRA 파인튜닝 빠른실행
   • GN⁺: Gemma.cpp: Gemma 모델을 위한 경량 & 스탠드얼론 C++ 추론 엔진 (github.com/google)
   • Fun analysis on which tips & threats make ChatGPT follow instructions.
   • Dataset Card for FinQABench: A New QA Benchmark for Finance applications
2. 하드웨어
   • Intel Receives ASML’s First High NA EUV system
   • “비전 프로 vs. 메타 퀘스트 3” AR/VR 헤드셋 최종 승자는?
   • GN⁺: FDA, 최초의 처방전 없이 구매 가능한 연속 혈당 모니터 'Continuous Glucose Monitor' 승인 (fda.gov)
   • European crash tester says carmakers must bring back physical controls
   • Apple, M3 칩을 탑재한 MacBook Air 13 및 15 공개 (apple.com)
   • Intel, NPU 가속 라이브러리 공개 (github.com/intel)
   • GN⁺: HDMI 포럼, AMD가 요청한 오픈소스 HDMI 2.1 드라이버 지원 거부 (phoronix.com)
   • [이슈진단+] TSMC와 경쟁하는 삼성, HBM 사업에 악영향주나
   • "2023년 스마트폰 판매량 상위 7개 모델 모두 애플" 카운터포인트
   • PC 산업 부흥, 로컬 AI에 달렸다
   • "AI 칩 수요, 예상을 뛰어넘다"…엔비디아 실적 발표에 주식 시장도 활기
   • "GPU 구하기 쉬워졌다...3개월 전과는 달라"
   • ZLUDA lets you run unmodified CUDA applications with near-native performance on AMD GPUs.
   • Graphcore reportedly explores sale: Arm, OpenAI, and Softbank named as rumored potential buyers
3. 읽을거리
   • 보이지 않던 장벽을 뛰어넘는 중국 쇼핑 앱
   • 삼국지13 과몰입해서 플레이한 썰
   • 자영업자 연체액 13조원에 숨겨진 더 위험한 지표
   • 음식 배달원 ‘신원 확인’ 딜레마
   • AI와 가내수공업의 중국식 결합 '알·테·쉬'
   • 알리, 11번가 제치고 테무는 G마켓 넘었다
   • 역사 리터러시 규칙 제6조
   • 보이지 않던 장벽을 뛰어넘는 중국 쇼핑 앱
   • 우리나라 최초의 컴퓨터는 “ “을 하기 위해 사용되었다? | 인터뷰쿠키 EP04
   • "대륙의 습격"...깊어지는 네이버의 고민
   • 2024 KB 부동산 보고서
   • "웃돈 주고 샀는데 1년 새 수천억씩 꺼져"…기업들 '비명'
   • 금리상승과 소비 : 누가 무게를 짊어지는가?
   • 출판시장 영업이익 大감소… 종이책 ‘종말론’
   • 위기 경고 깜빡이는 대한민국 카페 자영업
   • 의원님의 골목식당
   • Why Costco is so loved - Keeping customers, employees and investors happy is no mean feat
   • Billionaire Investor Charlie Munger Loves Costco Stock. You'll Never Guess Which Growth Stock He Says Is Copying the Costco Playbook.

보너스: PC 최악의 기술 via @roricon)

EOB